国内最年轻AI教授创业：要让世界模型走向全身全模态

允中 发自 凹非寺
量子位 | 公众号QbitAI

数据越采越多，机器人就能越来越会干活吗？

今年，从EgoScale使用的两万多小时人类操作数据，到Dyna-2的百万小时预训练，机器人正在扩大从人类行为中学习的规模。

这两项研究采用了不同的模型训练路线，但都在探索一件事：人类操作数据能否突破机器人本体采集的规模限制，为机器人学习更多任务提供基础

进一步的问题随之而来：当机器人需要迈步、弯腰、协调双手完成任务时，每小时数据里，究竟留下了多少身体与环境交互的信息？

拿起一个包裹，人需要先走到合适的位置，弯腰、伸手、抓取，再调整身体姿态将包裹搬起来。沿着床边移动、拉平被子，脚步、手臂动作和接触力度也需要持续协调。

在以视觉为主的Ego数据中，我们能看到人完成了什么，却不一定能完整记录这些动作背后的身体状态。

如果机器人未来需要学习全身移动灵巧操作，仅仅知道双手如何操作，可能还不够。

10月14日，破晓智能联合天珑移动，发布全身全模态数据采集系统SeePhys Hub，尝试给Ego补上这些信息。

整套设备由一个四目头环、两个腕部手环、三个腰腿部动作追踪器和一副触觉手套组成，通过视觉与运动信号融合恢复全身姿态，并根据任务需求采集手部接触压力。

它希望在保留Ego轻便、易于规模化采集优势的同时，把视野之外的身体运动和触觉信息重新带回来。

对于破晓智能而言，这不是简单增加几种传感器，而是在高精度但采集成本较高的动捕、真机数据，与轻量但信息相对有限的Ego数据之间，探索另一种采集方式。

把身体动作和“手感”一起记下来

第一视角采集数据，也就是Ego数据，已经成为具身数据采集的重要来源。

Ego很有吸引力，人戴上设备，在日常场景中完成操作，相机跟着人走，采集不必始终围绕机器人本体展开。

但对需要移动和全身协作的任务来说，只记录眼前的画面，会遗漏一部分关键状态。

例如，人抬手去够高处的物品，肩膀、手臂和躯干需要一起调整。第一视角相机能够拍到双手，却不一定看得到手肘和腿部的位置。遇到身体自身遮挡、物体遮挡或视角盲区时，全身姿态的估计就更困难。

尽管这些运动可以通过视频估计，但遇到身体自身遮挡、物体遮挡或视角盲区时，估计的可靠性就成了一大问题。

SeePhys Hub的解决办法，是在人体关键位置增加少量追踪节点。

SeePhys Hub采用稀疏节点方案，在腰部和双小腿布置三个动作追踪器，结合头部视觉与双腕信息，通过算法恢复全身姿态。IMU提供运动相关信号，UWB提供节点间的测距信息，再与视觉结合，估计全身姿态。

视觉覆盖同样做了扩展。四目头环提供360°环视，腕部相机补充近距离操作细节。可选配的触觉手套则记录双手与物体接触时的压力变化。视觉、身体运动与触觉信息同步记录，共同还原人类真实操作的过程。

研发团队举了一个例子：拿完冰箱里的瓶子，人顺势侧身关门，头部后方的相机仍能记录这个动作。人在真实场景里的操作，经常就发生在这样的转身、移动和视角变化中。

再往下，是“手感”。

拿起一颗葡萄，触碰之后该继续用力，还是停下、轻轻调整？人会根据实际接触不断修正动作。触觉手套记录的接触压力，让视频里的动作多了一份对应的物理信号。

对模型来说，这些信息有机会帮助它理解身体运动、手部接触和环境变化之间的关系。团队希望提高的，是每小时操作数据能留下多少有用信息。

多路信号还要对齐到同一时刻。视频里手碰到物体的瞬间，需要和压力变化、运动状态对应，后续才能分析完整的交互过程。按产品资料，头环内相机、IMU和UWB的同步精度不超过0.5毫秒。这个不太显眼的工程环节，也影响着不同模态的数据能否有效衔接。

采集之后还有处理环节，SeePhys Hub配套的平台负责解析、清洗、动作切分和语义标注，并衔接场景重建、姿态估计和手部追踪。动作重定向则将人的动作映射到机器人本体，为后续训练与适配提供支持。

传感器不是越多越好，规模化采集需要新的工程取舍

新的数据模态当然能提供更多线索，但数据质量和数据可用性同样取决于它被怎么样采回来，问题又回到了工程化和产品上。

破晓给出的产品取舍，是在少量节点的基础上结合算法。头环重量不超过220克，单个腕部手环不超过75克。团队把轻便、成本和真实场景中的活动自由度，放在了产品设计的重要位置。

这也解释了它在采集方案中的定位。

破晓的创始人兼CEO杨朔描述的三层数据金字塔里，底层是量大的互联网视频，通过算法补充姿态和触觉信息；顶层是高精度动捕、真机操作等数据；SeePhys Hub瞄准的则是中间层，尝试兼顾规模化采集的潜力与更完整的交互记录。

△图片为AI生成

每一层承担不同任务。动捕数据可以用于监督姿态估计，真机数据帮助模型适配机器人，人类视频则提供更多场景和操作。可穿戴设备补充的，是走进真实环境、跟着人持续记录的能力。

触觉手套采用可选设计，也是同样的工程考虑。

据杨朔透露，团队接触过一些数据采集运营方，“他们第一个给我们提的要求，就是不要让我们的人戴手套”。

因为如果遇到洗碗这样涉及防水的特定场景，精细操作会受穿戴影响，传感器本身也可能出现噪声。团队曾在测试中遇到，手套抓过几次水杯后，空手伸开仍显示局部压力的情况。

这类噪声进入数据，会增加后续处理和训练的难度。穿戴设备如果影响人的操作，也会影响记录的价值。

因此，SeePhys Hub的手环与手套可以分开使用。客户按任务选择配置，团队则继续研究如何从视觉中估计触觉，扩大可利用的数据来源。

要把设备真正铺开，供应链和质量保障也是一环。此次合作中，破晓侧重产品设计与算法，天珑移动提供成本控制、供应链及质量保障方面的经验

商业服务也围绕客户能力展开。按照团队规划，有算法能力的客户可以购买硬件、自行处理数据；需要完整方案的客户可以选择配套算法和本地部署；科研等场景还可以使用云端平台，获得处理后的数据。

数据采集运营商、具身模型团队、场景方和科研机构等，都是团队瞄准的使用者。

在杨朔看来，设备背后的积累还包括姿态估计算法，以及用于训练和验证算法的配对数据。让硬件、算法和数据处理一起工作，才能把穿在人身上的传感器变成可用于训练的操作记录。

一支做世界模型的团队，为什么先做数据采集？

“我们的最终目标一定是把模型做好。”杨朔在谈到破晓为什么研发数据采集设备时，给出了这个回答。

但这不免让人产生疑问，一家想做大脑的机器人公司，为什么选择“曲线救国”，选择从数据和设备入手？

在杨朔看来，问题恰恰出在模型需要什么数据上。想把身体运动、手部接触和环境变化放在一起建模，就需要相应的操作记录。所需的数据难以低成本、规模化获得，于是团队便选择自己补上这个入口。

这样的选择，也与杨朔和团队此前的研究背景有关。

破晓智能（PHANES AI）创始人杨朔，1998年出生，现任哈尔滨工业大学（深圳）计算机科学与技术学院长聘教授、博士生导师。

杨朔长期从事全模态大模型、计算机视觉与具身智能研究，26岁获评哈工大（深圳）长聘教授、博士生导师，是国内人工智能领域最年轻的教授博导。

成立以来，破晓智能组建起一支兼具模型研究与工程化经验的团队。据公司介绍，90%以上的核心成员毕业于清华大学、北京大学、香港大学、哈尔滨工业大学等高校，研究与工程实践覆盖全模态大模型、世界模型、大规模数据处理及硬件研发。

此前，团队已经沿着触觉数据的获取、扩展与使用，开展了一系列研究。

2026年5月，EgoTouch数据集及TouchAnything研究公开。前者将第一视角视频、双手姿态与真实触觉压力同步记录，让模型学习视觉和接触之间的关系；后者进一步尝试从视频中估计接触区域和压力分布，为更多视觉数据补充触觉信息。

到了TouchWorld，这些“手感”开始参与机器人行动。模型提前预测视觉与接触目标，执行中再根据真实触觉反馈修正偏差。插插头、擦锅、抽纸，都是团队用来测试它的真机任务。

SeePhys Hub则将研究范围从双手接触扩展到全身运动。对于全身移动灵巧操作，机器人需要理解的不只是手如何接触物体，还包括身体如何移动、姿态如何调整，以及这些动作会带来怎样的物理结果。

这些正是破晓下一步希望通过全身全模态世界模型学习的内容。按照规划，团队预计在2027年推出全模态世界模型，并优先在工业、餐饮零售等垂直场景开展应用验证。

不过，破晓现阶段仍不准备造自己的机器人本体。

杨朔的考虑是，数据、模型和落地场景还在变化。机器人要不要搬重物、需要多大负载，都影响本体设计。过早定下硬件，还可能限制后续算法的方向，他把这种风险称为“纯纯的沉没成本”。

正因如此，自有本体可以往后放。当前，团队利用通用本体测试模型，并计划与本体商、场景方合作开展应用试点；未来是否推出自己的本体，要等场景需求和商业回报更明确。

破晓对模型竞争也有自己的判断。机器人最终需要在真实环境中实时感知、决策和执行，许多场景还要求端侧部署。相比一味扩大参数规模，如何让有限规模的模型掌握物理交互能力，并稳定完成任务，可能是更加现实的挑战。

回头看，过去几年，机器人数据采集一直在做减法：从遥操作走向Ego，摆脱机器人本体、简化采集设备，让更多人类日常操作成为可以规模化获取的训练数据。

但当机器人开始学习迈步、弯腰、搬运和精细操作，镜头之外的身体运动与接触信息，又成了不能轻易舍弃的部分。

破晓选择在这条轻量化路线之上，补回全身运动与触觉。SeePhys Hub负责记录更完整的人类真实交互，未来的全模态世界模型则要进一步学习动作、接触与物理结果之间的关系。

从记录人怎样完成任务，到让机器人真正学会自主行动。这是破晓希望通过全身全模态数据走通的下一步。

*本文系量子位获授权刊载，观点仅为原作者所有。