让机器人边走边看边干活！北大、NTU、智源等推世界动作模型ω-0

成功率达81.8%。

作者 | 周加琦

编辑 | 漠影

机器人前瞻8月10日报道，近日，由南洋理工大学、北京大学、香港科技大学（广州）和智源研究院联合提出了ω-0，一款隐空间预测世界动作模型。

输入语言指令后，机器人同步识别周围环境并感知自身状态，ω-0可直接输出底层控制系统可读的精简动作特征，机器人根据这些数据，就能直接完成全身协同动作。

该模型针对11项居家任务开展真机实测，单一ω-0模型可生成流畅的“边移动边操作”的复合动作，任务成功率达81.8%。

此外，团队还构建了多模态居家场景人形机器人数据集ω-HOME，总时长超40小时，同步收录多视角RGB、机器人本体状态等配套数据。

01.

三阶段训练架构，

ω-0让人形机器人学会“边走边干活”

人形机器人在完成家庭任务时，无法仅靠机械臂操作或单点导航完成。如擦拭大尺寸桌面、拖地、将衣服扔进下层洗衣机、从冰箱取物品等任务，需要机器人同时完成伸手、弯腰等一系列动作，并保持身体平衡。

针对这种情况，研究团队提出了面向真实家庭环境、隐空间预测型世界动作模型ω-0。该模型不重建未来视频，用轻量化的隐空间预测目标，将“视觉前视”和“扩散动作生成”耦合在一起。

ω-0设计了三阶段递进式训练架构：

▲ω-0训练架构

阶段一是全身动作VLM预训练。常规VLM仅擅长图文语义理解，无法适配机器人连续的全身控制逻辑。为此，研究团队训练了Whole-Body FAST tokenizer，将机器人连续、高维度的全身运动轨迹，转换为离散action tokens。

随后，研究团队基于Qwen3-VL-2B-Instruct进行微调，构建专属的全身动作VLM模型。该模型通过引入可学习的视角token，可自主识别第一视角与第三视角。

阶段二是人-机动作隐变量预训练。不同于传统世界模型生成未来视频，ω-0借鉴V-JEPA的思路，将视觉、语言和机器人状态信息融合，通过Video query预测未来视觉特征，并将未来环境变化信息注入动作表示，再利用扩散模型DiT直接生成全身动作潜变量。

同时，团队利用Wan编码器提取未来视觉监督信号，并通过SONIC将人类运动数据转换为机器人可执行的动作数据，用于训练模型。

阶段三是真实居家场景微调。在前两个阶段基础上，第三阶段利用真实世界人形机器人移动操作数据，对ω-0进行微调，并引入实时分块策略（RTC）提升动作连续性，使模型能够在真实环境中完成行走、躯干调整、手臂操作等全身协同任务。

02.

40+小时数据，

ω-HOME覆盖8类家庭任务

为了加速真实家庭环境下全身世界动作模型的学习，研究团队构建了ω-HOME数据集，包含40.3小时的真实环境数据、4827条任务轨迹、24项任务。

其中，每条轨迹均包含同步采集的语言指令、第一视角与第三视角、本体状态、全身运动轨迹等数据。

ω-HOME覆盖8类家庭任务，包括物体取回、桌面清洁、家电使用、收纳整理等操作。相比较传统桌面操作的数据集，ω-HOME更强调人形机器人的全身协同能力。

▲家庭任务样例

在采集过程中，研究团队通过遥操方式记录机器人任务执行过程，并将这些采集的数据，进一步转换为可用于模型训练的监督数据。

03.

成功率达81.8%，

ω-0超过多个基线模型

研究团队在11项真实家庭移动操作任务上评估ω-0，重点考察机器人的上下半身协同能力。

任务包含从桌面拿起苹果并放入收纳筐、拾取床上衣物并丢进收纳筐、拾取不同高度位置垃圾并投入手持垃圾桶等。测评结果显示，ω-0 Ego任务成功率达79.1%，ω-0 Omni任务成功率达81.8%，大幅超过π-0.5、EgoVLA、GR00T-N1.7、ψ-0等基线模型。

▲评测结果对比

此外，研究团队为了避免预训练数据与下游任务重叠，从ω-HOME预训练数据中剔除了用于微调的11项任务，并将剩余轨迹与公开人类示范数据结合，用于第二阶段预训练。

结果显示，引入ω-HOME数据后，模型经过真实任务微调后的性能提升。这表明，ω-HOME能够提供有效的真实世界人形机器人视觉-动作先验，而不仅仅依赖下游任务示范数据。

04.

结语：从实验室走向家庭，

人形机器人仍需跨越多重挑战

对于人形机器人而言，家庭环境一直被认为是最具挑战的落地场景之一。与工厂等结构化环境不同，家庭任务往往需要机器人持续感知环境变化，并协调移动、姿态调整和双手操作。ω-0通过将未来环境预测与全身动作生成结合，为人形机器人进入复杂家庭场景提供了一种新的技术路径。

不过，从实验任务到真正融入日常生活，机器人仍需要在长期自主运行、安全交互、任务泛化以及复杂环境适应能力等方面持续提升。