NTU华人教授团队发布世界模型，五大评测领先英伟达Cosmos 3

1%训练数据超全量。

作者 | 周加琦

编辑 | 漠影

机器人前瞻10月19日报道，今天，新加坡具身创企Ropedia联合南洋理工大学、杜克大学、加州大学圣地亚哥分校及清华大学发布跨本体移动操作世界模型Ropedia W0。

Ropedia W0可通过统一的动作表示，预测人类、机械臂以及人形机器人执行不同动作后，第一视角下的未来场景变化，让同一个模型适用于不同机器人形态。

评测结果显示，该模型在5个评测基准、11项测试中均排名第一。其中，在Ψ₀和ω-HOME评测中，未经后训练的Ropedia W0，就超过了各对比模型使用全量数据后训练的结果；在DreamDojo官方基准上，该模型仅用1%的后训练数据，便超过用全量数据训练的DreamDojo。

01.

同一个世界模型，

能预测跨本体的未来动作

机器人的形态各不相同，执行动作的方式也存在差异。人形机器人需要协调身体移动和双手操作，固定机械臂主要通过关节运动完成任务，而人类手部动作和机器人夹爪也有不同的运动结构。

这种差异不仅让不同本体产生的数据难以通用，也增加模型跨本体学习的难度。Ropedia W0试图让同一个世界模型理解不同本体的动作，并预测这些动作如何影响周围环境。

该模型将初始画面、文本描述、相机运动轨迹以及手部动作作为输入，生成相应的未来第一视角视频。其预测能力主要涉及两个方面：一是移动过程中视角及周围环境变化；二是操作物体时手部动作及物体状态变化。

当机器人向前移动或转向时，Ropedia W0可以根据相机运动轨迹预测视角变化后的场景；当机器人伸手操作物体时，该模型则可以根据手部动作，生成相应的操作过程。

此外，Ropedia W0还能同时预测相机视角、机器人动作和周围环境变化，生成移动与操作相结合的长时序任务视频。该团队展示了不同场景下模型连续推演的能力，包括开冰箱、收拾垃圾、整理水果和床铺等，移动操作预测视频均超过30s。

在模型架构方面，Ropedia W0基于视频扩散模型构建，采用扩散Transformer架构生成未来视频。

另外，该团队还推出两种不同规模的模型，一款是50亿参数的稠密模型Ropedia W0 5B；另一款是采用MoE架构、激活参数量为140亿的Ropedia W0 A14B。

其中，Ropedia W0 A14B用于进行跨本体预测评测，Ropedia W0 5B则被进一步用于实时交互和机器人动作学习等实验。

02.

构建1.3万小时数据集，

整合人类与机器人经验

大规模训练数据也是Ropedia W0实现跨本体预测的重要基础。该团队构建了一套多模态数据处理流水线，将不同来源的数据整理成统一格式，构建约1.3万小时的Xp-Data训练数据集。

其中，人类第一视角数据约1万小时，真实机器人数据约3000小时。不过，人类、机械臂和人形机器人的运动方式、动作结构存在差异，不同来源的数据也难以直接用于统一训练。

为此，研究团队提出一套跨本体统一运动学表示方法，将不同本体的运动和操作转换成两类通用信息。

第一类是相机运动，用于描述人类或机器人在空间中的移动及视角变化。

例如，当机器人向前走或转身时，摄像头的位置和朝向也会跟着变化。Ropedia W0通过相机位姿及Plücker射线表示这些运动信息，让模型能够根据给定的运动轨迹预测未来第一视角画面。

第二类是投影骨架，主要用于描述人手、机器人夹爪及灵巧手等不同操作机构的动作。研究团队将不同本体的手部或末端执行器关键点投影到图像平面，转换成统一的骨架展示。

通过这种方式，不同本体的运动和操作可以转换为相同类型的条件输入，使模型能够使用统一的预测框架处理不同机器人形态。

另外，Ropedia W0采用的是分阶段训练方式。首先，利用大规模人类第一视角视频进行预训练，让模型学习人类移动、手部操作及对应的环境变化。随后，将人类与机器人数据混合训练，使模型进一步学习不同机器人形态下的运动和操作过程。

03.

五大评测领先，

1%训练数据超过全量训练模型

为验证Ropedia W0的跨本体预测能力，研究团队在DreamDojo、Ψ₀、ω-HOME、AgiBot和Xp-Teleop五个机器人评测基准上进行了测试，并使用未参与训练的人类第一视角视频进行评估。

这些评测覆盖不同机器人形态和操作场景，包括灵巧操作、家庭移动操作及长时序遥操作等。

结果显示，该模型在5个评测基准、11项测试中均取得第一名，尤其在零样本和少样本下展现出明显优势。

以PSNR（峰值信噪比）指标为例，在Ψ₀评测中，未经后训练的Ropedia W0 A14B取得17.36dB（分贝，数值越高代表像素误差越小），而使用全量数据后训练的Cosmos3-Super仅为15.73dB。

在ω-HOME评测中，未经后训练的Ropedia W0 A14B达到19.55dB，超过使用全量数据后训练的Cosmos3-Super的18.46dB。

在Xp-Teleop评测中，也出现了类似结果。Ropedia W0 A14B未经后训练的PSNR达到16.42dB，超过各对比模型使用全量数据后训练的成绩；经过全量数据后训练后，其PSNR进一步提升至18.74dB。

另外，在DreamDojo基准上，研究团队分别使用1%、10%和100%的目标训练数据，对模型进行后训练，并在In-lab、EgoDex和DreamDojo-HV三个测试集上比较预测结果。

仅使用1%的后训练数据，Ropedia W0 A14B就在三个测试集上全面超过使用100%数据后训练的DreamDojo 14B。

该团队还分析了人类视频数据规模对模型能力的影响。结果显示，随着人类预训练视频数据量增加，该模型在人类第一视角视频上的预测质量持续提升。

除了数据规模，模型参数规模也会影响预测表现。在评测中，Ropedia W0从5B扩大到A14B后，PSNR从19.83dB提升至21.98dB，提升2.15dB。

值得注意的是，Ropedia W0的实验并未停留在未来视频预测，还进一步探索了世界模型在机器人真实任务中的应用。

研究团队将Ropedia W0作为模拟环境，用于评估不同机器人动作策略的执行效果。结果显示，此模型预测的任务进度与实际执行结果高度相关，在仿真和真实机器人测试中的相关系数分别达到0.984和0.996。

研究团队还利用世界模型预测不同候选动作的执行结果，再选择表现更好的动作方案。

在RoboTwin 2.0仿真环境中，利用世界模型规划后的任务进度达到92%，高于最佳Policy的85%；在真实Unitree G1机器人实验中，任务进度达到55%，高于最佳Policy的45%。

此外，团队将Ropedia W0 5B用于初始化机器人世界动作模型FastWAM。在LIBERO-Plus评测中，采用Ropedia W0后，FastWAM的成功率从50.06%提升至56.82%。

在真实Unitree G1移动操作任务中，机器人任务进度从33.3%提升至56.7%。

04.

结语：从预测未来场景

到帮助机器人完成操作

世界模型正尝试突破单一机器人形态和特定任务的限制，让模型能够适用于更多机器人及操作场景。

Ropedia W0的探索主要体现在两个方面：一是利用统一的动作表示和大规模人类行为数据，实现不同本体之间的预测能力迁移；二是将世界模型应用到机器人策略评估、动作规划和模型训练中，让预测能力应用于实际任务操作。

从实验结果来看，这种方式已经在部分评测和真机任务中取得一定效果，但模型能否进一步适应更复杂、开放的真实环境，仍需要更多验证。

未来，世界模型需要解决的不只是如何更准确地预测动作后的场景变化，还包括如何利用这些预测结果，帮助机器人选择更合适的动作，更高效地完成任务。