335条真机轨迹、四成失败样本，最新发布的 WorldOracle评测平台如何给世界模型“测谎”

同一个机械臂，同一个动作，同一颗水果。真实世界里，夹爪合拢的瞬间，水果滚落，抓空了。而一段由主流世界模型生成的“未来”，画面几乎无懈可击，机械臂稳稳收拢，水果被精准抓起。

如果不是把预测画面与真实执行逐帧并排放在一起，这次失败就会被一段流畅的视频完美掩盖。更令人不安的是，这种偏差并非孤例，而是系统性存在于当前主流世界模型之中。

近日，由智元、NVIDIA、普林斯顿大学、得克萨斯大学奥斯汀分校、多伦多大学研究人员联合完成的 WorldOracle正式发布，并向开发者开放评测提交。

这个全球首个以真实执行为标尺的动作驱动世界模型评测平台，要正面回答一个此前一直没有基准敢回答的问题：给定一组动作，模型预测的未来，与真实发生的过程，究竟差多少？

“像”与“真”之间

过去一年，世界模型生成的视频越来越逼真，但逼真不等于可信。

当世界模型被用作机器人的“预演沙盘”，筛选动作方案、评估策略、生成训练数据……评判标准就变了，一段把失败操作预测成成功的视频，对观看者是赏心悦目的演示，对机器人却是灾难性的错误信号，它会系统性地高估自己。

此前的评测要么运行在仿真环境里，要么只考文本驱动的视频生成。WorldOracle把考场搬进了真机实录现场，预先采集真实操作的画面与动作序列，让模型在完全相同的初始画面和动作序列下开放回放，生成预测，再与真实执行逐帧对照。真实操作中的抓空、掉落、洒水被完整保留，准确预测失败，与准确预测成功一样记分。

平台将这种“预测与真实执行的吻合程度”命名为执行一致性，并设定三重压力测试：

因果服从，模型必须严格跟随给定动作序列，现实里抓空了，预测出抓空才是满分答案，把失败“脑补”成成功就是幻觉；

分布迁移，动作既可来自人类遥操作，也可来自机器人策略的自主执行，后者带着停顿、抖动与临场修正，模型不能只会应付“标准操作”；

时序耐力，考的不是前10秒像不像，而是连续操作120秒后，误差是否仍在可控范围。

考卷本身，先过了可信度测试

335条评测轨迹全部来自真机实拍，包括智元精灵 G2 机器人100条、YAM机器人75条、人类第一视角手部操作100条、G2策略自主执行60条，每条约两分钟。其中约40%的交互片段是失败或次优执行，这是全球首个把“失败”当作核心考点的世界模型基准。

任务覆盖四种物理形态：水果抓取对应刚体，挂毛巾对应柔性体，倒水对应流体，开合抽屉对应关节体。

同时，团队新采集1779条G2训练轨迹（含约20%失败片段），为YAM配套公开ABC-130K数据集；人类手部场景则完全零样本，专门考验泛化。

而且评测对参赛者十分友好，无需自采真机数据，用评测集提供的初始画面和动作序列生成预测视频提交，平台自动对照真实执行评分。严谨性不止于规模，标注管线上，VLM为每个交互片段的结果关键帧自动生成物理判据（如“绿色杯子已被夹爪抓住”），SAM3逐帧分割物体、机械臂与人手区域，让评测聚焦真正发生交互的位置，而非让大面积背景稀释误差。

据了解，阅卷标准经受了盲检验证，119名参与者对128对预测匿名盲评，四项指标与人类判断的一致率达88.1%–93.2%，Spearman相关性0.72–0.82。控制实验显示，关键区域指标随交互区域内失真加重而单调下降，背景单独变化时几乎纹丝不动，指标抓住的确实是交互处的错误，不是背景噪声。

研究团队梳理发现，WorldOracle是目前唯一同时做到动作条件化、真实数据、含失败样本、长时序、多本体、多视角、策略自主执行分布七项的评测基准。

七个模型，五处“翻车”

研究横评了IRASim、Ctrl-World、DreamDojo、Cosmos 3、GE-Sim 2.0、JointControlVideo、OSCAR七个代表性模型，结果可概括为五个发现。

其一，机械臂会“演戏”，物体才是说谎者。将空间对齐指标拆分为机械臂与被操作物体两部分后，所有模型无一例外出现巨大落差：在G2人工操作轨迹上，IRASim机械臂得分78.8、物体仅29.1，相差近50分；Cosmos 3为89.4对45.4；即便综合最强的 GE-Sim 2.0，机械臂100.0、物体也只有62.8。

换言之，机械臂的运动被精确复刻了，但它对世界造成的影响，水果有没有被抓走、毛巾有没有滑落、水有没有进杯，模型其实没有看住。机械臂伸到哪里只是操作的一半，“这一动带来了什么”才是机器人真正需要预演的东西。

其二，120秒是多数模型的记忆极限。预测窗口从10秒拉长到120秒，衰减曲线陡得惊人：G2人工操作数据上，GE-Sim 2.0单视角综合分从10秒时的86.1跌至120秒的63.4，其余模型长时程末端只剩26.7至35.1分；按完整轨迹计，DreamDojo从50.56掉到27.08，Cosmos 3从53.99掉到26.60。

短时预测的高分，几乎无法预判长时表现。在世界模型开始承担机器人闭环训练的当下，“熬不过两分钟”意味着它还撑不起长程规划。

其三，动作跟得越准，越会掩盖结果的错误。GE-Sim 2.0完整轨迹多视角一致性高达96.96、空间对齐73.49，物理状态正确性却只有60.26。论文中的极端案例显示，一段预测空间对齐80.8 分，物理状态0.0分，抽屉实际全关，模型预测成了拉开。

这解释了为什么只看“像不像”的评测会失灵，一个模型可以在所有视角里，精确地撒同一个谎。

其四，换了“司机”，成绩跳水。WorldOracle首次将机器人策略自主执行设为独立考区：由π0.5 策略在真机上闭环运行产生动作，带着人工操作中没有的犹豫、抖动与中途修正。部分模型应声下滑，Ctrl-World的物理状态正确性，从人工操作下的51.15跌至自主执行分布的27.22。只会应付“标准操作”的世界模型，离真实机器人工作现场还有距离。

其五，人手是当前世界模型的绝对盲区。三个零样本参与人类手部场景的模型集体垫底，表现最好的模型物体区域保真度也只有15.2分。

高自由度关节运动、可变形的手部外观、精细的接触力学，精准预测“手与物体的交互”，仍是全世界模型都未攻克的难题，而这恰恰是通用机器人路线最需要的能力。

一块“试金石”

据了解，WorldOracle已公开榜单与提交指南，支持开放权重与闭源模型。注册审核后，开发者按模型支持的本体与赛道提交预测视频，即可查看综合分、分项成绩与逐段对比视频。

对开发者而言，这套评测把“我的模型变强了吗”拆成了三个可以验证的问题：一次改进，是让物体的运动更真实了，还是只让机械臂更“上镜”？对失败操作的误判减少了吗？预测拉长到两分钟后，提升还在吗？

随着世界模型加速进入机器人规划、策略评估与训练管线，这些问题已无法靠“看起来很像”来回答。世界模型预测得怎么样，只有一个办法，把它生成的未来，和真实发生的过程，放在一起看。