机械臂会“演戏”人手是“盲区”，全球首个能“测谎”的世界模型评测平台发布

来源：市场资讯

（来源：文汇报）

机器人明明抓空了，世界模型却生成了一段“成功抓起水果”的逼真视频。这不是个案，而是当前世界模型在机器人场景中的系统性偏差：给定相同初始画面和动作序列，模型可能生成画面逼真、却与真实执行完全相反的未来。

近日，全球首个以真实执行为标尺的动作驱动世界模型评测平台WorldOracle正式发布，并向开发者开放评测提交。该项目由智元、NVIDIA、普林斯顿大学、得克萨斯大学奥斯汀分校、多伦多大学的研究人员联合完成。平台要回答的核心问题是：给定一组动作，世界模型预测的未来，和真实发生的过程究竟差多少？

给世界模型“测谎”：不只看像不像，更要看真不真

过去一年，世界模型生成的视频越来越逼真，但“像不像”和“真不真”是两回事。当世界模型被用作机器人的“预演沙盘”——筛选动作方案、评估策略、生成训练数据——一次失败操作如果在模型里被预测成功，机器人就会系统性高估自己。

WorldOracle把考场搬到了真机实录现场：预先采集真实操作的画面与动作序列，让模型在相同初始画面和动作序列下开放回放生成预测，再与真实执行逐帧对照。真实操作中的抓空、掉落、洒水被完整保留，准确预测失败同样得高分。

平台将“预测与真实执行的吻合程度”定义为“执行一致性”。一个可靠的世界模型，必须扛住三重压力测试：

因果服从：模型必须严格跟随给定动作序列，包括错误动作和失败操作。现实抓空了，预测出抓空才是满分答案；把失败“脑补”成功，就是幻觉。

分布迁移：动作可以来自人类遥操作，也可以来自机器人策略自主执行。后者带有停顿、抖动和临场修正，模型不能只会应付“标准操作”。

时序耐力：不是预测前10秒像不像，而是连续操作120秒后，误差是否仍在可控范围内。

对已有基准的对比研究发现，WorldOracle是目前唯一同时做到“动作条件化+真实数据+含失败样本+长时序+多本体+多视角+策略自主执行分布”七项的评测基准。此前最接近的工作要么依赖仿真环境，要么只考文本驱动的视频生成。

335条真机轨迹、约四成失败样本：考卷先过“可信度测试”

WorldOracle的考题全部来自真机实拍，且是全球首个把“失败”当核心考点的世界模型基准。

平台包含335条评测轨迹：智元精灵G2机器人100条、YAM机器人75条、人类第一视角手部操作100条、G2策略自主执行60条，每条约2分钟。其中约40%的交互片段是失败或次优执行，抓空、掉落、洒水均被完整保留。任务覆盖水果抓取（刚体）、挂毛巾（柔性体）、倒水（流体）、开合抽屉（关节体）4种物理形态。

训练配套方面，团队新采集了1779条G2训练轨迹（含约20%失败片段），并为YAM配套公开ABC-130K数据集；人类手部场景则完全零样本考验模型泛化能力。

评测流程对参赛者友好：无需自采真机数据，使用评测集提供的初始画面和动作序列生成预测视频提交即可，平台自动对照真实执行评分。标注管线也实现了“工业化”：VLM为每个交互片段的结果关键帧自动生成物理判据，SAM3逐帧分割物体、机械臂和人手区域，让评测聚焦真正发生交互的地方，而不是被大面积背景稀释误差。

阅卷标准同样经过检验：119名参与者对128对预测进行盲评，四项指标与人类判断的一致率为88.1%—93.2%，Spearman相关性0.72—0.82。控制实验显示，关键区域指标随交互区域内失真加重而单调下降，但背景单独变化时几乎不动——指标抓的确实是“交互处的错误”。

七个模型同台“测谎”：五个发现个个扎心

研究横评了7个代表性动作驱动世界模型：IRASim、Ctrl-World、DreamDojo、Cosmos 3、GE-Sim 2.0、JointControlVideo、OSCAR。结果指向五个明确问题。

发现一：机械臂会“演戏”，物体才是说谎者。 将空间对齐指标拆成“机械臂”和“被操作物体”后，所有模型均出现巨大落差。G2人工操作轨迹上，IRASim机械臂得分78.8，物体仅29.1；Cosmos 3为89.4对45.4；即便最强的GE-Sim 2.0，机械臂100.0、物体也只有62.8。机械臂运动被精确复刻，但它对世界造成的影响——水果有没有被抓走、毛巾有没有滑落、水有没有进杯——模型其实“没看住”。

发现二：120秒，是多数世界模型的“记忆极限”。 预测窗口从10秒拉长到120秒，衰减曲线触目惊心：G2人工操作数据上，GE-Sim 2.0单视角综合分从86.1跌至63.4，其余模型长时程末端只剩26.7—35.1分。按完整轨迹计，DreamDojo从50.56掉到27.08，Cosmos 3从53.99掉到26.60。短时预测分数几乎不能预判长时表现。

发现三：动作跟得越准，越会掩盖结果错误。 空间对齐和物理结果正确是两种独立能力。GE-Sim 2.0在完整轨迹上多视角一致性高达96.96、空间对齐73.49，但物理状态正确性只有60.26。论文中的极端案例是：一段预测空间对齐80.8分，物理状态却是0.0分——抽屉实际全关，模型预测成了拉开。一个模型可以在所有视角里精确地撒同一个谎。

发现四：换了“司机”，成绩大幅跳水。 WorldOracle首次把“机器人策略自主执行”作为独立考区。由π0.5策略在真机上闭环运行产生动作，带有人工操作中没有的犹豫、抖动和中途修正。Ctrl-World的物理状态正确性从人工操作下的51.15跌至自主执行分布的27.22。只会应付“标准操作”的世界模型，离真实机器人工作现场还有距离。

发现五：人手，是当前世界模型的“绝对盲区”。 零样本参与人类手部场景的三个模型集体垫底，即便表现最好的模型，物体区域保真度也只有15.2分。高自由度关节运动、可变形手部外观、精细接触力学，仍是全世界模型都没有攻克的难题。

开放提交：给模型迭代的“试金石”

WorldOracle已公开榜单和提交指南，支持开放权重与闭源模型。注册审核后，开发者可按模型支持的本体与赛道提交预测视频，查看综合分、分项成绩与逐段对比视频。

对开发者而言，这套评测把“我的模型变强了吗”拆成了可以验证的具体问题：一次改进，是让物体运动更真实，还是只让机械臂更“上镜”？对失败操作的误判减少了吗？预测拉长到两分钟后，提升还在吗？

随着世界模型加速进入机器人规划、策略评估和训练管线，这些问题不能再靠“看起来很像”来回答。WorldOracle给出的方法很直接：把模型生成的未来，和真实发生的过程放在一起看。

项目主页：https://worldoracle-benchmark.github.io/

论文：https://arxiv.org/abs/2610.18826