100万小时人类视频喂出的机器人，转钥匙10次成了9次

转一把锁盒上的钥匙，听起来不像什么了不起的任务。但Dyna Robotics用这个动作做了一次规模对照实验：四组模型接受完全相同的机器人任务训练，区别只在于此前用多少人类第一视角视频做过预训练——1,000小时、1万小时、10万小时、100万小时。

前三组，全部失败。100万小时那一组，测试10次，成功9次。

四组模型后续使用的机器人数据条件相同，每项任务不超过10小时。也就是说，在机器人训练完全一致的前提下，预先接触更多人的操作经验，结果出现了明显分岔。开锁是14项真机任务中的一项，它不能划出一条适用于所有任务的"100万小时门槛"，却验证了实验的假设：人类视频预训练的规模，会改变后续真机训练的结果。

为什么机器人数据扩不快

真实机器人的示范数据很难像互联网文字那样快速扩大。一次示范需要机器人本体、操作者、场地和任务，四样缺一不可。更麻烦的是，记录下来的动作与这副机器人的关节、夹爪、摄像头和控制方式绑在一起，换一副身体，同一条动作指令很可能失效。

人类视频的优势在于更容易跨任务收集。画面可以记录手向哪里移动、物体怎样变化、一项操作按照什么顺序推进，从中提取的手部轨迹还能为动作学习提供监督。不过，要让特定机械臂完成同样的操作，仍需结合机器人示范或控制机制，处理它自己的关节运动与接触约束。

当人类视频成为训练资源，视频本身也开始被重新生产。Dyna-2使用经过组织和处理的第一视角操作记录，并从中提取手部运动；Figure通过贡献者系统采集操作视频，筛选质量、平衡任务分布并添加文字标注；DreamZero的研究者则围绕特定任务录制短视频。这些系统都在提高视频与动作的关联，让画面看清手和物体，保留接触过程，并从中提取稳定的运动轨迹——与随手下载的网络视频有很大差别。

人类视频在训练链上干三件事

近期研究并不是在重复同一种方案。人类视频进入机器人系统后，至少承担三种不同的工作。

1. 学习动作会带来什么结果。Dyna-2先从人类视频里提取三维手部运动信息：手腕的位姿提供运动轨迹，拇指与食指之间的开合提供抓握信号。模型一边学习预测动作，一边预测后面的画面。在动作标注数据量相同的条件下，同时学习动作和未来画面的模型，在39项机器人任务的离线预测中全部优于只学习动作的模型。研究者随后固定动作标注数据，只增加用于预测未来画面的无标签视频，模型表现继续改善。英伟达的DreamZero让未来画面预测直接参与行动：围绕9项此前未见的任务，补充总共12分钟、没有动作标签的人类第一视角视频，追加训练后，机器人的平均任务进度从38.3%提高到54.3%
2. 让视频告诉机器人要做什么。清华大学与星动纪元的一项研究，让视频直接说明机器人现在要完成什么任务。模型观看人完成任务的视频，再结合机器人面对相同场景的初始画面，生成机器人完成同一任务的过程，并把这种表示接入动作策略。论文2026年的修订版显示，模型第一阶段使用超过25万段人类、机器人夹爪和灵巧手示范视频，第二阶段使用约7,000段人类与灵巧手视频，其中包括部分配对示范。实验最终部署在xArm7机械臂与XHand灵巧手上。
3. 把视频经验接到机器人动作上。智元团队参与的τ0-WM使用约27,300小时异构数据，其中3,000小时是人类第一视角视频，其余主要来自真实机器人遥操作和手持式交互设备。它让不同数据提供不同监督：人类视频监督未来画面，机器人数据同时监督未来画面和可执行动作，关节控制因此由机器人数据提供。VPP2则把任务过程交给视频模型，把具体控制留给后续动作学习。

三种工作处在同一条训练链上：人类视频扩大任务经验，机器人数据解决身体控制，动作模型和控制器完成最后的连接。这也解释了不同论文为什么使用成功率、任务进度和离线预测等不同指标——它们测量的是训练链上的不同位置。

画面合理，不等于做得出来

DreamZero让未来画面预测参与行动，也留下了一次直接的失败。机器人需要把面包放进烤箱，模型生成的未来画面里，它先拿起面包，却漏掉了打开烤箱门。实际执行沿着这个顺序发展，机器人拿着面包来到烤箱前，任务卡住了。预测与行动确实联系起来了，只是这一次，机器人沿着错误的计划行动。

视频模型可以直接生成面包已经进入烤箱的画面，机器人却必须先找到把手、接触烤箱门、施加正确方向的力，再为放入面包腾出空间。少掉其中一步，最后那幅画面就不会发生。这次失败把问题从"未来画面预测得像不像"，推到了"画面里的动作究竟能不能执行"。

同一个问题也是RoboWM-Bench的评测对象。北京大学等机构的研究人员从生成视频中提取运动，把它转换成机器人动作，再放进重建的物理仿真环境运行。在这套评测中，Wan 2.6生成的机器人操作视频经过动作转换后，关闭抽屉的仿真执行成功率为50%，拾取物体为20%，把物体放进抽屉为0%，每项任务测试了10种初始物体配置。评测对象是视频模型、动作转换与仿真重建组成的完整流程，因此不能拿来给Dyna-2、DreamZero或VPP2的真机能力排名。

动作从视频进入机器人的身体，还会经过一次转换。即使画面里的运动本身合理，人的动作在适配机器人关节时也可能失真。Dyna-2.1处理的就是这个具体问题：团队发现，把人的运动直接适配到机器人关节，可能把手从原本接触的物体旁移开——画面里的手还搭在物体上，生成的动作标签已经偏离了接触位置。新的做法先给出手腕、手肘和胸部等部位在任务空间中的目标运动，再由控制器决定这副机器人怎样协调关节和底盘。

人的操作经验由此可以保留到更接近执行的地方：手向哪里移动、在何处接触物体，都能成为机器人学习的材料。让这些运动适合特定身体，则仍需要机器人训练、控制器和实际执行中的反馈共同完成。

这正是近期行业变化的核心。在传统的任务示范训练中，机器人数据同时承担任务学习和身体控制；现在，多支团队正在尝试把前一部分交给规模更大的人类视频。10月10日，星动纪元开放了VPP2的两套视频模型权重——VPP2把机器人学习一项操作的过程分成三段：先预测任务接下来会怎样发展，再把较长的过程压缩成视觉规划，最后学习机器人动作，这次开放的是前两段。

把时间往前推两个月，类似围绕人类视频的研究和投入已经接连出现。8月，Dyna Robotics公布了不同规模人类视频预训练对真实机器人任务的影响，Figure公开了大规模第一视角视频采集系统。9月，Skild AI尝试用一段人类视频向机器人说明新任务，Dyna又在处理同一种经验怎样跨越不同的机器人身体。几家公司选择了不同的技术入口，却把人类视频放进了同一条训练链。

Dyna-2的钥匙已经证明，视频规模可能改变真机结果。接下来要检验的，是这种变化能否在更多机器人、更多任务和更长的操作过程中反复出现。在相同或更少的机器人数据下，能否提高真机成功率、能否跨身体复用，值得持续检验；训练成本、执行效率和长时间运行的稳定性，也关系到这些方法能否用于实际工作。