李飞飞、Yilun Du罕见联手：别给机器人建大脑了，直接偷视频模型的｜GAIR Paper 115

用像素动作的新接口，打通视频大模型与机器人之间的壁垒

作者丨邓哲敏

编辑丨齐铖湧

今年视频生成和具身智能领域，阵容最为豪华的一篇“融合体论文”出现了。

前几天，一篇名叫Masked Visual Actions for Unified World Modeling的论文，挂在 arxiv 上，这篇工作还未在学术圈传开，但绝对马上就要爆了。

因为它的署名栏和论文内容都实在太炸裂了，大家自己看吧。

不仅包括李飞飞，ImageNet 缔造者，如今全力押注空间智能；吴佳俊，斯坦福助理教授，物理推理方向代表人物，刚获得热乎的 IJCAI 2026 计算机与思维奖，还没领奖；张吕民，ControlNet 作者，如果你用过 AI 绘画里照着姿势生成人物的功能，你已经在用他的技术。

还有斯坦福计算成像实验室负责人 Gordon Wetzstein、机器人基础模型核心推动者黄文龙等十多位顶尖学者。

更让AI科技评论（雷峰网公众号）意外的是哈佛助理教授 Yilun Du，也在其中。

因为大家可能知道，他和李飞飞，恰好是具身智能领域两条路线的代表人物。一个主张让 AI 直接在看得懂的画面里思考，一个主张把一切先压缩成抽象数字再思考，学术交集极少，上次合作还是五年前杜在 MIT 读博，之后一直观点分野，这次同署，本身就是看点。

要知道，学术圈里，某些名字凑在一起就是信号。两条路子平时互不相让，这次却出现在同一篇论文里。

只能说这篇工作，可能找到了两条路线都认账的交叉点，或者叫做共识？

机器人，也许根本不需要自己专属的大模型。

这个“共识”有些可怕，现在多少大厂拼命卷机器人大脑基模，多少创业公司靠一个基模撑起了几十亿估值，但这篇论文，在挑战这一认知。

按论文的结论，也许机器人不仅不需要自己的专属大模型，甚至不需要重训已有的视频生成模型，只需要找对接口，就完全可以直接利用日趋成熟的视频生成模型。

同时，这篇论文对产业界的影响也是巨大的，它的思路一旦走通，那么今后各个工厂或者快递分拣站“换条机械臂就宕机”的跨本体难题，将得到彻底解决。

好了，说太多了，开始解读一下。

01

过去视频模型懂物理不懂动作，是因为缺"翻译接口"

总结来看，这篇论文可以概括出一句话：过去视频模型懂物理但不懂动作，是因为缺一个"翻译接口"，如今通过 MVA 把动作变成像素遮罩轨迹即可完成翻译，同时，MVA 模型能同时做正向（世界模拟）和逆向（动作生成）。在仅用 15 小时数据微调情况下，就能让机器人操作，从单臂泛化到未见过的双臂上。

解读论文前，先通过一个小例子来解释一下行业痛点。

如果一个人广泛浏览物理纪录片、慢动作回放和日常视频，一定会练出一种物理直觉：球滚到桌边，多半会掉；水杯被撞，水会洒。这种直觉不是背出来的，是看多了自然长出来的。

今天的视频生成模型，差不多就是这样一个人。

无论 Sora 还是国内宇宙厂、老铁厂、生数或其他开源模型，吞下海量视频后，也练出了类似的物理直觉。给它一段拿起水壶倾斜的开头，它能续出一个大致靠谱的后续：水壶里的水会被倒进杯子里。没人教过它牛顿定律，它全靠看出来的。

但它有个致命问题：从没亲手做过任何事。你把机械臂放在它面前，让它把杯子挪到左边，它会愣住，因为完全不懂往左挪这句话该怎么变成给电机的信号。

这篇论文前言基于这些分析，直接指出一件重要的事：

当下视频模型懂物理，但不会下达指令。

马上论文给出答案说：问题出在了“翻译”上。

很多人看到这里估计懂了，这里讲的翻译，其实指的是视频模型看懂以后，该以什么方式传递指令。

其实机器人的世界讲的是一套很干巴的语言，关节转了多少度，末端移动了多少厘米，夹爪合拢到什么程度。这套语言跟视频模型脑子里那套“像素怎么流动、颜色怎么变化”的语言完全对不上。

这就好比你请了一位见多识广的美食评委，但你没法直接和他聊菜谱，只能用摩尔斯电码敲给他。他心里门儿清这道菜该怎么做，可你敲的那串点和划他完全看不懂。

过去几年，研究者们试过不少办法弥合这道沟。

论文直接拿一些经典工作出来举例，提到被誉为机器人策略开山之作的 UniPi ，虽然能做到用文本引导视频生成规划，但文字指令太模糊，动作精度始终受限于语言描述；

此外，又举例 cmu 和 Meta 合作的经典工作 Track2Act ，能在画面上标轨迹点，用点轨迹预测做操作，但稀疏的点描述不清一个连续动作；

还有另一个思路，也就是 Ctrl-world ，它是把机器人的关节角度直接喂给模型，最直接，却也最脆弱，因为换一款机械臂，同样的“关节 1 转 30 度”意味着完全不同的姿态，模型立刻懵掉。

这些方案的共同思路是逼着视频模型去学一门它本不熟悉的外语。

而这篇论文换了个问法：为什么不干脆用视频模型自己的母语跟它说话？

02

一个巧思，打通视频模型和机器人操作的结界

整套方法出乎意料地朴素，拆开看其实就三步。

▎第一步：把动作变成一段涂了颜色的录像

这篇论文提到，他们用了一个叫 SAM 的工具，全称 Segment Anything Model，是 Meta 做的抠图模型，是目前视觉圈最好用的通用抠轮廓工具之一。

SAM 把视频里的机器人和操作物体从画面中分割出来，得到它们在每一帧中的区域（mask）。

由于机器人和物体都在不断运动，这些区域随着时间连续变化，自然就形成了两条运动轨迹：一条记录机器人是如何移动的，另一条记录物体是如何变化的。

这就是这篇论文（MVA）对动作的全部定义。没有角度，没有坐标，没有数字，只有色块在画面里怎么游走，就这么简单。

▎第二步：遮住一条轨迹，让模型自己把它补出来

这一步是整篇论文真正的巧思。

把物体运动的轨迹遮住，只留机械臂运动轨迹，再把这段缺了一半的录像交给 AI，问它接下来会发生什么？

AI 盯着机械臂的运动轨迹一推演：手臂这样伸过去、这样一推，那个被藏起来的物体接下来会往哪儿移动、会不会被碰倒。

反之，把机械臂遮住，AI 看到一个杯子从桌子左边滑到右边，却看不到是谁推的。它必须反过来推理机械臂应该怎么伸、怎么动。

这时你可能发现了，前者 AI 扮演的是世界模拟器：给定机器怎么动，推演世界会如何变化。后者AI 扮演的是动作生成器：给定世界该如何变化，反推出机器应该怎么行动。

这个巧思最妙的是，完成这两项任务的始终是同一个模型、同一套参数，没有任何切换开关。它是在模拟世界还是在生成动作，只取决于你遮住哪条颜色。

这让我们想到有点像做完形填空，同一篇文章，这次挖空动词，下次挖空名词，考察的是同一个脑子的不同能力。

▎第三步：不需要从头训模型，只用15小时就能教会机器人

MVA 没有从零训练任何东西，它站在了一个现成模型的肩膀上：阿里的开源视频生成模型 Wan2.2 。Wan2.2 有 140亿 参数，基于扩散 Transformer 架构，是目前开源阵营里生成质量最能打的选手之一（但非常可惜，据AI科技评论最新消息，Wan 团队已经解散）。

这套组合里，Wan2.2 相当于那个看过一万部纪录片的“人”，物理直觉已经练得相当到位了。MVA仅仅用 LoRA（Low-Rank Adaptation，一种很省力的微调手段），就让 Wan2.2 能看懂刚才机器人语言体系中涂抹色块。

之所以不去动大脑本身，仅用现成模型搭建，是因为大动干戈地全面重训，不仅花钱费力，还很容易把原本积累的物理直觉冲洗掉。就像一个物理学家被拉回去重刷三年小学数学题，搞不好反而把微积分忘了。

对比一下就出来了，别人都花几个亿从零开始训基座模型，外加堆几千几万小时机器人操作数据，才勉强让机器人学会动作。

而 MVA 的思路，是 0 元购现成的开源模型 + 15 小时数据，就直接让机器人实现 zero-shot 泛化效果，有点离大谱了。

03

论文结果，数据不会说谎

方法讲完了，效果怎么样？用论文里两组数字总结一下。

第一组：同款机器人上的碾压式领先。用一个衡量生成画面和真实画面差多远的指标 LPIPS 来看（数值越低越好），MVA 跑出的成绩是 0.0945，而排第二的对比方法 Ctrl-World 是 0.362，差了将近四倍。

那些完全不告诉模型该怎么动的纯视频生成方法，几乎全线崩溃，毕竟连指令都没给，模型自然无从预测未来。

第二组：换一台完全没见过的机械臂，照样能用。

研究者训练时用的是一款单臂机器人的数据，测试时突然换上一款训练阶段从没出现过的双臂机器人。结果，Ctrl-World 当场失灵，而 MVA 照样输出了靠谱的预测。

基于这套能力，论文还顺手演示了三种用法。

第一，给现有策略打分：让机器人先在脑子里把几种候选动作各自演一遍，挑结果最靠谱的，再真去执行。

第二，当规划器用：不需要训练任何专门的策略网络，靠反复想象-筛选就能规划出一条可行路径。

第三，反推动作：只需要告诉它任务，它就能推演出机械臂该怎么配合完成。

04

产业界人士如何看待这篇论文

以上是从学术角度的拆解。

但当AI科技评论（雷峰网公众号）和一位常年在机器人一线做产品的技术负责人李琳鑫讨论这篇论文时，他几乎没怎么在意前面讲的完形填空设计有多巧妙。

琳鑫是深圳韦特嘉机器人 CTO、联创，一直在做世界模型、AI 视觉与泛化三维重建在物流仓储的落地工作。

他的第一句判断，就把重心移到了别处：“这篇文章的核心不在于模型训得好，而在于泛化性的增强。以前大家没有办法解决这种异构机械手的一个识别，或者说叫迁移。它解决了这个问题。”

学术论文爱讲“我的方法有多新”，但产业界真正关心的是“这东西解决了什么痛点”。

接着，李琳鑫提到了一个重要的细节，是论文里关于“直接输出还是间接输出”的分野。

他的说法比我们前面的比喻还要直白：“大多数面向实机部署的 VLA 策略，输出的是与特定本体绑定的低层动作表征(不管是关节角、末端增量还是关节速度)。换一台运动学结构不同的机器，这套输出就失效了。这个做的是，先理解环境，再做 IK 去解算出来各个轴的。中间多加了一层，就导致泛化性极强，跟我们现在在做的思路是基本上一样的。”

别人都是图像进、带角度的数据出，换台机器角度就对不上了；MVA 多加了一层，先想清楚手该去哪，再用 IK 算出各关节怎么配合。就这一层中转，让泛化能力直接上了一个台阶。

其实他提到的，是论文在用好几页篇幅说的另一个重点：URDF 。

这个细节学术界不太关注，但在产业界看来，却是决定这套方法能不能跨本体泛化的关键。

论文有张很清晰的流程图，细看会发现色块的生成远比想象中讲究。第一步用 SAM 认出机械臂轮廓，第二步，研究者导入了这台机械臂的 URDF 文件。

URDF（Unified Robot Description Format）是机器人行业通用的一份“说明书”，记录着一台机械臂有几个关节、每个关节能转多大角度、连杆有多长、转动起来末端会落到哪里。差不多每一款商用机械臂，都会附带自己的 URDF 文件。

有了这份说明书，两件重要的事就变得可以计算了。

一件叫正运动学（FK）：已知每个关节转了多少度，反推末端在空间里的位置。这就像你闭着眼睛也能感觉到，肩膀转了多少、手肘弯了多少，你的指尖大概停在什么地方，你的大脑天生就在做这种计算。

另一件叫逆运动学（IK），方向反过来：已知你想让末端到达某个位置，反推每个关节该转多少度才能凑出这个姿势。你想够到桌上那只杯子，大脑瞬间就算出肩膀和手肘该怎么配合，你自己甚至意识不到这中间发生了计算。

这里浮现出一个关键分岔。

市面上大多数让机器人学会动作的模型，做法是直接吐出关节该转多少度，图像进去，一串角度数字出来，中间没有任何中转。这个办法简单粗暴，但脆弱得不堪一击：同样一句“关节 1 转 30 度”，在一台六轴机械臂和一台七轴机械臂上，摆出来的姿势可能完全不是一回事。就像你对一群身高体重各不相同的人喊“左臂抬高 30 度”，每个人抬出来的姿势也会天差地别，因为大家的骨架不一样。

而 MVA 走了另一条路：它先想清楚末端应该到什么地方去，再借着这台机器自己的 URDF 说明书，通过逆运动学反算出这台特定机器该怎么摆关节。

指令通用了，执行方式各自适配。这一层看似多余的中转，恰恰是它能够换机型不换脑子的真正原因。

URDF 还能偷偷干另一件事：把视频生成的多余想象力摁住了。

视频模型天马行空，有时候会一本正经地生成一个物理上根本摆不出来的诡异姿势。有了 URDF 描述的运动学限制，模型生成的每一个姿势都必须是这台机器真实能摆出来的，给想象力划定边界，画面反而变得更可信了。

这就是为什么李琳鑫作为产业界人士，这么关注URDF 的原因了。

此外，从他的视角，还把这篇论文放进了更大的行业动向里：“从今年上半年大家都做分层架构了，核心就是想把 vision 和 action 给拆开……它没有必要和 video 去结合，因为 video 的部分有 VLM 去做整体的识别、分割和处理。这个数据量一定比大家结合素材去做的数据量大非常非常多，完全不是一个量级。"

这个一点感受和我们是相似的。具身今年的行业趋势是把看和动拆开。

看的部分用互联网海量视频训练，数据量是机器人实机数据的成千上万倍；动的部分用相对少的机器人数据加运动学计算补齐。这篇论文正好卡在这个趋势的接口上。

有意思的是，李琳鑫团队走的其实是另一条路：受 Yann LeCun 影响的隐空间世界模型路线。但谈起和这篇论文的关系，他说：“我们核心的点也是在 URDF 的导入和 IK/FK 的解算上。这个点上大家是可以结合的，思路上甚至一定程度是相通的。”

两条看似分道扬镳的技术路线，底层都绕不开同一份 URDF 说明书，都得算同一套正逆运动学。路线之争走到足够深处，答案未必是二选一。

05

这篇论文正在发起一场“蝴蝶效应”

MVA 试图证明，机器人不需要一套专属的动作语言，只要找准一个接口，把动作翻译成视频模型早就懂的那套像素语言。

这个想法背后藏着一层很深的判断：具身智能往前走的路，或许不在于把机器人专属的模型越练越大，而在于想办法把已经很强的视觉大模型直接借过来用。互联网上的视频几乎是无穷无尽的，而机器人真机操作的数据永远稀缺又昂贵。谁能让机器人真的吃下前一种数据，谁手里握的筹码就完全不一样。

说到底就是一句话：最好的翻译，不是逼着对方学你的话，而是用他早就听得懂的话，去说你真正想说的事。当学术圈最有分量的一批人，和产业界正在悄悄发生的架构变化，不约而同地指向了同一个方向。

这条路，值得再多看几眼。

本文技术顾问

【李琳鑫：韦特嘉机器人 CTO &联创；研究方向：世界模型 + AI视觉＋泛化三维重建】

上车，带你看遍全球 AI 顶会精华

可独家畅览：

专家演讲PPT

大会报告全文

热门论文解读

学术新星访谈