从李飞飞到朱军，世界模型为什么都开始走向机器人｜甲子光年

从生成世界走向真实行动。

作者｜田思奇

编辑｜栗子

9月以来，世界模型开始更密集地进入机器人研究。

9月1日，李飞飞创办的World Labs发布Atlas，将文本、图像、视频和 3D 纳入同一个世界模型。此前，World Labs也在推进Real-to-Sim-to-Real，希望通过生成和重建空间环境，训练和测试机器人策略。9月8日，巴黎AI实验室Kinetix团队加入Runway，其在3D人体运动和物理视频生成上的积累，也将进一步用于机器人世界模型研究。

两天后，生数科技在外滩大会发布Motus2，将动作生成、未来预测和结果评价放进同一个共享模型，并进一步利用预测与价值反馈改进机器人策略。

几家公司的切入点不同，方向却越来越接近。因为当智能系统真正进入动态环境，仅仅知道有什么还不够，更重要的是理解行动之后会发生什么。桌上的杯子被推动后会移动多远、机械手应该施加多大的力、一次抓取失败后如何调整，都要求模型能够预测行动后果，并据此做出下一步决策。

围绕这个问题，李飞飞与朱军正在从不同起点给出各自的系统性回答。

李飞飞长期推动的Spatial Intelligence，强调让AI获得对三维空间、物理环境及其变化规律的理解能力。World Labs的工作，也在沿着生成、重建和模拟空间世界的方向，不断扩展世界模型的能力边界。

而生数科技创始人、清华大学人工智能研究院副院长朱军关注的，是一个更进一步的问题：如果世界模型要走向更高层次的通用智能，它究竟应该具备哪些核心能力，又应该如何演进？

今年3月，朱军提出通用世界模型战略；8月，进一步发布技术报告General World Models: First Principles and a Development Roadmap，将通用世界模型归纳为由理解、想象和行动构成的持续反馈闭环，并提出包含L1世界生成、L2世界交互、L3世界行动，到L4自主世界智能体、L5世界组织者这五个层级的技术路线。

在这张路线图中，视频生成不是终点，而是模型学习世界规律的起点。模型进一步需要与世界持续交互、预测行动后果，并最终形成更强的自主决策与行动能力。

沿着这一路线，从Vidu Q系列到实时交互模型Vidu S1，再到Motubrain和最新的Motus2，生数已经从生成、交互推进至行动阶段，并开始探索L4所要求的更高自主性。

GWM的价值也正在于此：它并不是把已有产品重新串成一条线，而是试图为世界模型建立一套从能力定义到长期演进的技术坐标。

过去几年，“世界模型”可以指视频生成、空间模拟、状态预测，也可以延伸到机器人规划，不同路线往往聚焦其中一种能力。GWM则把生成、交互、行动与更高自主性放进同一个连续过程中，回答的是一个更长期的问题：世界模型如何从学习世界，逐步走向参与世界、改变世界，并最终成为更通用的智能系统。

从这个意义上说，L1到L5不只是一套分级方法，也是一张世界模型通向更高通用性的长期路线图。

1.世界模型的难题，在动作发生以后

世界模型并不是一个新概念。但到了2026年，不同研究团队使用这个词时，指向的系统仍然存在明显差异。

今年6月，World Labs从功能出发，将世界模型分为Renderer、Simulator和 Planner。Renderer负责生成供人观看的像素，Simulator描述可以被计算和交互的几何、物理与动态状态，Planner则根据观测和目标生成动作。

World Labs尤其强调Simulator的重要性。对于机器人而言，“看起来真实”只是第一步，空间结构是否准确、物体尺度是否合理，以及受到干预以后会怎样变化，才真正决定模型能不能用于行动。

LeCun推进的JEPA则从另一条路径切入：模型不必逐像素生成未来，而是在抽象表征空间中预测后续状态。V-JEPA 2进一步将这种能力用于机器人规划，也说明从大规模自然视频中学习世界规律，正在真正进入机器人系统。

GWM关注的则不是某一种具体技术实现，而是这些能力最终能否形成闭环。在朱军团队的定义里，一个更完整的世界模型，需要不断完成这样一个过程：理解当前世界，想象可能的未来，采取行动，再从行动结果中重新理解世界。

对机器人来说，这个闭环更加关键。视频生成出现偏差，最多是画面不自然、物理关系不合理。机器人判断错了，可能就是抓空、碰撞，整个任务直接失败。

因此，当世界模型从生成世界进入行动于世界，面对的问题也随之发生变化。模型不仅需要生成合理的未来，还要预测自己的动作会带来怎样的未来，并让这种预测能够支撑实际控制。

这也是GWM从L1继续向上划分的原因。

L1要生成连贯的世界演化；L2加入持续输入，让模型在交互中不断更新状态；到了L3，模型进入物理环境，需要把环境理解、未来预测与真实动作连接起来。

继续向上，L4要求模型围绕长期目标主动感知、探索和规划，并根据反馈持续调整策略；L5则进一步走向多个机器人、数字智能体、人类、工具与资源之间的组织和协作。

随着层级提升，对模型的要求也从模型规模扩展到更复杂的系统能力。

从L1到L3，需要解决时空一致性、实时交互和动作控制；继续向L4、L5演进，还会进一步涉及长期记忆、持续学习、安全控制和多主体协作。

进入实时交互和机器人控制后，算力本身也会成为系统约束。模型必须在环境继续变化之前完成感知、预测和决策，推理延迟不仅影响使用体验，还会直接影响整个闭环能否成立。

「甲子光年」认为，L1到L5更值得关注的价值，是它提供了一种观察世界模型能力能否持续积累的尺度。

2.Vidu：先让模型学会“世界如何变化”

如果把GWM放回L1理解，视频生成的重要性就不仅仅在于生成一段好看的视频。

它首先要求模型学习一个动态世界如何连续变化：物体不会凭空消失，人物在不同镜头中需要保持一致，镜头运动会改变空间关系，物体受到作用力后也会产生相应的运动结果。这些看似属于视频生成质量的问题，本质上都要求模型对对象、空间、时间和动态规律形成越来越稳定的建模能力。

生数从2024年推出Vidu开始，持续沿着这条方向迭代。

此后的Vidu Q系列，一条明显的演进主线，就是不断提升模型对于复杂动态世界的生成与重构能力，从画面质量、主体一致性和运动表现，逐渐走向更长时序、更复杂的镜头关系以及音视频协同。今年发布的Vidu Q3已经可以一次生成最长16秒的音视频内容，并同时处理多镜头、人物动作、对白、环境声音和背景音乐等信息。

对普通用户来说，这首先表现为视频生成能力的提升。但从世界模型的角度看，它背后对应的是另一个问题：模型能否在更长时间尺度上维持同一个世界的连续演化。

例如，一个人物走进房间、拿起桌上的杯子，再与另一个人对话，看似只是十几秒的视频，模型却需要同时维持人物身份、空间位置、动作关系、镜头连续性以及声音事件之间的对应。时间越长、变量越多，模型需要处理的世界状态也越复杂。

因此，在GWM的路线中，L1的意义并不只是先做好视频产品，更在于通过大规模视频和生成任务，让模型获得关于动态世界的基础先验。

不过，能够生成一个世界，并不意味着模型已经能够参与其中。下一个变化来自实时交互。Vidu S1把视频生成从一次性的输入—输出，推进到持续输入和持续反馈。用户可以通过语音实时驱动数字角色，角色不仅会改变口型，还能够根据新的输入持续调整表情、动作和行为。

这意味着模型面对的并非一条提前确定的生成轨迹。新的信息可以随时进入，系统需要一边生成，一边维护当前状态，并根据新的输入不断修改未来。从GWM的分级看，这也是L1和L2之间最关键的区别：生成世界解决接下来会发生什么，交互世界还需要持续回答当前状态发生变化后，未来又该怎样演化。

在数字世界，这种实时交互能力还在继续向前推进。「甲子光年」获悉，Vidu S系列的新版本Vidu S2即将上线。

与此同时，另一条延伸开始进入物理世界。当模型面对的对象从数字角色变成真实机器人，交互带来的变化不再停留在生成内容中，模型自身的动作会直接改变现实环境。从L2走向L3，世界模型也由实时响应进一步进入真实行动。

3.从视频到机器人，关键是数据能不能复用

进入机器人以后，一个核心问题是：模型此前从大规模视频中学习到的知识，究竟能留下多少？

机器人学习长期面临数据瓶颈。互联网中有海量人类活动视频，却很少记录精确的机器人关节、动作和受力信息；机器人轨迹包含完整控制信号，但需要真机、场地和人工采集，成本远高于普通视频。

GWM因此提出了一个数据金字塔——底层是互联网规模视频，再往上是专业视频、人类第一视角数据、带动作的人类示范，最上层才是昂贵的真实机器人轨迹。

不同层级的数据承担不同作用。大规模视频可以帮助模型建立关于物体、运动、空间和人类操作的广泛知识；越接近机器人，数据规模通常越小，但包含的本体、控制和任务信息也越精确。前者解决世界经验从哪里来，后者进一步完成这些经验与具体机器人之间的对齐。

这也是越来越多机器人团队重新关注人类视频的重要原因。今年8月，Dyna Robotics公布Dyna-2，在扩大人类第一视角视频预训练规模后，其机器人数据评测和后续真机任务表现也随之改善。

生数最新发布的面向灵巧操作的自进化通用世界模型Motus2，也给出了类似的实验结果。

Motus2使用约13万小时人类第一视角数据进行预训练，之后再加入100多小时机器人轨迹和人机对齐数据。在相同目标任务微调流程下，仅经过人类第一视角数据预训练的模型，五项真机任务平均成功率为51%；进一步经过机器人领域中间训练后提升到84%。

这组结果说明，大规模人类数据中的操作经验可以成为机器人学习的基础，但人类经验还不能直接替代机器人数据。前者帮助模型获得关于操作和环境变化的广泛先验，机器人轨迹则继续补充本体、控制和任务信息，完成从人如何操作到这台机器人如何操作的进一步对齐。

因此，从Vidu继续走向机器人，值得关注的并不是几款模型是否使用完全相同的参数，更关键的是：从海量视觉和人类数据中学到的世界规律，能否继续进入交互和行动。

如果这种迁移能够持续成立，视频生成、实时交互和机器人行动之间就会形成更清晰的技术连续性，生数从数字世界进入物理世界的路径也会有更具体的基础。

4.朱军：从视频出发，走向通用世界模型

从视频生成一路走到机器人行动，这条路线也可以放回朱军过去二十年的研究经历中理解。

朱军本科、博士均毕业于清华大学计算机系，随后赴卡内基梅隆大学机器学习系从事博士后研究，2011年回到清华任教，并入选国家“万人计划”青年拔尖人才。如今，他是清华大学计算机系Bosch AI教授、人工智能研究院副院长、无穹书院副院长，并先后当选IEEE、AAAI和ACM Fellow。

过去十余年，他的研究覆盖概率机器学习、贝叶斯方法、深度生成模型和强化学习等方向，团队提出的Analytic-DPM获得ICLR 2022 Outstanding Paper Award，DPM-Solver也成为扩散模型领域有代表性的工作。

这些方向不能简单串成一条线性的技术演进，但背后持续涉及几个基础问题：机器如何从数据中学习环境规律，如何处理未来的不确定性，又如何在行动之后利用新的信息继续调整判断和决策。到了GWM，这些过去分别出现在建模、生成和决策中的问题，被进一步放进理解、想象和行动组成的反馈闭环里。

今年3月，谈到具身智能长期面对的数据瓶颈时，朱军明确表示：“视频，是当前最接近真实世界的数据形态。”相比语言，视频天然包含时间信息、空间结构和物理交互过程，因此可以成为连接数字世界与物理世界的关键载体。

这句话也提供了一个理解生数世界模型路线的入口。视频在这里并不只对应内容生成，它首先是一种规模足够大的世界数据：人在怎样的环境中行动，物体如何运动，动作又会造成什么变化，都大量存在于视频之中。机器人数据规模更小，却能够进一步补充动作、本体和控制信息。前文的数据金字塔，可以看作这一判断在GWM中的系统化表达。

朱军当时还把团队的目标概括为构建贯通“理解世界、生成世界与行动于世界”的技术闭环，让通用世界模型成为连接数字世界与物理世界的桥梁。相比单独讨论视频生成或者机器人控制，这种表述已经把问题放到了一个更大的尺度：模型能否利用不同形态的数据形成对世界的认知，并把这种认知从预测未来继续推进到实际行动。

几个月后发布的GWM，则进一步把这一判断写成了一套五级能力路线。它的战略价值也由此凸显：对于最早凭借Vidu被外界认识的生数，世界生成只是其中一个阶段，公司希望建立的技术坐标，是覆盖数字世界与物理世界的通用世界模型。

5.结语

世界模型进入机器人，也把这一方向带进了更大的Physical AI技术体系。

这不仅仅是几家模型公司的技术选择。IDC今年5月的调查显示，Physical AI以16.7%的比例成为企业未来24个月第二重要的AI投资方向；另一项CEO调查中，35%的受访者把Physical AI列入未来12到24个月最重要的三项新技术投资之一。IDC同时把Physical AI视作一个完整的系统市场，覆盖基础模型、机器人操作系统、中间件、仿真与数字孪生、合成数据、数据管线、设备和服务等多个层次。

进入机器人以后，衡量世界模型的标准也随之增加。视频一致性、实时响应、机器人任务成功率和跨任务泛化，都只能回答其中一部分问题。从GWM的框架来看，目前也没有单一指标能够覆盖从生成、交互到物理行动的全部进展。

从Vidu到Motus2，生数的产品一直沿着世界生成、实时交互和机器人行动持续推进。GWM进一步把这条技术路线系统化，明确了从L1到L5的能力演进方向。

从视频生成走到交互和具身行动，生数正在把技术能力从数字世界继续延伸到物理世界。沿着GWM这条路线，生成、交互和行动开始形成一套更完整的能力布局，也让生数朝着构建连接数字世界与物理世界的通用世界模型继续推进。

（封面图来源：AI生成，文中图片来源：生数科技）