生数科技创始人朱军：通用世界模型，推动数字世界与物理世界统一的新范式

©潮涌AI编辑部

世界模型，无疑是当前最热的一个词。

如何搭建可打通数字与物理空间、兼具感知、推演与实操能力的通用世界模型，是行业亟待突破的核心命题。

7月3日，生数科技创始人、清华大学人工智能研究院副院长朱军在“2026全球数字经济大会人工智能融合应用发展论坛”上发表了《通用世界模型，推动数字世界与物理世界统一的新范式》主题演讲，其从第一性原理出发，分享通用世界模型的构建逻辑、核心技术与落地实践，为我们阐释数字与物理世界融合的全新技术范式。

以下是朱军演讲实录，经潮涌AI整理发布：

机器世界模型的三个核心：理解、想象、行动

世界模型的重要性，其实不用重复了。

我想从第一性原理的角度，给大家分享一下怎么去构建通用世界模型，什么样的路径是真的可行。

首先，我们还是参考一下人的世界模型。

大家都有这个体验，比如说开车或者骑自行车，在我们学这些技能之前，很多动作是没有准备的。但是一旦学会之后，我们大脑就会去预测每一个可能的动作它的后果，可能发生的状态，最后输出到行动上，让动作变得安全、可靠、平滑。

现在的问题是怎么去构建机器的世界模型？从第一性原理的角度来说，机器的世界模型至少具有三个方面：

第一个，能够看懂这个世界，能够感知周围的状态。

第二个，能够预测和想象未来的状态，基于预测做规划。

第三个，通常被大家忽视的，能够在这个环境里面学习动作，最终指导我们的行动。

所以，“理解-想象-行动”，构成了世界模型最主要的核心要素。

六层数据金字塔：从通用视频到机器人实采数据

过去几年最大的变革是Scaling Law。

Scaling Law让我们的语言模型从特定领域的小模型走向了通用模型。

现代强化学习之父Sutton在《苦涩的教训》里面总结说到，当前这种范式下，用通用算力、通用架构、大量的数据去做，可能是最有效的，也能带来最快的发展速度和走得更远。

今天回过头来说，我们怎么去构建通用的世界模型？需要的数据是什么？架构是什么？

我们的目标是要做世界的理解、想象、行动。和这个目标相关的所有数据，我们梳理成六层的“数据金字塔”，从底到上：

第一层，网络视频数据。

第二层，第一视角人类动作视频。

第三层，合成数据。

第四层往上，机器人实采的轨迹数据。

这几种数据的一个显著区别在于规模。

互联网中有海量的视频数据，这个规模可能是百亿小时。现在具身行业在努力采集机器的轨迹数据，目前为止量级大概是几十万小时，与视频数据有多个量级的差距。

视频数据：从废料变宝，记录真实世界的最佳选择

现在要做通用的基模，第一个考虑是我们要用全量的、最大量的数据。其中，最主要的是要把视频数据用好。

为什么视频是很好的选择？因为视频数据本身就是在记录真实世界，不管是拍摄演员表演的影视剧，还是监控摄像头实拍的视频流，都是真实世界的一种体现。

所以，视频里蕴含了丰富的信息，包括人物对象、环境、因果关系、时空、动作等，这些在视频里面都有了。

视频在过去为什么用不起来？是因为过去大家主要用的是VLA的路线，它是一种端到端从理解到动作的预测方式，更多的情况下视频数据因为缺少动作标注，往往被看做是一堆废料，用不起来。

但是今天，基于视频模型的快速进展，海量的视频数据就可以变废为宝，真正把里面有价值的信息挖掘出来，作为底层的一个基座。

通用架构：MoT实现“理解-预测-行动”的大统一

第二个最主要的问题是架构。

要做通用模型，肯定要用通用的架构。现在行业里面大部分场景下，大家的方案都是分离的、碎片化的。

比如VLA主要关注从状态到动作的映射；视频生成主要关注模拟和想象。但这些模型在体量上通常是小模型，另外功能是单一的，所以不具备做通用的模型。

从第一性的角度来说，通用的基模一定要有通用架构，要有统一的架构能实现理解、生成和行动的大统一。

我们给出的第一个Solution是用MoT统一的架构去实现“理解-预测-行动”的大统一，其中理解专家能够看懂这个世界，生成专家能做高质量的预测，还有行动专家可以端到端生成动作。

四个关键技术

这个架构里面有四个主要关键技术：

第一个，统一的架构MoT用联合注意力机制实现了闭环。

第二个，从学习目标来说，我们认为从大模型应该用最朴素的学习目标。对于视频数据，最朴素的目标是预测像素、将视频重建出来。这个任务大家认为会比较难，所以经常会被绕开。我们的认知是大模型用更难的学习目标，往往会牵引着学会更深刻的理解。目前视频生成的质量能够达到专业内容的需求，就是一个很好的例子。

第三个，我们是全局优化，不再假设有一个预训练好的编码器把数据映射到隐空间里做隐状态的预测，可以稳定的大规模训练。

第四个点，实现端到端的统一之后，模型可以自由切换——可以在像素空间解码，也可以直接解码动作，或者联合解码，根据需求自由切换。

Vidu S1发布：推动视频模型走向实时交互时代

在这个路径里面，实际上是统一的底层基座，上面有两种输出：一个是在像素空间解码出来的视频内容，是给人看的；另外一个是直接在动作空间解码，指导机器人完成复杂任务。这分别对应我们做的Vidu系列模型和Motubrain世界行动模型。

首先说视频生成。现在大家可能都很熟知了，Vidu等视频模型已经可以做到专业级视频的生产，比如做短剧、影视剧等。

但我想跟大家分享的核心认知是：通过互联网级的视频预训练，我们在视频大模型上展示的Scaling Law，它给我们带来了对这个世界精准的理解，以及高动态、高一致性的生成和想象。两年前是不可想象的，但今天已经实现了。

在此基础上，下一步有很多发展，比如我们可以走向实时交互。因为在物理世界里面我们希望它是实时的。这也是今天正式要发布的一个模型——Vidu S1，S1让我们的视频模型正式走向了实时交互的时代。

比如这里面展示的场景，你可以和数字人打电话、视频聊天，它会实时理解你的语音、视频等，去说话以及做自然的动作。这个在之前可能是很难实现的。比如上一代数字人通常面临很多问题，对口型或者驱动表情很僵硬、很受限。大家在实时生成上也面临着很多问题：缺少实时用户的干预，缺少语音实时直接的控制，另外长时长的一致性、稳定性不足，还有推理和部署能力不足。

所以围绕这几个点，S1做了重点技术突破：

第一个，语音指令实时跟随。不再需要用其他方式作为输入，直接语音对话，它可以实时理解。比如这里面的人物形象，它可以理解你语音里面所有的动作，能够完成相应的操作。

第二个，无限时长的生成。它可以生成一小时、几小时，甚至不停地去做生成。这背后用到的在基模上是自回归的生成技术，可以让视频无限地去延展。

第三个，540P+25 FPS，最高可以支持42 FPS，高清高质量实时互动的生成。

第四个，允许自定义角色，比如真人、动漫或者萌宠，加上音色的定制，去定制你自己的数字形象。

Motubrain：从数字世界迈向物理世界

前面讲的都是在数字空间里面，高精度的理解加高质量的想象。很自然的，我们会迈向物理世界，在物理空间做实时交互，就是做到行动。

在通用世界基座模型上，我们从去年7月份发布第一个版本Vidar，到去年12月份发布Motus，到今年4月份发布的Motubrain，都展示了视频模型可以很好的支持动作生成，实现“理解-预测-行动”的闭环。

这是最新的Motubrain的一些效果。

我们可以在一个基座上去跨本体、跨任务完成复杂的长程任务。用户只需要一句话，比如“你帮我完成插花、浇水”，这个模型就可以去理解，做长程任务规划，且在这个过程中边执行预测边想象。左框是机器在想象预测的状态，和真实发生的状态是非常非常吻合的。在此之下，实现了“理解-预测-行动”的大统一。

Motubrain展现出了强大的泛化性。比如和VLA的路线，像π0.5这种先进模型来比，有显著的提升。在多任务泛化上，Motubrain也是在RoboTwin2.0榜单上唯一一个在随机环境下面对50个复杂任务平均分超过95的模型。

今天的分享最后简单总结一下：

通用世界模型是一个新范式，推动小的、特定场景的世界模型走向大规模预训练的基座。要构建这种通用模型，要解决数据问题和架构问题。今天我们已经看到这个曙光：在数据上，视频数据可以极大地支持大规模预训练；在架构上，可以不断扩展参数规模，像GPT的演进路线一样。

强大的基模预训练，加上有效的后训练，包括未来Online RL这种范式的发展，会成为未来主流的范式，会极快加速具身场景智能的发展。

“2026全球数字经济大会人工智能融合应用发展论坛”由全球数字经济大会组委会主办，北京市经济和信息化局、朝阳区人民政府承办，中关村科技园区朝阳园管理委员会（北京市朝阳区科学技术和信息化局）、北京数智云科信息科技有限公司、北京信息化协会、北京人工智能产业联盟、北京数智聚联企业管理有限责任公司协办。

=▹

联系我们 CONTACT US!

请添加微信xingminghui15