生数朱军：通用世界模型是连接数字世界与物理世界的新基础设施

推动AI从“生成世界”迈向“理解世界、预测世界、行动于世界”。

本文为IPO早知道原创

作者｜Stone Jin

据IPO早知道消息，生数科技创始人、清华大学人工智能研究院副院长朱军日前于WAIC 2026期间发表了题为《通用世界模型：连接数字世界与物理世界的新基础设施》的主题演讲，系统分享了通用世界模型的技术演进、核心能力及产业应用路径。

朱军表示，人工智能正在从理解和生成数字内容，进一步走向对世界规律的建模、推理、预测与行动。通用世界模型将成为连接数字世界与物理世界的重要基础设施，推动AI从“生成世界”迈向“理解世界、预测世界、行动于世界”。

以下为演讲全文：

尊敬的各位嘉宾，大家上午好！

首先，非常感谢大家百忙之中参加我们的论坛。我们非常荣幸能够与万兴科技一起，在世界人工智能大会举办这场面向未来的论坛。

大家都知道，大模型正从语言模型走向多模态模型，再进一步走向世界模型，技术能力不断突破。同时，AI也在从单一工具逐步发展为支撑产业生产力的基础设施，这正是我们发起今天这场论坛的重要初衷。接下来，我会用一点时间，跟大家简要分享一下我们所看到的基础模型发展趋势。

首先，从原理上来看，什么是世界模型？

我们先来看人的世界模型。这里有一个简单的定义。大家都有过骑自行车或者开车的经历，在做出动作之前，我们会在大脑中形成一个小模型，帮助我们理解环境、想象不同动作可能产生的结果、规划行动，最终指导动作输出。这就是人的世界模型，它能够帮助我们适应复杂环境，并作出安全、可靠的行动。

今天，全世界都在关注如何构建机器的世界模型。机器世界模型相关的研究很多，前沿进展也非常快。但从本质上来看，机器的世界模型主要需要具备三项能力。

第一，对环境进行精准理解；第二，能够基于当前状态和即将采取的动作进行预测和想象；第三，能够在预测过程中学习并采取行动。总体而言，我们认为机器世界模型至少要实现理解、想象和行动的一体化。

从这里可以看出，世界模型与普通模型的区别在于，它不仅要回答“是什么”，实现对世界的理解，还要回答“为什么”，以及“这样做会产生什么后果”。这个领域目前最大的变革，是从专用模型走向通用模型，并形成Scaling Law。包括视频模型和世界模型在内，大家都希望遵循Scaling Law，推动通用能力取得重大进展。

要做通用模型，首先需要回答一个问题：我们应该使用什么样的数据？根据理解和建模世界的目标，我们梳理了相关数据，形成了六层数据金字塔。从底层向上，分别包括通用互联网视频、第一视角的人类动作视频，以及机器人相关的操作数据等。

在机器人轨迹采集过程中，大量数据也是以视频形式承载的。机器人通常配备多个相机，用于拍摄环境和机器人的动作。总体来看，视频是这套数据体系中最主要的格式，因为它是最便捷、最容易记录世界变化的数据载体。

数据金字塔的底层具有海量的数据规模，而在机器人专用操作数据方面，如何收集足够多的数据，一直是行业面临的巨大难题。

我们的目标是打造通用基模，因此在数据使用上有几个原则：第一，数据规模要足够大；第二，数据类型要尽可能全面；第三，要尽可能使用真实数据。这也是我们从大模型训练中总结出的规律。过去，这些数据为什么没有被充分利用起来？一个重要原因是，普通视频与机器人动作轨迹之间缺少直接对应关系。

今天，我们想和大家分享的是，如何通过生成式方法和底层技术原理，让海量视频数据转化为高质量、有价值的训练数据。因此，我们看到，世界模型首先会在数字世界中成长，但最终目的不只是生成数字内容，还要进一步走向物理世界，在更加广泛的场景中发挥价值。

有了前面的数据，接下来要考虑的是，如何真正发挥这些数据的价值。

我们的目标是打造通用模型，而通用模型需要通用架构。简单地将不同模块串联或并联起来，并不是最理想的方式。我们希望在统一架构中，实现理解、想象和行动的一体化。我们较早开始探索这一方向，并提出了全球首个MoT统一架构，将理解专家、生成专家和行动专家统一在同一个模型中，通过统一目标进行训练。

因为它是一个一体化模型，所以在使用过程中可以自由切换不同的输出形态。对于机器人，它可以直接输出动作；对于创作者，它可以直接输出高质量的像素级视频；也可以根据任务需要进行联合输出，在一个模型中统一完成不同任务。生数科技正在做的就是这样一件事情 「通用世界模型」。

上面展示的是两类模型：世界生成模型与世界动作模型。一类与今天的论坛直接相关，面向数字内容生产和高质量影视生产；另一类则是为具身智能行业提供机器人的“大脑”。

在数字内容方向，对应的是Vidu Q3等模型。目前，我们已经取得了很多成果，也推动了内容生产力的提升。

对于一家做基模的公司来说，我们最大的体会是，通过海量视频数据的大规模训练和Scaling Law，模型可以实现更加精准的理解，以及高动态、高一致性的生成创新，而且这些创新往往是组合式的。这些能力在过去的传统方案中很难实现。如今，在视频大模型中，我们已经率先实现了理解和想象，也就是前面所说世界模型三项能力中的前两项。

近期，我们还发布了实时生成模型。视频模型不再只是简单地生成素材，也可以成为实时交互模型。以数字人场景为例，传统方式通常需要预设有限的动作模板，驱动面部表情和口型。现在，我们采用的是完全流式的生成方式，角色的表现可以更加自然、灵活，也更加拟人化。

它不仅可以实时交互，还能够支持无限时长的连续对话。这也打开了很多想象空间。在需要流式、实时交互的场景中，可以直接使用视频大模型提供相关解决方案。

当前，流式视频生成主要面临几方面的局限。

第一，缺少实时的用户干预；第二，缺少语音显示控制。语言对人来说是一种非常自然的交互形式，特别是在实时交互场景中，语言是非常重要的输入形态；第三，长时间生成的稳定性通常不足；第四，推理和部署能力不足。对于流式生成而言，无论是推理时延还是推理成本，都有非常高的要求。

针对这些问题，我们进行了一系列技术突破。模型可以端到端地理解语音指令，实现实时交互和指令跟随，完全通过对话方式，还原人类最自然的交流形态。用户也可以定义自己的角色，通过设定人物形象、音色和相关描述，打造具有特定人设的实时交互角色。目前，模型可以实现540P的视频输出，最高帧率达到42FPS。

但我们的最终目标，并不只是停留在数字内容生成上。无论是前面提到的Vidu视频生成，还是Vidu S1的流式生成，都是在为进一步走向实时的物理交互做准备。这些核心技术也可以支撑模型在物理世界中的行动。

这也是我们今年4月份发布的最新模型。它可以基于同一个模型底座，同时驱动多种异构机器人本体，完成复杂的长程任务。

我们取得的一个重要进展是，基于较强的通用基模，可以用更加高效的方式，让不同机器人本体快速学习复杂技能。这里展示了一些例子。用户可能只需要给出一条文字指令，比如让机器人完成插花、浇水等任务。模型可以理解语言描述，将任务分解为一系列步骤，并精准生成完成任务所需的动作指令，最终控制机器人完成整个任务。

画面中展示的是机器人的“大脑”，也就是我们的基座模型正在预测未来状态。可以看到，模型预测的状态与真实发生的状态非常接近。这说明机器人不只是能够执行任务，还能够对未来进行预测和想象，并基于这种想象，更好地规划和输出动作。

这也是新一代基座模型与传统VLA方法最本质的区别之一。传统VLA更多是在拟合轨迹：给模型演示一定数量的轨迹，让机器人进行模仿，并在一定范围内实现泛化。通过生成式预训练机制，机器人可以基于对未来的想象来规划动作，输出的动作也更加可靠、稳定、安全和高效。同时，通用基模可以支持跨场景、跨任务的泛化。

图中展示的是传统VLA范式的对比结果。蓝色曲线代表我们去年12月开源的版本，绿色曲线代表最新采用更强视频模型的版本。图中的结果越靠近左上角，意味着模型可以使用更少的数据，学习到质量更高的任务能力。可以看到，最新版本的提升非常显著。

这意味着，通过通用基座模型，可以大幅提升机器人学习任务的效率和成功率。相关模型在多个榜单中也处于领先位置，特别是在跨场景、跨任务的泛化方面，能够达到非常高的成功率，取得了行业领先的模型效果。

我们今天讨论的通用世界模型，不再只是视频模型的升级，也不是语言模型的简单延伸，而是推动AI从生成内容，迈向理解世界、推演世界，并与世界实时交互的新范式。

最后，我想简单介绍一下生数科技在这一过程中的发展历程。

生数科技从成立之初就定位于基础模型，并以视频建模作为出发点。在这个过程中，我们深刻认识到，视频模型基于对世界的深层理解，可以达到非常高的能力上限，而且这个上限仍在不断拓展。这也是我们一直坚持探索的方向。我们希望通过高质量的基模，更加高效地服务高质量内容生产和具身机器人的产业落地。

过去短短两年时间，大家可以看到，视频基模已经从最初展示技术可能性，发展到今天真正进入产业、支撑生产力场景。这是一个非常快速的变化过程。

最后，对于未来的展望...

今天和大家分享的是基础模型的故事。生数科技定位于基础大模型，希望以更高的效率和更高的质量，为合作伙伴和整个行业提供模型能力。

我们的第一个体会是，视频数据是语言之外一种非常丰富、规模庞大且十分宝贵的信息载体，能够记录和描述这个世界。

第二，基于视频的大规模预训练，模型可以实现精准理解、高质量和高一致性的想象与预测，并进一步形成可泛化、跨任务、跨本体的行动能力。这也是我们一直致力于探索的方向。

我们已经看到，在持续提升预训练能力的基础上，再配合高效的后训练，可以推动整个行业实现快速迭代和落地。

这也是我们一直致力于打造的技术范式。希望能够与在座的各位，以及更多行业同仁开展合作，共同探索通用世界模型的智能上限与产业落地的更多可能。

我的分享就到这里，谢谢大家！