西湖大学团队提出Code World Model：让Coding Agent成为世界模型的大脑

世界模型要做到真正支持开放世界交互，难点并不只是生成一段看起来连贯的视频。

在复杂环境中，实体、关系、规则和事件都会持续变化，某个动作产生的影响可能不会立即出现，却会在很长时间后继续改变世界状态。

以游戏为例，如果玩家刺杀了一座城市的统治者，后续影响可能逐步扩散到继承秩序、派系联盟、贸易关系，以及大量非玩家角色的信念、目标和行为。即使城市暂时离开玩家的视野，这些变化仍可能持续发生，并在玩家很久之后再次返回时显现出来。

现有视频世界模型主要从视觉观察中学习环境如何变化。视频记录的是已经发生的结果，却很少直接呈现产生这些结果的世界知识、规则和底层机制。尽管训练更多视频可以增加可见经验，但模型仍然需要从稀疏的视觉结果中反推出隐藏的状态转移和因果关系。

为应对这一挑战，西湖大学、南洋理工大学团队提出了“代码世界模型”（Code World Model）。

论文链接：https://arxiv.org/pdf/2608.25927

该框架将世界演化与视觉生成拆开：Coding Agent负责理解事件、维护持久世界状态，并通过可执行代码推动世界变化；视频模型则根据状态条件生成高保真的视觉观察。两者之间为一个轻量级编译器，负责渲染出一个起连接作用的粗粒度代理（Proxy）视频。

图｜Code World Model 概览。左侧，一个 coding agent 通过可执行代码更新状态；中间，一个轻量级编译器渲染出一个粗粒度的代理视频；右侧，一个视频模型根据代理和文本生成高保真观测结果。

他们在仅约 5.6 小时的 GTA V 游戏视频上进行了适配训练，从 157 段 gameplay take 中采样了 9420 个 5 秒片段。定性结果显示，经过 LoRA 微调的 MiniMax-H3 能够遵循 Proxy 指定的实体位置、运动轨迹、场景布局和摄像机运动，同时保留丰富的外观细节与局部动态。

这些结果表明，将用于持久世界演化的代码与用于灵活视觉实现的视频模型相结合具有巨大潜力，为构建开放式世界模型提供了一条新途径。

研究方法

据论文描述，在 Code World Model 中，Coding Agent 通过代码管理世界状态及其演化，而视频模型则负责将演化后的世界呈现为视觉观测。

由此，知识和规则负责驱动世界状态变化，世界的视觉呈现则依赖视频模型学习到的视觉先验，使交互世界能够突破预定义轨迹，持续且连贯地演化。

图｜Code World Model 管道。Coding agent 作为世界模型的大脑，负责将交互意图转化为更新世界状态的代码；更新后的世界状态被编译为一个 proxy，并与文本提示词配对，用于约束视频模型生成对应的视觉观察结果；生成的观察结果与状态反馈随后将支持后续的交互与世界演化。

1.编程智能体当“大脑”，代码做“肌肉”

研究团队将复杂世界的计算分为两类：一类是稀疏但语义复杂的推理，负责解读新事件、关联世界知识与角色关系、判断受影响的实体和机制，并进行长程规划；另一类是密集而重复的执行，用于维护位置、属性、日程、冷却时间、碰撞和数值规则。前者需要更强的推理能力，后者则要求更高的更新频率。

现有技术难以同时满足这两类需求。视频模型擅长生成外观和运动，却难以处理跨越数天甚至数年的因果过程；语言模型虽然适合推理，但若在每次状态更新时运行，成本和延迟都无法支持实时交互。此外，攻击是否命中等结果必须由距离、攻击范围等明确的世界状态决定，以保证规则一致且结果可复现，而不能完全交给生成模型“猜测”。

Code World Model 的核心思路是“agent- code”分工：coding agent 负责低频、复杂且需要理解语义的决策，并将其转化为可执行、可复用、可修改的代码；代码负责高频执行确定性的状态更新。

例如，agent 可以决定城市进入紧急状态，修改派系目标、激活已有行为规则，或加入巡逻、继承、消息传播等新机制。此后，实体位置和朝向等状态的持续更新交由代码完成。在大规模战斗中，代码可以连续处理多实体的距离、碰撞、攻击范围、冷却、命中、伤害及连锁触发；只有在目标变化、出现异常或需要调整机制时，agent 才重新介入。代码执行频率由世界状态更新需求决定，与 agent 的推理频率和视频模型的生成帧率相互解耦。

它们共同构成一个持续循环：交互或世界事件改变现状，agent 读取世界状态并调用现有代码，或局部修改世界程序；代码执行规则、推进状态变量，执行结果、测试信息和新反馈再返回给 agent，成为下一轮决策的依据。

形式化地说，世界状态可分为两部分：一是可执行状态，包括世界程序、实体属性、规则、关系和事件历史等变量，由 agent 与代码共同更新；二是视觉状态，包括外观、运动等需要跨时间保持一致的信息，由视频模型生成。代码不是冻结不变的游戏逻辑，也不是脱离 agent 的独立控制器，而是由 agent 持续维护和修改的可执行延伸。

视觉后端之所以选择视频模型，而不是显式 3D，主要是因为两者的能力上限不同。显式 3D 的效果取决于资产质量、模拟器保真度和场景覆盖范围，难以充分呈现真实世界的视觉丰富度；视频模型则从大规模视觉数据中学习了外观、运动、交互和物理行为的先验，能够随着数据和算力扩展持续吸收真实世界的规律。

代价是，每一帧新观察都需要生成式推理，其计算量和延迟高于传统渲染。但研究团队认为，对于追求高保真和开放式生成的场景，这一代价值得承担，而且视频推理效率仍在不断提升。

2.Proxy：把世界状态翻译成逐帧时空约束

Agent 和代码决定了世界“怎么运行”，接下来的问题是：如何把持续变化的世界状态转换成视频模型可用的条件？

最直接的方案是使用结构化文本。但近期大规模视频世界模型的实验表明，即使配备专门的相机条件通路，文本仍难以精确控制相机轨迹和实体运动。理论上，语言可以描述每一帧的每个像素，但这种方式效率极低，也超出了当前视频模型的指令遵循能力。

另一种方案是让 agent 搭建完整的显式 3D 世界。虽然空间控制更强，但生产级的几何、资产、动画、材质和渲染系统成本过高，也可能过早限制最终的视觉呈现。

他们最终选择了折中方案：Proxy，一种粗粒度、可编程的世界表示，只编码实体的位置、姿态、轨迹、空间关系和相机运动等画面必须遵守的时空约束，不描述纹理、材质和光照等外观信息。

一个轻量的确定性编译器将 Proxy 渲染成代理视频，并与结构化文本共同作为视频模型的条件：文本表达语义意图，Proxy 提供逐帧的时空约束。由此，系统形成了清晰的职责边界：代码决定世界中发生什么，以及哪些后果会持续存在；视频模型决定这些结果最终以何种视觉形式呈现。Proxy 遵循以下设计原则：

首先，Proxy 的信息必须完全来源于世界状态，不能引入另一个生成模型，从而保证“世界状态”到“模型条件”的转换过程对 agent 透明、可检查。

其次，Proxy 由简单、可复用的图元组成。每个图元只需少量代码即可定义，参数可以直接寻址；编译器只进行轻量级光栅化，无需构建生产级资产或完整渲染管线。因此，Proxy 是一种可构造、可检查、可寻址、可局部编辑的表示，而不是由黑盒模型生成的视觉方案。

Proxy 携带的信息越丰富，对实体、场景布局和相机运动的约束就越精确，但 agent 也需要维护更多图元和参数。例如，关节级骨骼运动虽然能提供更细致的动作控制，但当前 coding agent 仍难以可靠操控这类状态。因此，团队采用“最小充分状态”原则：只保留画面必须遵守的时空结构，将外观和更细粒度的动态细节交给视频模型生成。

在计算开销方面，Proxy 每个空间维度的分辨率仅为目标视频的 1/4，因此只引入约 1/16 的额外视觉 Token，额外推理负担可以忽略。

3.数据管线：游戏同步录制，真实世界离线编译

要让视频模型真正学会遵循 Proxy，需要构建严格时空对齐的“Proxy—目标视频”配对数据。

图｜配对数据构建。

游戏是这类数据的天然来源。在一次执行中，可同步记录目标视频与运行时状态，仅提取相机状态、实体位置与朝向、近似尺度、场景布局及交互状态，不保留完整 3D 模型、纹理或材质。同一份运行时记录还可在无需重新采集目标视频的情况下，编译出不同覆盖度和粒度的 Proxy。运行时提供的逐像素实例 ground truth 图，则能将结构化文本中每个实体的外观、属性和动作描述绑定到 Proxy 的对应区域。

真实世界视频同样可以离线构造配对数据，且不需要动作标签或相机轨迹标注。以 KITTI-360 为例，校正后的 RGB 帧作为目标观察，相机位姿、语义 3D 重建和 3D 物体标注仅用于离线编译条件。通过胶囊骨架、线框、低多边形图元和粗 3D 包围盒分别表示行人、车辆、植被和建筑，并利用共享深度缓冲进行光栅化，可以保留相机运动、空间对齐和遮挡关系。他们指出，真实视频的价值在于提供游戏资产、动画与模拟管线无法覆盖的高保真外观、运动和物理交互先验，这对具身 agent 的训练与评估非常重要。

实验结果

为实现并评估从可执行世界状态到视觉观测的接口，研究团队针对游戏视频和真实世界视频设计了数据构建方案。

当前原型首先使用游戏数据对预训练视频模型进行适配。在游戏运行过程中，同时记录目标视频以及构建 Proxy 所需要的相机、实体和场景状态，由此得到在时空上对齐的 Proxy 与视觉观测数据对。

真实世界视频同样可以通过 3D 重建和目标检测标注，构建与视频对齐的 Proxy，且无需动作标签，从而能够显著降低标注成本。

在配对游戏数据上进行微调后，MiniMax-H3 能够较好地遵循 Proxy 所规定的角色位置、动作轨迹、场景布局和相机运动，同时保留高保真的视觉细节和细粒度动态。

与仅通过文本或者低维动作、相机信号表达粗粒度意图的控制接口相比，这一接口能够直接指定逐帧实体运动和视角变化，从而实现更加细粒度、更加直接的时空控制。

图｜视觉质量结果。

不足与未来方向

当然，这项研究依然存在一定局限。

研究团队指出，当前实验受限于可用算力，训练规模较小，生成质量有待提升，且尚未实现自回归的实时生成。

此外，尽管 coding agent 发展迅速，但要从零开始可靠地实现高度复杂的游戏机制仍有难度。因此，当前原型尚未展示由 Agent 自主构建完整开放世界游戏或模拟器的能力。研究团队表示，未来的 coding agent 有望逐步设计、实现、测试并维护更复杂的世界机制，但要可靠地达到这一水平，仍需进一步研究。

Code World Model 的意义在于重新划分了世界模型中的两类问题：世界如何演化，可交由具备知识与推理能力的 coding agent 通过代码维护；世界如何被看见，则可交给具备视觉先验的视频模型完成。

未来，如果两者能进一步扩大规模并稳定协同，世界模型或许不必只围绕"预测下一帧"展开，而能逐步转向对规则、状态、后果与视觉观察的统一建模。