从路侧数据到 4D 世界：世界模型如何重塑自动驾驶的训练场？

作者 |肖恩

编辑 |德新

如果说两年前，世界模型还只是自动驾驶里略显前沿的一条技术路线，那么到今天，它已经在自动驾驶领域里占据了两个重要位置：一个是模型路线，世界模型被很多人认为是通往自动驾驶终局的技术路径；另一个则是训练、仿真和长尾场景验证中的重要工具。

真实路测能采到大量日常场景，却很难稳定覆盖那些低频、高风险的极端情况，譬如暴雨夜间的逆光路口、施工区域里的临时改道、大车遮挡下突然出现的行人，单靠车队“碰运气”的效率太低，如果用传统仿真手工搭场景，又很难跟真实道路的复杂度对齐。

世界模型就是在这样的矛盾里，被推到了台前。

但随着概念热起来之后，边界也开始变得模糊。

有人把自动驾驶仿真叫世界模型，有人把 3D 场景生成叫世界模型，也有人把自动驾驶里的算法模型叫世界模型。这些说法都没有错，但它们讲的显然不是同一个东西。

李飞飞创立 World Labs 后，一直在强调空间智能。她的一个基本判断是，语言模型并不是人类理解世界的全部方式。最近，她在一篇题为《A Functional Taxonomy of World Models》的文章里，试图向公众厘清世界模型这个概念。

她将世界模型按功能，分成 renderer（渲染）、simulator（模拟） 和 planner（规划）。

Renderer 负责生成画面，planner 负责输出动作，夹在中间的 simulator，承担的是对世界状态的表达和推演。

世界模型要知道车在哪里，人在哪里，遮挡关系如何变化，一个动作发生后，环境会变成什么样。如果只靠 2D 视频里的像素相似度，模型可以学到很多视觉规律，却很难稳定学到空间结构、动态轨迹、多视角关系和动作后果。

这就引出了另一件事：如果要训练一个真正可用的 simulator，世界模型不能只靠“看起来像”的视频。它需要更强的结构化监督。

让模型不只生成画面，也去学习画面背后的世界状态。

一、4D 真值监督：世界模型要先把世界对齐

如果只把世界模型理解成视频生成，会简单得多。

给模型一段历史画面，让它预测下一帧，或者生成接下来几秒的视频。画面越自然，运动越连贯，模型看起来就越“懂世界”。

但自动驾驶和机器人需要的，远不止这些。

它们需要的世界模型，不能只预测摄像头下一秒会看到什么。它还要知道画面背后发生了什么：车在哪里，人在哪里，道路边界、遮挡关系，以及某个动作执行以后，环境状态会不会跟着变化。

它们不仅需要3D的空间信息，还需要时序上的变化。3D空间加上时间，就是4D的世界状态。

如何用4D数据训练出世界模型？4D 真值监督就是一种方法。

这里的“真值”，可以理解成模型训练时用来对照的标准答案。普通视频训练里，答案是下一帧图像；4D 真值监督里，答案不只是图像，而是一套动态的世界状态。

这套状态至少包含几层东西。

空间层面，它要有三维几何。车辆、行人、道路、障碍物不能只停留在二维画面里，而要有真实空间位置。车在第几条车道，离本车多远，朝向如何，行人站在路边还是已经进入车道，这些都要被表达出来。

语义层面，它要知道每个对象是什么。车、行人、路沿、信号灯、可行驶区域，不只是像素块，而是具有类别和功能的交通元素。

动态层面，它要保留时间里的变化。车辆是加速还是减速，行人是在等待还是横穿，两个交通参与者是否正在形成冲突关系。

如果进一步进入决策和控制环节，世界模型还需要理解动作带来的结果。

自动驾驶系统做出减速、变道、绕行之后，周围交通会如何变化；机器人抓取、推动、碰撞之后，物体姿态会不会改变，这些都是世界模型要学习的内容。

不只是视觉表面，还包括空间结构、时间连续性和状态变化。

在自动驾驶里，行业里常见的做法大致有几类。

一类是用 3D occupancy 或 BEV 表达世界状态。

Occupancy 可以理解成把车辆周围空间切成很多小格子，每个格子记录这里有没有东西以及是什么。BEV 则更像从高处俯瞰整个交通场景，把车道、车辆、行人、障碍物和可行驶区域，投射到统一坐标系里。

很多世界模型会在这个状态空间里训练。它不直接预测下一帧视频，而是预测未来几秒的 occupancy、BEV 或对象轨迹。换句话说，模型要回答的不是“下一帧长什么样”，而是“下一刻世界会变成什么状态”。

这种表达的好处是把世界状态结构化了，模型更容易学习空间关系和动态变化。但它也有明显局限。无论是 occupancy 还是 BEV，本质上都是一种压缩后的世界表示。

压缩过程中，大量视觉细节会被丢掉，比如纹理、光照、天气变化以及一些长尾场景里的细微信息。对于规划和预测任务来说，这些信息未必重要；但如果希望世界模型同时承担数据生成、仿真验证甚至通用物理世界建模的任务，仅靠 occupancy 或 BEV 往往不够，它们很难完整表达真实世界的复杂性。

另一类做法，是先重建一个可渲染的三维场景。

NeRF、3D 高斯泼溅这一类技术，近两年在自动驾驶仿真和数据生成里出现得很多。它们的思路不是把真实世界存成视频，而是把场景变成一种可以从不同视角重新渲染的三维表示。

这对世界模型很重要。

因为自动驾驶训练经常需要多视角一致。前摄像头看到一辆车，侧摄像头也应该在对应位置看到同一辆车。三维重建相当于先把世界建立起来，再从这个世界里生成不同视角的数据。

但三维重建只解决了一部分问题。真实道路不是纯粹静态的模型，于是行业里会把静态背景和动态对象分开建模：道路、建筑、树木、路沿属于相对稳定的背景；车辆、行人、骑行者，则需要跟踪它们在时间里的位置和姿态。

一段交通场景不再是很多帧图片，而是一个随时间更新的世界：道路、建筑和基础设施构成相对稳定的空间框架，车辆、行人和骑行者在其中持续运动，而遮挡、交互、让行和冲突等关系也随着时间不断变化。

那么 4D 真值监督在训练里有什么作用呢？

首先，它会约束几何关系。

同一辆车不能在前视图里离本车 20 米，换到侧视图里却像在 5 米外；一个行人不能在空间里忽远忽近，只因为画面生成时纹理发生了变化。几何真值会约束物体位置、尺度和朝向。

其次，它会约束时间。

车辆的轨迹要连续，速度变化要合理；行人不能前一秒还在路边，下一秒没有运动过程就跳到车道中央。时间真值让模型学到“变化”本身，而不是只学到一帧一帧的样子。

第三，它会约束多视角。

自动驾驶不是单眼看世界。前视、侧视、后视、鸟瞰、点云，最终都要对应同一个真实场景。多视角真值会让模型知道，不同传感器看到的是同一个世界，不是几段彼此无关的视频。

最后，它还会约束语义和动作后果。

红灯和绿灯不是颜色差异，而是交通状态差异；车道线不是白色纹理，而是行驶规则的一部分。

这些约束合在一起，才让世界模型从 renderer 走向 simulator。

4D 真值如此重要，有个问题也随之而来：真值数据从哪里来？

最传统的方法是从车端收集路测数据。

车辆自己采集摄像头、雷达、激光雷达和定位数据，再经过标定、融合、重建和标注，得到 4D 真值。

但车端数据天然带着单车视角的局限。它看到的是“这辆车眼前的世界”，不一定能还原整个路口的交通关系。被大车挡住的行人、侧后方快速接近的车辆、路口另一侧正在形成的冲突，很多时候并不完整。

要训练一个更可靠的世界模型，真值本身也要变得更完整。

能不能从车端之外的视角，构建一套更完整的 4D 真值，再把它转回自动驾驶模型真正需要的车端视角？

答案是肯定的，而且已经实现了。

二、汤元科技的方法：把路侧世界转回车端视角

这个问题，在汤元科技参与的一篇公开论文里有了一个具体答案。

汤元科技成立于 2024 年，公司总部目前在苏州相城区。这个位置很特殊。苏州相城这些年一直在推智能网联汽车和车路云一体化，许多路口、道路上都部署了摄像头、激光雷达、毫米波雷达和边缘计算设备。

这些设备原本服务于车路协同和智慧交通，它们也提供了一种特殊的数据来源：不是某一辆车眼前看到的世界，而是一个路口、一段道路里更完整的交通状态。

汤元科技 CEO 任冬淳长期做机器人、自动驾驶和世界建模研究，后来在美团自动驾驶负责过算法研发和工程落地。这种从研究到产业一线的经历，也让汤元在做世界模型时，更关注数据生产、真值构建和训练闭环这些实际问题。

路侧数据有了，下一步就是方法。

汤元科技团队的一篇公开论文 I2V-GS，讨论的就是这个问题。论文全名是 Infrastructure-to-Vehicle View Transformation with Gaussian Splatting for Autonomous Driving Data Generation。简单来说，就是把路侧视角转成车端视角，用来生成自动驾驶训练数据。

路侧设备站得高，看得远，更容易看到路口里的整体交通关系；车端传感器贴在车身上，位置低，视角窄，看到的是驾驶系统真正面对的输入。

两者之间不是简单的相机位置变化，而是整个空间关系都变了。同一辆车、同一个信号灯，在两个视角里的大小、位置和遮挡关系都会变。

所以，从路侧到车端，不能靠简单的图像变形。它要先把空间关系还原出来。

I2V-GS 的第一步，是用 3D Gaussian Splatting 把场景建立起来。

3DGS 是用大量分布在三维空间里的 Gaussian 来表示场景。每个 Gaussian 带着位置、尺度、颜色、透明度等信息，组合起来之后，就能从新的相机位置重新渲染这个场景。

关键不在于生成出一张新的图片，而在于先把场景本身建立起来。只有把车、人、道路、信号灯这些元素放回统一的三维空间里，后面的视角转换才有意义。否则，路侧到车端就只是图像层面的拼接和补全，看起来或许足够真实，但背后的空间关系未必正确。

但路侧数据本身并不完美。摄像头固定，视角有限，数量也不可能无限多。要从这些稀疏视角里重建出一个稳定的三维场景，本来就不容易。

这就引出第二个关键点：深度。

单目深度估计可以告诉模型哪里远、哪里近，但数字未必准确。看起来像 20 米，实际可能不是 20 米。I2V-GS 的处理方式，是用 LiDAR 来校准单目深度。

LiDAR 在这里更像一个空间参照系，用来校准场景里的真实距离。车离路口到底多远，行人离车道有多近，不能只靠图像猜。深度被锁定之后，后面的视角转换才有更可靠的几何基础。

接下来是 adaptive depth warp。

从路侧高位视角切到车端低位视角，近处的车变化大，远处的背景变化小；原来被遮住的地方会露出来，原来看得见的地方也可能被挡住。直接把图像投过去，常常会留下空洞和拉伸。

adaptive depth warp 利用深度信息，把原始路侧图像变成一批新的伪视角。可以把它理解成给 3DGS 增加训练角度：原来只有几个固定路侧镜头，现在通过深度引导，补出一批更接近车端位置的中间视角。

但 warp 之后，画面里还是会有缺口。

这里引入了扩散模型。

它负责补全新视角里缺失的区域，比如车身背面、天空或被遮挡的部分。但扩散模型的问题在于，它生成的内容未必和真实世界一致。如果每个视角单独补全，不同视角之间就可能对不上。

因此，I2V-GS 没有让扩散模型自由生成，而是通过 cascade strategy 和 cross-view information 约束生成过程，用多个视角的信息互相校验补全结果。

简单来说，扩散模型负责补全缺失区域，但最终还要接受几何关系和多视角一致性的检查。

这也是这篇论文最值得看的地方。

汤元的方法并不是简单地把路侧视频生成车端视频，而是搭建了一条完整的数据链路：先重建三维场景，用 LiDAR 校准深度和尺度，再通过 adaptive depth warp 补充中间视角，利用扩散模型填补缺失区域，最后用跨视角约束保证整个场景的一致性。

在这条链路里，生成模型当然重要，但它不是唯一主角。更重要的是前面的几何重建、深度校准和后面的多视角一致性检查。没有这些约束，生成出来的车端画面越像，反而越容易掩盖错误。

I2V-GS 给构建世界模型提供了一种新的思路。方法有了之后，如何转化一个可以持续生产数据、服务客户训练和验证流程的平台？

三、真实道路，如何变成可交付的数据产品？

对真实的客户而言，他们需要的是能稳定生产并用于训练的数据。车端视角的视频、多传感器真值、场景标注、可以复现的 corner case，以及能反复验证算法策略的仿真环境。

汤元科技推出的Yootta（优塔）数据平台，解决的就是这类需求。

它没有从零搭一个虚构场景，再让它尽量接近真实世界，而是从真实道路出发。路口、道路、车辆、行人、路侧传感器数据先被重建进数字空间，再从这个空间里生成车侧视角训练数据、合成视频、3D 真值和仿真场景。

行业里有Sim2Real的概念，而汤元科技的方法则是 Real2Sim2Real 的链路。

Real2Sim 先把真实世界搬进数字空间；Sim2Real 再从这个数字世界里生成可以反哺真实模型训练的数据。

这样做的好处是，数据的起点是真实道路。真实交通里的空间结构、对象关系、遮挡和动态变化先被保留下来，再去做视角转换、天气光照变化和长尾场景扩展。

但真实世界重建也不是万能的。

路侧传感器再多，也会有看不到的地方。比如天空、远处背景、被遮挡区域、极端天气下的光照变化，这些都很难只靠三维重建完整补出来。如果场景要进一步泛化到更多天气、更多光照、更多复杂环境，单靠重建还不够。

这也是汤元引入 NVIDIA Cosmos 的原因。

Cosmos 在这里没有替代 4D 重建，而是补上重建之后仍然缺失的部分。它可以做缺失信息补全、多样化视角生成和复杂环境泛化，把一个真实路口扩展成更多训练样本。

把真实道路重建成带有结构约束的 4D 世界，再让生成模型在这个范围内补全和扩展。

这是 Yootta 数据平台和普通视频生成工具的区别。

它交付的是能进入自动驾驶研发流程的数据资产。比如高保真合成视频集，可以补充视觉训练样本；3D 真值，可以用于感知和场景理解；多场景标注，可以接入客户已有的数据管理和训练流程。

在这个基础上，汤元还把能力延伸到闭环仿真。

合成数据解决的是“模型还没见过什么”；闭环仿真解决的是“模型遇到之后会怎么做”。同一个危险路口，可以改变车流密度、天气、行人轨迹和本车策略；同一个 corner case，也可以在不同算法版本里反复测试。

这套能力已经开始在真实客户场景里落地。

汤元科技曾与梅赛德斯-奔驰、清华大学共建基于 4D 结构数据的闭环仿真平台，用于自动驾驶开发、测试与验证。除此之外，它也向头部主机厂和 Tier1 客户交付过高保真合成视频集、3D 真值与多场景标注等数据产品，支持量产流水线使用。

结语

真实道路上，每天都在发生各种各样的 corner case。

一次大车遮挡后的行人穿出，一辆非机动车的突然变道，一个施工路口里的临时绕行，一场雨夜里的反光和误判。对普通交通系统来说，它们只是路面上不断流过的瞬间；对自动驾驶来说，这些瞬间都是宝贵的训练材料。

但是，过去这些材料很难被真正用起来。

汤元科技所做的，是把这些正在真实世界里发生的场景，通过路侧数据、4D 重建和生成补全重新组织起来，让它们从一次性的道路事件，变成可以反复训练、复现和验证的场景资产。

这对行业的意义不只在于多了一种合成数据方法，它可能会改变自动驾驶获取长尾数据的方式。

世界模型在这里不再只是生成一段视频，而是把真实道路里的复杂性，重新交还给训练系统。