河北
AI生成的驾驶视频画面足够逼真，但切换视角就会出现场景崩坏；想要重建为三维场景，又面临效率低下的困境。这一行业难题，迎来了新的技术突破。近期，长城汽车联合香港科技大学、清华大学等研究团队推出最新研究成果 Drive2Gauss，针对生成式驾驶视频难以快速重建为4D动态仿真场景的现实困境，提出一套系统性的技术方案，为大规模、高效率的驾驶仿真场景构建开辟全新路径。
相关资源
项目主页：https://zttt04.github.io/Drive2Gauss_page/
开源代码：https://github.com/zttt04/Drive2Gauss_
为什么仿真驾驶视频看着逼真
却难以直接投入使用？
近年来，生成式世界模型逐步应用于驾驶场景仿真。依托道路地图、车辆行驶轨迹、相机参数等条件，模型可以批量生成驾驶视频，为感知、规划等算法提供丰富测试素材。
但现有方案落地时存在两大核心短板：
视角受限：生成视频仅适配固定相机轨迹，更换观测角度后，道路、车辆、交通环境极易发生结构错乱；
重建低效：重建三维场景需要针对每个视频进行迭代优化，不仅让仿真场景复用能力大打折扣，也无法支撑大规模仿真数据生产的效率要求。
就像一部已经剪辑完成的电影，你只能观看导演预设好的镜头，没办法随意挪动相机位置，从全新角度去观察整个场景。
Drive2Gauss：打通从生成视频
到4D高斯场景完整链路
Drive2Gauss 全称为 FeedForward 4D Gaussian Reconstruction from Multimodal Generative Driving Videos，即“基于多模态生成式驾驶视频的前馈式4D高斯重建”。该技术摒弃传统“先生成视频，再逐场景优化”的路径，打通从多模态视频生成到显式4D高斯场景重建的完整链路，依靠三大核心能力破解仿真场景重建痛点。
多模态同步生成：兼顾外观、空间尺度与物体运动
模型并非仅输出 RGB 彩色驾驶画面，还同步生成度量深度、动态光流两类关键信息。RGB 还原道路、车辆的外观样貌；度量深度还原真实世界空间尺度；动态光流捕捉交通参与者在连续帧中的运动关系。三类信息协同输出，为动态三维场景重建提供完整的几何与运动依据。
从上至下依次为RGB、度量深度和动态光流。
前馈式推理：无需逐场景反复调优，单样本约1.29秒完成重建
这是本项研究的核心突破点。用传统思路处理视频，需要反复迭代调参优化，耗费大量算力与时间。Drive2Gauss 依靠高斯查询解码器，聚合不同时间、不同视角的场景特征，仅通过一次前向推理运算，即可完成4D高斯场景构建，无需逐段场景单独优化。在一般情况下，单个样本推理时间约1.29秒，让大批量快速重建仿真场景具备现实可行性。
左侧为生成视频画面，右侧为对应的4D高斯场景渲染结果。
新视角自由渲染，让仿真场景真正 “活起来”
重建完毕的 4DGS 场景，不再被原始视频的镜头轨迹束缚。研发人员可以任意挪动相机位置，模拟车辆偏离原本行驶路线之后的环境变化，为驾驶辅助算法提供更加多样的视觉输入。
研发团队在 nuScenes 数据集上开展的多组对照实验表明，Drive2Gauss 在视频生成质量、时序一致性、场景重建效果上综合表现优异；即便相机视角发生较大变化，道路结构、车辆轮廓依旧可以维持较好稳定性。 同时该技术还可以搭配 SPVC 视频修复技术，进一步改善新视角渲染带来的道路变形、物体错位失真等问题，提升仿真驾驶视频的画面稳定性与真实感。
左侧为Drive2Gauss新视角渲染结果，右侧为SPVC修复结果。
从二维画面走向 4D 数字世界
长城汽车夯实仿真技术底座
数字仿真场景，不止追求画面视觉效果，更看重空间一致性、渲染稳定性与生产效率。Drive2Gauss 是长城汽车在生成式驾驶仿真赛道的重要技术延伸，推动仿真场景从二维生成视频升级为具备完整空间、动态时序关系的4D数字场景。
长久以来，长城汽车持续聚焦真实路况、复杂交通工况的技术积累，积极开展高校产学研协同创新。未来，长城汽车还将围绕驾驶世界模型、三维场景重建、仿真数据生成与驾驶辅助安全验证等方向持续深耕，以更真实、高效、稳定的数字驾驶场景，为智能汽车研发与安全验证提供坚实技术支撑。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
