端到端成为自动驾驶必争之地，英伟达打出训练感知决策组合拳

车东西（公众号：chedongxi）
作者 ｜ Janson
编辑 ｜ 志豪

英伟达放出前沿技术研究，5大技术助力自动驾驶。

车东西1月23日消息，日前，NVIDIA（英伟达）正式发布了2025年《NVIDIA自动驾驶安全报告》，该报告概述了英伟达在自动驾驶汽车技术方面的贡献，重点介绍了其在安全架构、软硬件协同设计、设计工具和方法论等领域的独特成就。

此外，报告还讨论了实现最高级别可靠性和安全性的最佳实践。

今年CES 2025上，英伟达宣布将于上半年上市下一代车载计算平台DRIVE Thor后，重点谈到了英伟达的软件平台DriveOS，其将和Thor一同为自动驾驶发展提供协同支持。

不难看出，英伟达致力于全方位发展自动驾驶生态，推动多元化的技术进步，构建完整的生态系统，实现“无死角”的技术覆盖。

尤其是在软件层面，英伟达也一直在前沿技术发展上保持开放，其DRIVE Labs（NVIDIA自动驾驶实验室）上常以较高频率更新其在自动驾驶技术上的前沿进展。

为此，车东西将深入探讨英伟达最新发布的5项前沿研究，涵盖从训练到感知、决策等各个方面，解读英伟达在自动驾驶领域的最新进展。

一、训练量成端到端技术根基 英伟达提出全新方案

当下，端到端自动驾驶成为主流，训练量成为了量产自动驾驶绕不开的话题。

特斯拉CEO马斯克曾在财报会上提到，只有训练到1000万个clips（视频片段），系统才会有难以置信的表现提升。

目前国内量产水平较高的车企如理想汽车，其最新的车位到车位OTA中所用的训练量也达到了800万Clips。

不难看出，端到端自动驾驶的训练中，训练数据成为了必争之地，而通过生成式AI产生更多训练数据以及通过算法提升数据通用性，在此基础上通过自监督学习的方式提升数据标注效率，成为了目前提质增效的主流办法，为此，英伟达也提出了不少自己的前沿技术储备。

1、NVIDIA Omniverse Cloud APIs助力开发者灵活运用数据

目前，量产企业如果全部使用真实数据进行端到端自动驾驶的训练，会面临极大的成本压力和时间损耗，为此生成式AI技术在一定程度上缓解了训练的成本以及效率问题。

基于这样的前提，英伟达推出的NVIDIA Omniverse Cloud APIs为开发者提供了在真实数据和生成数据之间灵活切换的能力。

▲NVIDIA Omniverse Cloud在自动驾驶中的运用

该工具创建了一个通用的AI系统开发环境，将仿真器、验证与确认（V&V）工具、内容以及传感器开发者整合成一个庞大的生态系统。这一平台吸引了如CARLA、MathWorks、MITRE、Foretellix和Voxel51等众多开发商和软件供应商。

通过降低高保真传感器仿真的传统门槛，NVIDIA Omniverse Cloud API赋予了开发者无需大规模改造基础设施即可解决复杂AI问题的能力。

在自动驾驶训练领域，通过合理利用生成数据，可以减少对真实数据的需求，从而降低数据采集成本，提高数据利用效率。

2、Dynamic View Synthesis提升训练片段数据通用性

在解决了有和无问题的基础上，如果提升数据泛用性，便是提升训练量的另一个主要参考维度，对此，英伟达的Dynamic View Synthesis（动态视角合成）技术通过消除视角问题，显著提升了数据的通用性。

在自动驾驶汽车的应用中，神经网络对于不同视角的鲁棒性至关重要，这样才能在多种车辆上部署，而不需要为每种车辆进行重复的数据收集和标注。

虽然自动驾驶公司通常会从多样化的场景和地点收集数据，但由于成本因素，往往忽视了相机设备的配置，导致大多数车队中只有少量设备变体。

▲Synthesis合成示意图

该技术还利用合成数据来分析视角变化的影响，从而减轻其他变量（如内容、ISP 等）带来的差异。经过在真实数据上的训练和在合成数据上的评估，Dynamic View Synthesis 技术能够有效地在多样化的目标设备上进行评估，当部署到新设备时，平均可恢复的交并比为14.7%，弥补了原本会因部署到新设备而丢失的数据。

与此同时，深度神经网络（DNN）可用于从单一图像估计场景深度，展现出更高的灵活性。DNN特别适合处理动态场景和需要快速推理的任务，其并行处理能力和良好的泛化能力使其在Dynamic View Synthesis中更具优势。

这一技术的应用，进一步增强了自动驾驶感知模型的适应性和通用性。

3、EmerNeRF的自监督学习技术提升数据标注效率

此外，数据标注也是目前自动驾驶训练开发的瓶颈之一，英伟达通过EmerNeRF的自监督学习技术提升了数据标注的效率和可靠性。

EmerNeRF通过引入静态场、动态场和运动流场（flow fields）三个神经场来分解场景，从而实现对复杂场景的有效学习。

▲EmerNeRF分解和重建管线

静态场负责标注建筑物、标志和路灯等静止元素，动态场则表达所有移动物体，而流场则模拟动态物体的运动并用于时间上的动态特征聚合。

最重要的是，EmerNeRF能够从原始数据中自动学习这些场景，而无需任何人工标注。完成学习后，模型能够同时呈现场景的时间和空间变化，进而实现静态场景和动态物体的高保真重建。

通过这样的技术，可以帮助量产企业在端到端自动驾驶中进一步提升训练量，获得更多先机。

二、一段式端到端成主流 感知决策一体化成趋势

不过，在目前的自动驾驶技术竞争中，仅在训练上取得先机是不够的，依然需要在感知决策层面获得更高效的技术手段。

1、一段式端到端Hydra-MDP模型提升自规划能力

对此，英伟达推出了一段式的Hydra-MDP模型，Hydra-MDP提供了一个通用框架，展示了如何通过增强机器学习提供规划。

这种集成确保模型不仅能够模仿人类驾驶行为，还能遵守交通规则和安全标准，从而克服了传统模仿学习的局限性。

▲Hydra MDP架构

在模型过拟合的优化上，Hydra-MDP通过将最终轨迹的得分加权平均，确保即使某个学习目标出现过拟合，最终的决策仍然会参考其他学习目标，从而降低对特定指标的过拟合风险。

即系统一但出现存在明显问题的决策，该模型仍可通过加权平均的方式评估决策可靠度，从而降低过拟合风险。

Hydra-MDP的数据驱动缩放定律验证了其稳健性和适应性，通过利用大量数据和GPU小时数的预训练基础模型，展示了其可扩展性和持续改进的潜力。

在2024年CVPR的E2E驾驶挑战赛中，英伟达Hydra-MDP模型获得了第一名和创新奖，并在nuPlan基准上表现优于其他先进的规划者。

这为基于机器学习的规划系统在自动驾驶领域的应用提供了一个有前景的方向。

2、LLaDA+TOKEN+Wolf组合拳提升车端感知决策

在此基础上，在车端的感知决策方面，英伟达也打出了新的组合拳。

英伟达通过结合LLaDA、TOKEN和Wolf三种工具，创建了一种针对汽车应用场景进行微调的大语言模型，以应对自动驾驶领域中长期存在的挑战，即适应新环境、习俗和法律的驾驶行为。

LLaDA是一种强大的工具，能够帮助人类驾驶员和自动驾驶车辆调整任务和运动计划，以适应新地点的交通规则。它利用大型语言模型（LLMs）在解释地方驾驶手册中的交通规则时展现出的zero-shot泛化能力，使得在各种环境下的驾驶变得更加灵活和安全。

▲LLaDA概念示意图

从结果上来看，LLaDA的指令被证明在处理实际情况中的意外事件时是有效的，并在真实数据集中优于传统的基线规划方法。

Wolf则是一个用于视频字幕生成的框架，采用专家混合（Mixture of Experts）的方法，结合视觉语言模型（VLMs）的优势。

该框架能够同时处理图像和视频信息，从而高效捕捉和总结不同层次的数据。Wolf不仅增强了视频理解和自动标记能力，还通过引入CapScore这一基于LLM的评估指标，确保生成字幕的质量和相似性。

TOKEN作为一种全新的多模态大型语言模型，针对传统端到端驾驶模型在处理稀有或未见输入时的局限性，提供了创新的解决方案。

它将世界标记化为对象级知识，优化了数据的利用效率，并通过生成浓缩和语义丰富的场景表示，提升了自动驾驶车辆在长尾场景中的规划能力。

▲定量评估中TOKEN的表现优于基线VLM

研究表明，TOKEN在基础、推理和规划能力方面表现优越，显著降低了轨迹误差和碰撞率。

总的来看，英伟达通过LLaDA、TOKEN和Wolf的结合，构建了一个强大的大语言模型，能够有效应对自动驾驶中的各种挑战。

但需要指出的是，上述应用主要还是部署在车端，对算力开销较大，目前来看，集成了Blackwell生成式AI引擎的Thor计算平台，可以很好地应对，而这也是英伟达将要在今年发力的重点之一。

三、英伟达致力自动驾驶安全发展 定义安全自动驾驶四大支柱

英伟达在具备领先的前沿技术研究能力之外，在量产技术上也已经获得了不错的成果。

其最新的DriveOS是首个获得ASIL-D认证的软件定义可编程AI系统，ASIL-D作为汽车功能安全领域的最高标准，也会为车规级的SDK进一步提升安全性可靠性。

在软件之外，为了实现安全的自动驾驶，英伟达提出了AI设计与实施平台、支持深度学习的开发基础设施、用于自动驾驶开发的物理精准传感器仿真、卓越普适安全性和网络安全计划四大支柱。

▲英伟达新技术实车测试

这些系统相互配合构成了其统一的硬件与软件架构，贯穿自动驾驶汽车的研究、设计和部署基础设施的整个过程。

英伟达创始人兼首席执行官黄仁勋曾在《NVIDIA自动驾驶安全报告》中明确指出：“安全性是自动驾驶汽车的首要考量。NVIDIA致力于构建安全的自动驾驶平台，这是我们最引以为傲的事业之一，并为汽车制造商将自动驾驶汽车推向市场提供至关重要的支持。”

不难看出，英伟达在自动驾驶安全上也有自己独特的考究。

结语：英伟达黑科技正在改变自动驾驶

英伟达目前已实现从训练到感知决策，再到硬件的自动驾驶解决方案闭环。

作为目前自动驾驶领域的头部选手，英伟达强大的技术储备也使其在目前端到端自动驾驶的竞赛中处于领先地位。

随着这一技术的不断发展，英伟达凭借更强的算力、丰富的落地经验以及先进的技术平台，正在逐步与其他竞争对手拉开差距。

未来，英伟达有望在自动驾驶技术的持续创新和应用中发挥更为重要的作用。