加速向「AI 定义的汽车」的转变与进化 | NVIDIA 自动驾驶汽车技术公开课回顾

7月9日， 智猩猩联合 NVIDIA 策划推出的 NVIDIA 自动驾驶汽车技术公开课顺利完结。在本次公开课中，NVIDIA 汽车行业开发者关系经理李博介绍了 AI 定义汽车这一前沿技术趋势，通过端到端自动驾驶融合世界模型将自动驾驶技术推动到 AV 2.0。详细介绍了大语言模型（LLM）在 AI 座舱与企业 AI 中的实践进一步解读 AI 定义的汽车。最后，分享了加速 AI 开发与部署的软件解决方案NVIDIA AI Enterprise。本文内容来自于对李博老师的直播讲解进行的提炼总结。

01 AI 定义汽车

目前，驱动整个汽车行业从软件定义汽车到 AI 定义汽车的发展主要有以下三大原因：

1）软件定义汽车这一趋势的成熟。电动车的渗透率达到45%~50%，且在部分省份已经超过了50%；
2）自动驾驶的软件栈正朝着更 AI 化的方向发展，并越来越多地应用 AI 技术。从最初的算法和基于规则的方法，到在量产车上通过 AI 增强的方案，再到世界模型、端到端（End-2-End）等技术不断发展，推动了自动驾驶行业的 AI 化进程。
3）生成式 AI（ChatGPT）横空出世之后，给整个行业带来新的可能性。

NVIDIA 全球副总裁吴新宙在 GTC 2024 上详细解读了“AI 定义汽车”，感兴趣的朋友可以免费注册观看演讲回放 。
（https://www.nvidia.com/en-us/on-demand/session/gtc24-se63001/）

02‍ 从 AV 1.0 到 2.0 的演化

在自动驾驶 AV 1.0 阶段的软件定义汽车中，主要采用集成深度神经网络（DNNs）的方法，通过标记图像数据进行训练，不同的模型能解决不同的问题。而在 AV 2.0 时代，将会由一个大型云端模型（Multimodal LLMs）处理从数据到验证的全过程，这其中涵盖与自动驾驶相关的任务、数据处理任务以及安全性方面的需求等。

一些行业客户正在通过基于 VLM（视觉语言模型）的 Foundation Model 来赋能端到端网络，以及用于仿真环境的生成。同时，还可以反向用于 VLM Foundation Model 的训练和验证，形成双向闭环。

NVIDIA 在今年 CVPR 大会上发布的仿真方向成果：NVIDIA Omniverse Cloud APIs for Sensor Simulation，《端到端自动驾驶，CVPR 自动驾驶挑战赛冠军论文解读》。

NVIDIA提出的 AI Factory （AI 工厂）概念则为 AV 2.0 的开发提供了支持。未来的算力基础设施就像是持续制造 AI 的工厂。它能够将从端侧收集到的数据用于训练模型，并将 AI 工厂训练好的模型部署到端侧，形成完整的闭环。NVIDIA AI Factory 赋能的自动驾驶行业最佳实践案例：理想汽车、蔚来和小鹏汽车的合作案例。

03生成式 AI 在汽车行业的应用

生成式 AI 在汽车行业的应用方向主要包括两方面。一方面是使用 LLM 在客户体验、内容生成、知识库构建和代码生成方面的应用；另一方面是将生成式 AI 应用于 NVIDIA Omniverse 中赋能的 3D 渲染管道，为汽车行业提供支持。

LLM 在汽车行业主要有以下6个落地场景：

1）自动驾驶 AV 2.0 的基础模型；
2）改善汽车用户的使用和服务体验；
3）生产制造优化，提高效率和精度；
4）造型设计创新，并加速开发周期；
5）RAG 构建知识库，用于问答系统和知识推理；
6）通过 LLM 进行数据分析。

04企业 AI 应用于汽车行业

2022年底是生成式 AI 爆发元年，随后，2023年企业纷纷开始探索生成式 AI，2024年将是生成式 AI 部署上线的量产之年。

NVIDIA 面向企业的端到端软件解决方案 NVIDIA AI Enterprise 涵盖了从数据准备、模型训练、仿真测试到模型部署的整个 AI 开发流程，同时支持模型开发部署和集群管理等工作负载，为企业提供一整套完善的功能。

当企业需要投入新的业务方向时，NVIDIA AI Enterprise 能够提供快速部署和上线的支持，帮助企业迅速适应市场变化。其中包括训练框架 NVIDIA NeMo ，帮助轻松构建生成式 AI 应用。而 NVIDIA NIM 则是 一套易于使用的预构建容器工具，帮助企业加速生成式 AI 的部署。

完整回放