端到端竞速：技术变革、资本周期与弯道超车

【摘要】“别犹豫，赶紧改。”何小鹏一声令下，再次将端到端方案送上热搜。

相比于传统的自动驾驶技术，端到端具有代码需求低、模块传递中的信息损失少、拟人化程度高等优势。但与此同时，端到端厂商们还面临高质量数据、算力以及人才等方面的挑战。

技术变革叠加资本周期，端到端技术路线公平地呈现在自动驾驶行业参与者面前，抓住转折期行业竞争的关键要素，相信中国的科技公司可以再立潮头，独领风骚。

搜索添加芯流微信Aristodemus0403，深入交流更多汽车行业新进展（不建群），市场与项目咨询、人才服务、决策研判。

以下是正文：

“是否应该转入端到端？我个人建议是：别犹豫，赶紧改。”

7月初，在接受采访时，小鹏汽车创始人何小鹏对端到端智驾方案持高度肯定态度，并劝说走算法+小AI模型组合技术路线的L4公司即刻拥抱端到端技术路线，并称“后面那个才是大家伙”。

作为智能驾驶领域的后起之秀，端到端智驾技术在业内已经引发了大量关注。今年3月份，特斯拉在北美地区大范围推送FSD v12.3版本，更是将有关端到端自动驾驶的讨论推上热潮。

传统的自动驾驶方案通常分为几个独立的模块，包括感知、定位、预测、决策与规划以及控制五个模块，每个模块解决驾驶过程中存在的不同特定问题，最终进行系统集成完成整个驾驶任务。

但是端到端自动驾驶技术不同，它的实现主要依赖于深度学习中的“端到端”模型，这种模型可以直接将原始传感器数据作为输入，并输出车辆控制信号，实现了从规则驱动到数据驱动的飞跃。

也就是说在功能上，一个端到端模型就涵盖了传统自动驾驶技术的五个模块，省去了传统自动驾驶系统中复杂的模块划分和接口设计。

01

百舸争流的端到端自动驾驶赛场

事实上，端到端并不是什么新鲜事。早在自动驾驶产业刚刚起步的2016年，英伟达就提出采用单个神经网络（卷积+全连的简单架构）来实现端到端自动驾驶，输入和输出就是最原始的传感器信号、方向盘角度和油门开度。

随着Transformer网络架构和车端算力的提升，端到端方案又重回人们视野。其中，商汤绝影是抢先入局端到端方案玩家之一。

2022年底，商汤联合上海人工智能实验室提出感知决策一体化自动驾驶通用模型UniAD，并在次年荣获2023年国际计算机视觉与模式识别会议(CVPR)最佳论文。今年北京车展，商汤绝影展示了UniAD的实车上路成果。几个月后，在2024世界人工智能大会（WAIC）上，商汤绝影再次展示了搭载7个摄像头的UniAD方案在无图情况下，实现城区复杂道路、乡村小路等路段的驾驶演示。

图片来源：商汤科技官网

此外，商汤绝影还推出了其新一代自动驾驶大模型Drive AGI。该模型可以像人一样理解复杂的现实世界，快速学习各种交通规则，甚至还能向用户解释驾驶决策的推理过程。据悉，使用DriveAGI大模型后，驾驶员可以通过自然语言指令控制自动驾驶，提升驾驶员的驾驶体验。

“端到端自动驾驶技术已得到了行业广泛认可。”商汤绝影智能汽车事业群智能驾驶副总裁石建萍在与芯流智库交流中表示。不仅仅是自动驾驶公司，主机厂以及学术研究机构都有涉猎。

在自动驾驶算法与系统公司中，元戎启行在2023年推出了不依赖高精地图、可实现全域点到点功能的高阶智能驾驶解决方案DeepRoute-Driver3.0。去年8月时，元戎启行运用端到端模型完成了道路测试。到了2024年4月，元戎启行对外展示了即将量产的高阶智驾平台DeepRoute IO，以及基于该平台的端到端解决方案。该方案采用NVIDIA DRIVE Orin-X系统级芯片，可以达到200+TOPS算力，并配备1颗固态激光雷达和11颗摄像头。

小马智行也不甘示弱。2023年8月，小马智行将感知、预测、规控三大传统模块打通，统一成端到端自动驾驶模型，目前已同步搭载到L4级自动驾驶出租车和L2级辅助驾驶乘用车上。

除此之外，鉴智机器人、地平线等公司同样在端到端自动驾驶路线有所布局。

在主机厂厂商中，2024年5月，小鹏汽车宣布端到端大模型上车，该模型由神经网络XNet，规控大模型XPlanner和大语言模型XBrain三部分组成。小鹏表示，端到端大模型上车后，18个月内小鹏智能驾驶能力将提高30倍，每2天内部将做一次智驾模型的迭代。

同为造车新势力的蔚来也跟上了端到端的热潮。公开消息显示，自2023年下半年开始，蔚来已经投入几十个人团队研发端到端自动驾驶，并计划在2024年上半年上线基于端到端的主动安全功能。

此外，学术研究机构也为端到端的发展做出了贡献。比如与商汤科技合作的上海人工智能实验室，近半年来其推出利用大语言模型，进行闭环端到端自动驾驶的工作LMDrive、自动驾驶视频生产模型GenAD等。

端到端自动驾驶赛道，正处于百舸争流的激烈局面。

02

端到端自动驾驶，兵家必争之地？

究竟是什么原因，驱使这么多企业进军端到端自动驾驶领域呢？

相比于传统的自动驾驶技术，端到端只有一个神经网络模型，无需模块之间的信息传递。因此端到端的一个显著的优势就是无信息传递损失，避免了信息误差的累计。同时减少了模块间的信息延迟与冗余，提高了计算效率。

与此同时，传统的自动驾驶技术依靠预设的规则驱动，因此需要大量代码，而且难以避免规则漏洞。而端到端由于是数据驱动，其仅需要大量数据的训练，对代码要求较低。

特斯拉的FSD V11使用传统的自动驾驶技术，而FSD V12则是使用神经网络控制车辆。马斯克透露，特斯拉从FSD V11更新到FSD V12，删除了超过30万行代码。

而且端到端系统可以通过大量的训练数据，让神经网络自我学习和全局优化如何做出驾驶决策，更接近人类的真实驾驶过程，能够处理更多复杂和未知的场景。

端到端还可以学习不同驾驶员的驾驶风格供驾驶员选择，比如偏激进式，还是保守型。

以上种种优势，无不体现出端到端自动驾驶技术的上限之高。抓住端到端，可能就抓住了下一个风口，这就不难理解为什么众多厂商对端到端如此热情了。

但是，想要入局端到端自动驾驶赛道并非易事。

首先，数据驱动为端到端自动驾驶技术带来了优势，但是对端到端的神经网络进行训练离不开大量的高质量数据，这又为厂商带来了挑战。

特斯拉曾作出判断，一个端到端自动驾驶训练的完成至少需要100万个分布多样的高质量的clips。

早年，厂商们依靠数据采集车采集数据，量级少。随着量产车型落地，厂商还可以通过客户采集数据。

但是客户车的数据包含大量的垃圾数据，如何确定数据采集的标准又是一个问题。

对于数据，毫末智行数据智能科学家贺翔也表示：“毫不夸张地说，数据会占据端到端自动驾驶开发中80%以上的研发成本。”

此外，大量数据的训练还需要强大的算力支持。

算力是指计算机处理信息的能力，在进行大规模数据分析、机器学习、深度学习等任务时，对算力的需求尤为重要。

石建萍表示，目前，商汤拥有充足的算力。据她透露，商汤绝影目前在终端算力芯片上使用的是MDC610芯片，在设计值算力上与英伟达在同一算力，已经满足第一阶段端到端验证以及量产的算力要求。

同时，与国外厂商，比如特斯拉相比，国内厂商的数据中心算力还需要提升。

高算力需要大量卡，但并不是所有的端到端厂商都具备这种条件。

厂商做端到端的进程还与企业原本的业务有一定关系。

以商汤绝影为例。商汤以计算机视觉技术起家，同时在通用人工智能AGI上有技术储备，其中的某些技术是可以复用到绝影UniAD的端到端方案上。

石建萍表示，比如智慧城市的行人脸识别，其中的计算机视觉相关的模型训练方案，以及大模型的训练方案都可以借鉴或者复用端到端方案。并且包括整个AI的算力以及AI的整体工具链都是可以复用的。

端到端自动驾驶技术作为一条智驾的新技术路线，离不开人才资源。

石建萍介绍到，商汤在AGI以及计算机视觉领域深耕多年，公司内积累了许多相关人才，能够调到绝影的UniAD端到端自动驾驶方案的研发部门，同时也在积极吸引更多新的人才加入。

综上，相较于传统自动驾驶路线，端到端确实有其优势。但受制于算力、数据等因素，在落地方面比较考验从业企业的底蕴与资源积累。

03

端到端智驾方案，争议四起

一项技术的诞生，无疑是存在争议的。

在自动驾驶Mobileye创始人、总裁兼首席执行官Amnon Shashua看来，端到端自动驾驶系统“既不完备，也没有必要”。他表示，Mobileye已经掌握了足够的数据量去证明自己的智能驾驶系统，如果选择端到端模型，其需要的数据量将呈指数级增长。

“端到端用在自动驾驶系统上大材小用了。”Shashua指出。

小马智行创始人彭军也曾表示，端到端对L4作用不大。因为L4的核心是安全性，而端到端的优点在于通用性，所以仅靠端到端无法实现L4，还需要其他的优化。

而端到端自动驾驶方案的安全性问题就绕不开一个话题：黑盒。由于中间过程不可见的情况，端到端自动驾驶方案的可解释性和可靠性就存在问题。

对此，石建萍给出了一些改进的想法。

从模型的机制设计来说，可以把一些中间结果，比如对道路的感知和对未来轨迹的判断等信息输出出来，而这些信息之间本身就可以去做互相的校验，从而对可靠性评估，也会提升模型的可解释性。

而除了模型设计方面的冗余外，还可以增加系统架构方面的冗余，比如用AEB进行兜底等。

除黑盒问题之外，厂商对于端到端的概念理解也尚未统一，在端到端的技术路线上也存在不同的观点，存在模块化联合端到端、One Model端到端等多种路径。

鉴于以上挑战与争议，端到端自动驾驶仍处于发展或者尝试阶段，所以未来一段时间可能仍是传统自动驾驶方案与端到端方案并存。

石建萍表示，端到端需要经过一个项目周期的验证，才能形成一个SOP方案，商汤绝影的端到端方案明年可以实现量产导入。

04

尾声

岁月轮转，自动驾驶行业已经历多轮技术革新，每次技术转折都引来了融资热潮，自动驾驶的融资周期也度过几轮。

自动驾驶作为高新技术产业，不可避免地存在一定程度上的“马太效应”，但是技术的更新迭代也为新兴科技公司带了更多的可能。

端到端方案的到来，再次为自动驾驶带来新的风口。进入2024年，越来越多玩家推出端到端方案。在新兴技术的刺激下，自动驾驶行业融资热潮再次涌来，仅仅2024年上半年的融资金额，就已经超过2023年相关领域融资总额。

技术变革叠加资本周期，端到端技术路线公平地呈现在自动驾驶行业参与者面前，抓住转折期行业竞争的关键要素，相信中国的科技公司可以再立潮头，独领风骚。

搜索添加芯流微信Aristodemus0403，深入交流更多汽车行业新进展（不建群），市场与项目咨询、人才服务、决策研判。

- XINLIU -

喜欢就奖励芯流一个“”和“在看”呗~