BEV+Transformer：由高阶智驾迈向具身智能（二）

在上月发布的系列文章第一篇（《BEV+Transformer：让车辆“看懂”人类世界（一）》）中，该篇文章分析了目前智能驾驶方案的底层结构，从技术维度拆解了BEV+Transformer的优势。本篇文章将分析数据融合方案以及BEV+Transformer方案的应用现状，以及对智能驾驶系统研发及商业生态带来的影响。

一、数据融合方案应用：前融合方案信息损耗小，算力要求高

当前，智能驾驶的实现基本依据“感知-决策-控制”的三步走方案，模仿了人类处理环境信息并做出相应行为反馈的过程。因此，智能电动汽车也被业界认为是技术上最有可能实现具身智能的机器成果之一。

在感知数据的收集、融合与处理上，不同车企采用了不同的算法以及传感器配置，其中关键点在于不同的数据融合方案。

相比特征级融合和目标级融合，数据级融合方案将传感器观测到的所有数据融合后，再统一提取特征向量，进行识别。这一方案在统一的数据池内进行筛选判断，只需一个感知算法，因而带来的信息损失和算力消耗更小。

而国内普遍采用摄像头与雷达配合的多传感器配置，或是在纯视觉方案上加配雷达作安全冗余，因此研发的难点就集中在了异构数据的融合策略上。与此同时，庞大的计算量也对算力提出了更高要求。

那么，沸沸扬扬的BEV+Transformer方案，究竟为智能驾驶的进化带来了怎样的影响，又为何成为行业关注的焦点？

二、BEV+Transformer方案应用：始于解决数据难题，成于促进降本增效2.1 应用现状：特斯拉为首创新处理数据，国内车企多向突破自研进化方案

随着高阶自动驾驶迈过市场认知的鸿沟，智能驾驶的“智能”能力已经不再由工程师驱动，而是由用户驱动。

换句话讲，智能驾驶系统已经搭建起相对完善的骨骼，下一步的成长更多依赖于肌肉的锻炼与塑形。具备了基本的学习能力，系统必须通过大量的数据喂养，逐步向熟练的人类驾驶员靠近。

丰富多样的驾驶场景数据和用户操作数据，成为智驾能力验证与迭代的试金石。亿欧汽车之前也写过相关文章（《自动驾驶数据闭环，2023智驾量产新战场》），分析了搭建自动驾驶数据闭环的必要性和重要性，以及当前各车企和供应商的参与情况。

随之而来的下一步，就要考虑如何收集更有效的数据、更有效地处理数据。“排头兵”特斯拉率先对数据回收优化进行了思考和创新。

2021年，特斯拉全球销量达93.57万辆，占全球新能源乘用车14.4%。众包采集数据叠加影子模式收集反馈的模式下，出色的销量是典型的“一鸡多吃”，既卖出去了鸡，又源源不断收回鸡蛋。

为高效解决纯视觉方案下多个摄像头的数据融合问题，特斯拉在2021年提出BEV+Transformer的组合，2022年推出占用栅格网络（Occupancy）进一步叠加完善3D空间识别。在常规的前视视角与后融合路线之外，这套方案将数据整合在鸟瞰视角下，避免了视野遮挡，以Occupancy优化边界感知与物体识别，再通过基于注意力机制（Attention Mechanism）的神经网络模型Transformer，更加灵活、高效地感知和处理数据，进一步反哺高阶自动驾驶的能力提升。

国内车企在“鲶鱼”领头下纷纷加入跃上智驾龙门的队伍，具有一定研发实力与数据积淀的企业，纷纷自研BEV+Transformer方案，为原有方案脱胎换骨，一时间成果丰硕。

小鹏汽车自研城市领航辅助系统XNGP，其感知核心为基于Transformer的BEV视觉感知系统Xnet，以多相机多帧的纯视觉方案为核心，辅以激光雷达作为安全冗余，通过大模型深度学习网络对相机探测信息进行多帧时序前融合，进而输出BEV视角下动态目标物的4D信息以及静态目标物的3D信息。

理想汽车自研辅助驾驶系统AD Max3.0，感知端采用静态BEV与动态BEV网络实时感知生成道路结构信息，结合神经先验网络NPN、信号灯意图网络TIN，增强系统对环境、信号灯的感知能力，并通过NeRF提升Occupancy的远距离分辨率，更加精准识别通用障碍物的边界，实时还原车辆行驶环境。

蔚来汽车辅助驾驶系统NOP+在感知端采用BEV+Occupancy，与其自研自动驾驶系统NAD采用同一技术栈，在实现更低频率接管的辅助驾驶基础上，还开发了高速换电站自主换电的独特功能。

此外，华为自研的ADS高阶智能驾驶系统，1.0版本实现基于Transformer的BEV架构，最新的2.0版本增加自研GOD网络，融合激光雷达、毫米波雷达、摄像头等多传感器数据，有效识别异形障碍物，进而实现无高精地图智能驾驶；

毫末智行在应用BEV+Transformer的基础上，基于多年大模型研发经验开发DriveGPT用于提高数据标注和算法训练效率；

百度Apollo在应用BEV环视三维模型的基础上，基于自身生态体系搭载文心大模型；

商汤与南京大学、上海AI实验室及香港大学联合撰写论文，提出纯视觉环视感知算法BEVFormer，并应用于绝影领航系统；

地平线在发布新一代征程5车载智能芯片的同期，推出基于征程5的纯视觉BEV感知原型方案，并提出“感知决策一体化”的自动驾驶通用大模型UniAD，将智驾流程融合到基于Transformer的端到端网络框架中。

高效利用数据、快速增长能力，基于Transformer网络的BEV视角，成为了配备智驾系统感知模块的香饽饽。

2.2 作用影响：感知配置删繁就简，核心能力精益求精

如果说技术创新是智驾研发的起点，商业影响才是智驾方案真正的赛点。

整体来讲，BEV+Transformer的应用，不仅提高了感知处理能力，更催生了智驾系统的变动，推动智驾系统向着“简而精”的方向进化——量上删繁就简，质上精益求精。

a）甩开拐杖跑起来：视觉感知为主、去高精地图、减高价雷达成为趋势

车企摆脱高精地图、高价雷达的底气越来越足，逐步向纯视觉方案靠拢，掀起“重感知、轻地图”的行业潮流。

最直观的，BEV方案实时探测行驶环境，形成车辆周围的语义地图，大大降低了车辆对高精地图的依赖。

起初拓展高速NOA的过程中，采购高精地图尚且具备足够的性价比，毕竟场景变化小，鲜度可以保持得够久。

但到了城市NOA的竞争中，高精地图的魅力褪去，购买与维护的高费用、生产审批的低效率、数据采集的复杂性，成为车企拓展系统应用范围、扩大推送城市的阻碍之一。

基于自研技术实时构建驾驶环境，取代外部采买高精地图，成为车企掌握研发主动权的必然选择。

另一方面，BEV视角展现出纯视觉方案更高的可行性，成像雷达的作用被弱化。

2018年，特斯拉Model S配备了7个前摄像头、1个前置毫米波雷达以及12个超声波雷达；2023年，Model S配备了12个摄像头与1个4D毫米波雷达。摄像头数量增加、像素升级的同时，特斯拉通过Occupancy占用栅格网络，初步展示了相机数据足以做出驾驶决策的可能性。

目前国内车企的主流方案仍然是多模态传感器融合，普遍采用11～12个摄像头+12个超声波雷达+5个毫米波雷达+1～3个激光雷达的感知方案，整体BOM成本大约在2万元左右。

而BEV+Transformer方案的应用，有望助力车企缩减激光雷达的配置，将成本压缩至一万元左右。

在当前价格敏感的市场竞争中，车企寻求成本压缩的需求与这套感知方案带来的效果不谋而合，因此，鸟瞰图的大面积铺开、大模型结合新一代传感器的升级势不可当。从减配昂贵的激光雷达开始，多模态感知方案有望向纯视觉为主的路线靠拢。

b）打铁还须自身硬：大算力芯片需求增强，智算中心拓宽算力支持场景

精简传感器配置的前提下，算法的可靠性、灵活性尤为重要，BEV+Transformer方案对核心能力提出更高要求。

比如大算力芯片的适配。

大模型上车面对着大数据量的处理，无论是感知端的数据融合，还是规划端的数据训练，都要求系统有更高的算力支撑。

以小鹏汽车为例，在其辅助驾驶系统XPilot的迭代过程中，在不到十年时间内，所搭载的芯片算力上涨100倍。

2018年发布的XPilot2.0，采用Mobileye EyeQ4芯片，工艺制程为28nm，算力为2.5TOPS。经过数次迭代，2023年推出的XPilot4.0采用英伟达Orin-X芯片，集合210亿晶体管，工艺制程达7nm，算力达254TOPS。

在小鹏G9、G6中，其智驾系统XNGP均搭载了两颗Orin-X芯片，算力高达508TOPS。

同样，理想汽车也经历了从2.5TOPS到254TOPS的算力进化。此外基于不同的配置，在 AD Pro2.0系统中采用地平线征程5芯片，算力达128TOPS，在AD Max3.0系统中采用英伟达Orin- X芯片，同样算力达到254TOPS。

其中征程5芯片价格不到Orin-X芯片价格的一半，单颗即可流畅支持高速NOA功能，是智驾配置兼顾成本和效果的典型应用。

（有关车规级芯片的具体分析，点击查看《2023中国车规级芯片产业创新研究报告》）

进一步，为匹配海量数据以及大算力芯片，许多车企和供应商开始布局建设智算中心。

著名的特斯拉Dojo超算中心集成12个训练模块，内置3000个自研D1芯片，拥有超过100万个训练节点，总算力达1.1EFLOPS。据称，在投产后，Dojo不仅可以加速特斯拉FSD系统的迭代，还将为其人形机器人Optimus提供算力支持，并构建更多模型，强势助力汽车、机器人的研发。

放眼国内，毫末智行与火山引擎联合打造雪湖·绿洲智算中心，算力达670PFLOPS；吉利汽车联手阿里云成立星睿智算中心，算力达81PFLOPS；小鹏汽车与阿里云联合打造扶摇智算中心，算力达600PFLOPS。凡此种种，许多实力玩家联手，不仅致力于实现端到端智驾模型，也为更广泛层面的机器智能在各领域的发展埋下伏笔。

（有关车载智算平台的具体分析，点击查看《2023中国车载智能计算平台发展前瞻性研究报告》）

结语

当智能化进入下半场的比拼，每一个技术突破、零件应用都有着牵一发而动全身的效果。从处理感知任务起，到融合多模态数据，再到更加智能的泛化与更加丰富的联想，BEV+Transformer方案逐步破冰，引发数据、算力、算法的每个模块的震动。

以此为起点，智能电动汽车已初步显现具身智能的关键要素：强大的通用体平台、聪明的智能体系统以及高质量的行业数据。由智能汽车，到汽车机器人，进一步拓展到通用人工智能（AGI），BEV+Transformer为代表的感知新方案，拉开了大模型上车的序幕，随之而来的，将是更加智慧的车，以及更加深入的科技变革。

本文是亿欧汽车智驾小分队对于BEV+Transformer深度研究系列文章的第二篇，更多分析敬请期待后续文章。

热点话题交流、文章内容合作，欢迎添加作者微信共同探讨：安晓雅17853507321

BEV+Transformer：让车辆“看懂”人类世界（一）_亿欧 (iyiou.com)

ChatGPT横空出世，大模型指引智驾新方向_亿欧 (iyiou.com)