端到端与模块化自动驾驶的数据标注要求有何不同？

[首发于智驾最前沿微信公众号]自动驾驶技术路径的每一次技术转向，都伴随着底层数据处理逻辑的彻底重构。过去，智驾系统普遍依赖模块化设计，将驾驶任务拆解为感知、预测、规控等独立环节；而今，以端到端技术为核心的新路径正迅速崛起，试图通过一个统一的神经网络直接完成从传感器输入到驾驶指令输出的全过程。这种架构上的根本差异，也对数据标注提出了不同的要求。

模块化与端到端的区别，图片源自：网络

模块化技术路径，以环境理解为核心的微观标注

在自动驾驶模块化架构中，感知模块相当于车辆的眼睛，其核心任务是尽可能精确地识别并定位周围环境中的每一个元素。这种“分而治之”的思路决定了模块化路径下的数据标注必须走极端精细化的微观路线。标注员需要对摄像头图像、激光雷达点云等传感器数据进行高强度的手工处理，为每一个物体打上极其详尽的标签。

在模块化体系的感知环节，标注的主要对象是各类障碍物和静态交通设施。针对摄像头产生的二维图像，标注员需要绘制数以百万计的矩形框（Bounding Box）来标定车辆、行人、骑行者等目标。为了应对更复杂的任务，还需要进行多边形标注或像素级的语义分割。

图片源自：网络

这意味着标注员必须耐心地勾勒出每一个路沿、每一条车道线、每一个红绿灯的边缘。这种标注要求的准确度极高，因为感知结果会被直接转化为坐标和分类标签，作为后续规控模块的输入。在模块化架构中，各模块之间存在着严重的错误传递效应，感知模块如果在距离判断上出现几厘米的偏差，传导至规划环节就可能触发一次完全没必要的紧急制动。

除了图像标注，模块化路径对三维点云标注的需求同样苛刻。激光雷达采集到的点云数据往往是稀疏且缺乏语义信息的，标注员需要通过三维框在立体的点云空间中圈定物体，并标注其长、宽、高以及航向角。这种高维度的标注不仅成本高昂，对标注员的专业要求也极高。为了给基于规则的规划逻辑提供支撑，标注员还需要标记物体的属性信息，如车辆的刹车灯是否亮起、转向灯的状态等，甚至是行人的性别和年龄段都需要标注，因为传统的“If-Then”硬编码规则需要这些离散的属性值作为判断条件。

模块化架构下的标注工作量不仅体现在精细度上，更体现在任务的碎片化中。像是交通信号灯识别、限速牌检测、路面坑洼检测等每一个细分算法，都需要建立独立的、具有针对性的数据集。这种“专数专用”的模式虽然便于调试和定位问题，但也会导致信息的高度损耗。当传感器采集到的海量原始数据被压缩成几个坐标和标签后，大部分环境语义信息就会因此丢失，规控模块无法感知到那些未被标注的细微环境变化。由于工程师无法穷举并标注出所有可能影响驾驶决策的边缘案例，这种标注模式在处理长尾场景时表现出极大的局限性。

端到端技术路径，以驾驶行为为导向的宏观标注

端到端技术的兴起，标志着自动驾驶从“环境重构”转向了“行为克隆”。在这一路径下，自动驾驶系统不再试图通过中间模块去理解每一个物体的几何属性，而是直接学习从传感器信号到驾驶动作的映射关系。对此，端到端的数据标注要求也发生了翻天覆地的变化，标注的重心从“屏幕上的框线”转移到了“司机的脚和手”。

在端到端架构（尤其是以模仿学习为核心的方案）中，最核心的标签是人类专家的驾驶轨迹和控制信号。这些数据包括方向盘转角、加速踏板深度、刹车压力以及车辆在三维空间中的实时坐标轨迹，数据直接来源于车辆的CAN总线。这种标注在某种程度上是“自动化”的，因为驾驶数据本身就携带了司机的反应。当然，端到端架构对这些行为标签的质量也提出了极高的要求。它需要的不是随便一段驾驶记录，而是要“金牌司机”的高质量示范。

图片源自：网络

这种转变意味着，数据标注员的角色正在从“画图工人”向“数据策展人”的方向转变。他们不再需要精细地标注路上的每一个行人，而是需要分析复杂的交通场景，判断司机的某次超车动作是否果断且安全，是否具有被机器模仿的价值。

端到端路径的训练信号是全局性的，它要求标注数据具有极高的场景多样性。为了让系统学会应对各种极端情况，标注团队必须刻意去收集和标记如复杂的施工区域、无保护的左转路口、甚至是不守规矩的行人和外卖车等罕见的场景。在这些场景中，标注的不再是物体的位置，而是人类在面对这些复杂局面时如何通过微小的动作来表达驾驶的意图。

虽然端到端系统存在“黑盒”现象，但集成式端到端模型（如UniAD）在内部依然保留了感知任务的影子，用于辅助最终的规划决策。虽然如此，这里的感知标注要求也与传统模块化路径有着本质不同。在UniAD这类模型中，中间环节的检测、跟踪和建图标注是“目标导向”的。这意味着，感知标注不再是为了追求极致的检测准确率，而是为了给最终的路径规划提供最有价值的语义支持。这种设计允许感知任务在标注上存在一定的冗余，系统在全局优化过程中会学习到哪些环境特征对安全驾驶至关重要，从而自动补偿感知的局部偏差。

标注维度

模块化路径要求

端到端路径要求

核心标签内容

环境物体的几何属性（框、线、点）

司机的控制指令与行驶轨迹

标注颗粒度

像素级、毫米级，追求局部极端精确

场景级、行为级，追求全局逻辑合理

数据筛选准则

侧重覆盖各类视觉特征不同的物体

侧重覆盖各类复杂互动的驾驶决策

信息传递方式

离散的语义接口，信息损耗大

连续的特征向量，保留原始语义

错误容忍度

低，感知错误会直接导致规控失败

较高，系统具备一定的全局自我修复能力

模块化与端到端数据标注各维度差异

端到端路径还引出了对“因果标注”的新需求。仅仅记录司机的动作是不够的，系统还需要知道司机为什么要做出这个动作。例如，在一张包含红绿灯和前车的画面中，如果车辆停了下来，标注信息需要明确区分是因为红灯还是因为前车刹车。这种带有逻辑链条的标注，使得系统不仅在模仿人类的动作，更在学习人类的决策逻辑。VLA模型（视觉-语言-动作模型）就引入了此类结构化标注，将驾驶决策与环境中的关键因果因素挂钩，从而提升模型的可解释性和泛化能力。

4D自动标注与世界模型，数据生产效率的质变

当自动驾驶数据量从TB级跃升至PB级时，传统的人工标注模式已经不再适用。端到端路径的进化极度依赖海量数据，这直接催生了以4D自动标注和世界模型为代表的数据生产方式。这种方式不再是对单帧图像的修修补补，而是对整个物理世界的动态重建。

4D自动标注的核心在于“跨时空的信息融合”。通过融合一辆车甚至多辆车在不同时间经过同一路段的传感器数据，系统可以构建出一个包含时间维度的、高精度的三维世界模型（即4D模型）。在这个模型中，静态的道路设施（如路灯、马路牙子）可以在多次观测中被精确标定。对于动态物体，系统可以利用时序信息进行前向和后向的推算，解决遮挡问题。举个例子，当一个行人在画面中消失了两秒钟，传统标注可能就丢失了其身份，但4D自动标注系统能通过轨迹一致性自动补齐这一段“标签”，确保模型学到连贯的物理常识。

图片源自：网络

这种自动标注技术不仅提高了效率，更改变了标注的形态。在端到端时代，标注不再是“给人看的图”，而是“给模型训练用的特征空间”。像是占用网络（Occupancy Network）的标注要求将空间划分为无数个细小的方格（Voxel），并标定每个方格在未来一段时间内是否会被占据。这种海量的三维空间标注是人工无法完成的，必须依赖强大的离线大模型通过传感器融合自动生成。通过这种方式，标注工作从“画线”变成了“维护离线大模型”，人类标注员的任务转变为验证和修正自动生成的标签，特别是处理那些离线模型也感到困惑的边缘案例场景。

世界模型的引入进一步拓宽了标注的边界。世界模型通过自监督学习的方式，学习预测未来几秒钟的环境演变。在这种模式下，未来的真实传感器数据本身就成了当下的标签。自动驾驶系统通过“预测未来”并与“真实发生的未来”进行比对，不断修正自己的内部表征。这种无需人工干预的标注闭环，使得端到端模型能够从数百万小时的自然驾驶录像中汲取营养。这种标注要求不仅包含对物体位置的感知，更包含了对物理运动规律的深刻理解，像是球滚出来之后大概率会有孩子跟上，或者在雨天路面摩擦力会下降等就属于这种标注。

这种效率的飞跃对研发流程的影响是颠覆性的。在模块化时代，工程师需要花费80%的时间编写代码逻辑和调试Bug；而在端到端时代，工程师的主要精力转移到了“数据策展”上。他们需要设计精巧的数据引擎，利用影子模式（Shadow Mode）在实时筛选那些模型做错、而人做对的时刻。这些时刻被视为最宝贵的训练信号，接着再将这些时刻通过自动化的标注管道转化为新的训练数据，推动模型版本更迭。这种以数据为中心的闭环，使得自动驾驶系统的进化速度不再受限于人类程序员的思维极限，而是受限于标注管道的自动化程度和数据的多样性。

最后的话

自动驾驶从模块化向端到端的演进，彻底重塑了数据标注的要求。模块化技术路径对标注的要求是“向内求精”，强调对环境细节的微观理解和极高的几何精度，目的是为人工编写的逻辑规则提供确定的输入。而端到端技术路径对标注的要求则是“向外求博”，强调对人类驾驶策略的宏观克隆和对因果逻辑的深度理解，目的是通过海量样本喂养出一个具备物理直觉的神经网络。

这一转变不仅是技术上的更新，更是生产力结构的调整。数据标注正从劳动密集型转向模型驱动的自动生成与人工逻辑校验相结合的新模式。未来的标注体系将不再孤立地处理每一张图片，而是通过4D重建、世界模型和自监督学习，构建起一个对物理规律有深刻理解的模拟空间。随着端到端模型的参数规模和训练数据量持续突破，高质量的行为轨迹标注、复杂的场景语义标签以及带有因果关系的推理痕迹，将成为推动自动驾驶跨越长尾场景、实现真正智能化的核心燃料。