如何处理自动驾驶感知传感器物理偏移问题？

[首发于智驾最前沿微信公众号]车辆在道路上行驶，难免会因为车辆抖动、长期振动、路面颠簸、载荷变化、温度变化，甚至维修、碰撞、重装传感器支架等原因，引起感知传感器（摄像头、激光雷达、毫米波雷达等）发生微小的物理偏移或姿态/高度变化。如果不加以处理，这种偏移会破坏传感器之前建立的空间关系（即“标定”／“校准”），进而导致感知、定位、融合、决策出错。

图片源自：网络

为什么传感器会偏移？

当自动驾驶车辆在道路上行驶，尤其是长期行驶后，很容易遇到如高速通过减速带、颠簸路面、不平路段等各种震动、冲击，或车辆经过坑洼、石子、坑洞，甚至因为刹车、载物、过弯等造成车身微微变形、震动。时间长了，安装在车身上的摄像头、LiDAR、毫米波雷达等感知传感器，会因为支架松动、粘接疲劳、车身轻微变形，甚至螺丝松动等，产生“位置偏移”或“姿态变化（朝向、倾斜、高度变化）”。

此外，若在更换零部件、更换轮胎、轮毂维修、车身检测、碰撞维修后，也可能影响传感器的安装刚性，从而改变原来的安装姿态。

这些物理偏移可能只有几毫米、几度这么小，但对自动驾驶系统来说影响可能很大。自动驾驶系统之所以对传感器的安装位置、朝向和姿态要求这么高，是因为所有传感器看到的东西，最终都要被转换到同一个车体坐标系或世界坐标系里。只有把这些数据放到同一个“空间参照系”中，系统才能把摄像头、激光雷达、毫米波雷达这些不同来源的信息融合起来，看清周围环境，并据此做出路径规划和车辆控制。把每个传感器与车辆坐标关系精确对应起来的过程，就是我们常说的“标定”。

图片源自：网络

一旦传感器发生偏移，原来的标定关系就不准了，这就类似于摄像头或雷达被轻轻“拧歪了”。系统再用这些数据去理解外界时，就会出现偏差，物体的位置、距离、方向，甚至速度的判断都可能不再准确。感知一旦不准，后续的决策和控制也会受到影响，安全性自然就无法保证。

因此，在自动驾驶实际部署中，这种偏移一定是不可忽视的，必须设计解决对策。

如何防范与检测“偏移”？

1）初始标定（offline calibration）必须严格

在感知传感器刚装到车上时，需要做一次非常严格的标定。这个标定会把每个传感器的“内参数”（例如相机的焦距、畸变、镜头模型等，LiDAR和雷达也有自己的内部参考参数）和“外参数”（也就是传感器相对于车体坐标系的位置和姿态，包括平移、旋转、朝向、倾斜、高度等）全部确定清楚。

这一步就像给系统建立“世界观”的基准，如果标定足够精确，误差控制在毫米级、角度级这样的范围内，自动驾驶系统才能在感知、融合、定位和控制阶段正常工作。

但初始标定只能保证装车那一刻或使用较短周期内的准确。车辆长期使用、震动、维修或环境变化都会让传感器发生细小偏移，所以光靠这一次标定并不能保证系统一直保持稳定。

2）定期／执行维护很有必要

对于量产车，厂商或维修服务点可能会建议（或规定）在车辆经历重大维修、碰撞、轮胎更换、悬挂维修、变形检测、车身检查后，对自动驾驶传感器（摄像头、雷达、LiDAR）进行复校（re-calibration）。这是确保车辆结构或支架恢复对称、没有松动、传感器安装姿态恢复正确的方法之一。这就类似车轮定位、四轮定位后的校正检查。对于带ADAS（高级驾驶辅助系统）的车辆，这种校正是非常有必要的。

不过，人工复校有费时、费人工、需要场地，且不可能非常频繁等缺点。对于自动驾驶汽车，尤其商业化运营车辆、Robotaxi、车队，这样的方法显然不够灵活且成本高，也影响实际使用效率。

正因为这些限制，现阶段的自动驾驶系统会倾向于采用“在线校准”或“自动校准”机制，让车辆在日常使用中就能自动检测并修正轻微偏移，而不必每次都依赖人工操作。

在线／自动校准&实时监测提供自我校正能力

近些年，学术界和工业界都在研究如何让自动驾驶系统具备自动检测是否偏移+自动纠正偏移的能力，而不必每次都靠人工干预。发表在2024年的论文《Automatic Miscalibration Detection and Correction of LiDAR and Camera Using Motion Cues》就提出一种自动检测并修正LiDAR与摄像头标定偏移的框架。

其基本思路是利用车辆／传感器自身的运动信息，车辆在行驶过程中，不断对每一帧数据做监测，如果检测到LiDAR点云与摄像头图像之间的投影约束不再满足（也就是说两者的空间关系不再与原来标定一致），就判断可能发生了“偏移／漂移”（miscalibration/drift）。然后，通过计算相机运动与LiDAR扫描的对齐变换，将LiDAR点云对齐回图像空间，从而实现自动纠正偏移。

也就是说，当系统持续运行、车辆在不同路况、多次转向／加减速／震动之后，系统本身就可以意识到感知传感器可能错位了，并用数学／几何方法自动把感知恢复到正确状态，这是一种闭环自我校正机制。

图片源自：网络

除此之外，也有开源工具集（如OpenCalib）被用于多传感器（包括相机、LiDAR、IMU、雷达等）的校准／再校准，从而在不同使用场景下都能支持自动、半自动、手动校准流程。

因此，一个有用的自动驾驶系统，不是装好就结束了，而是要设计自动或半自动校准机制，定期／持续监测传感器是否偏移，并及时校正。

多传感器融合+容错冗余设计，不把鸡蛋放在一个篮子里

即便有自动校准，也不能保证校准的万无一失。因此，自动驾驶系统不应仅依赖单一传感器，而是要采用多传感器融合＋冗余设计+容错机制，以增强自动驾驶系统对单一传感器偏移／失效的鲁棒性。

一辆自动驾驶车会同时搭载摄像头、LiDAR、毫米波雷达、惯性测量单元（IMU）、GPS／GNSS/INS等感知传感器。举个例子，即使摄像头因为支架松动、碰撞偏移，LiDAR或雷达+IMU+GPS仍可以提供环境感知或定位参考，系统可以检测到摄像头输出与其他传感器／惯性／定位系统之间不一致，然后暂时降低或放弃其数据，并发出警告给驾驶者/运营者。

图片源自：网络

此外，一些系统还会进行时间同步与时钟同步（time-synchronization），让所有传感器在同一个统一时钟源下采样，以免因为时间差、数据延迟、不同传感器采样不一致而造成融合错误。对于多传感器融合，时空同步是基础。

通过多传感器融合+冗余+容错+时空同步+自动／在线校准／检测机制，自动驾驶系统可以在一个传感器暂时失准甚至偏移时，依然维持整体感知能力，保证安全性。

最后的话

车辆上的每一个传感器，都不是孤立工作的，它们需要像一个团队那样保持步调一致，才能让自动驾驶系统稳定、可靠地运行。而传感器的物理偏移看似只是几毫米、几度的变化，却足以让整个系统的理解能力出现误差。所以自动驾驶行业真正面对的难题不只是把传感器装准，而是把它长期保持在准的位置上。

正因如此，自动驾驶的设计思路应从“安装时标定一次”转向“车辆全生命周期都能持续维持标定状态”。只有能做到这一点的系统，才算真正能让自动驾驶从能跑走向能长期跑。

编者语：「智驾最前沿」微信公众号后台回复：C-0981，获取本文提及报告：《Automatic Miscalibration Detection and Correction of LiDAR and Camera Using Motion Cues》pdf下载方式。