为什么光照对纯视觉自动驾驶影响较大？

[首发于智驾最前沿微信公众号]在自动驾驶的技术路线中，纯视觉方案因其模仿人类驾驶逻辑与低廉的硬件成本，一直是很多车企的选择。但这种高度依赖摄像头的感知方式，在夜幕降临、车辆驶入幽暗的隧道，或是遭遇强烈的逆光直射、漫天的雨雪浓雾时，感知能力会发生断崖式下跌。为什么光照对纯视觉自动驾驶影响较大？

被动感知的物理天花板

纯视觉感知系统本质上是一个基于环境光反射的被动测量系统。这一特性的核心在于，摄像头本身并不向外发射能量，它所获取的所有信息都来源于外界光源，都是太阳、路灯或其他车辆的灯光照射到物体表面后反射回来的光子。

这种工作模式与人类的眼睛如出一辙，当环境光线充足且分布均匀时，摄像头能够捕捉到极为丰富的颜色、纹理和语义信息，这些信息对于识别交通标志、判断路面标线以及理解复杂的交通意图具有不可替代的优势。但一旦光源缺失或光环境变得极端，被动感知的弊端便暴露无遗。

图片源自：网络

相比之下，激光雷达等有源传感器则是“自带手电筒的视觉”。激光雷达通过主动向外发射受控的激光脉冲，并接收从目标反射回来的能量，利用飞行时间原理直接计算物体的空间坐标。这种主动探测机制使得激光雷达在全黑的夜晚依然能维持极高的感知精度，且几乎不受环境光干扰。

在低光照环境下，摄像头传感器面临的首要挑战是信噪比（SNR）的急剧下降。当光子稀少时，传感器捕捉到的有效信号可能被电路产生的热噪声所淹没。为了在黑暗中“看清”物体，系统必须延长曝光时间或增加感光度（ISO）。

延长曝光时间在动态驾驶场景中是极其危险的，因为车辆与目标的相对运动会导致图像出现严重的运动模糊，使得原本清晰的目标轮廓变得如同虚影。

而盲目提高感光度则会引入大量随机噪声，使画面充满杂质，严重干扰后端神经网络对物体特征的提取。这种在物理层面就已受损的“原始材料”，注定了纯视觉方案在暗光下的步履维艰。

环境介质对光波的拦截与扭曲

自动驾驶车辆并不是在真空中行驶，光线从物体表面反射回摄像头的过程中，必须穿过复杂的大气环境。雨、雪、雾等恶劣天气本质上是改变了光波的传播路径，通过散射、折射和吸收等物理现象，对视觉感知构成了多重封锁。

雾气对视觉的影响主要源于米氏散射（Mie Scattering）。雾滴的直径通常与可见光的波长相当，当光波遇到这些微小水滴时，会向四面八方发生强烈的散射。

这种散射效应会产生两个严重后果，一是光线在传播过程中的强度迅速衰减，导致远距离物体在图像中消失；二是背景光和环境光被散射成了白茫茫的“幕帘”，大大降低了目标的对比度。

从信号处理的角度看，雾气相当于在图像上叠加了一个大尺寸的低通滤波器，滤除了大部分的高频细节。神经网络在处理这类图像时，很难识别出被雾气遮蔽的行人边缘或车道线，这会导致识别置信度大幅下降，甚至完全漏检。

图片源自：网络

雨天场景则会带来另一个问题。下落的雨滴具有极高的透明度和特殊的几何形状，每一颗雨滴都像是一个微小的球形透镜，会对穿过的光线产生折射和全反射。这会导致摄像头捕捉到的画面出现局部的扭曲和伪影。

更严重的问题发生在摄像头表面的保护玻璃上，粘附的雨滴会造成大面积的画面模糊。由于这些雨滴处于摄像头的近焦位置，它们会形成严重的散焦，使画面中的关键区域变得不可见。

在雪天环境下，视觉系统还会面临对比度缺失与物理覆盖的双重考验。雪花具有极高的光反射率，在强光照射下会导致图像大面积过曝；而在阴天，白色的雪地与同样色系的白色车辆、路标之间缺乏足够的对比度，导致感知算法难以区分目标与背景。此外，粘滞的积雪可能会直接覆盖在摄像头镜头上，这种物理层面的“致盲”是任何软件算法都无法挽回的。

这些物理层面的干扰直接挑战了纯视觉系统对空间几何结构的建模能力。由于摄像头无法像激光雷达那样通过精确的脉冲返回时间来剥离环境噪声，它必须在杂乱无章的像素点中通过概率预测来猜测物体的存在。在这种情况下，物理规律对光线的拦截，实际上切断了视觉系统赖以生存的信息源。

图像信号处理器，被忽视的信息损耗环节

即便光线成功穿透大气并被摄像头传感器捕捉，从感光单元输出的原始电信号（RAW数据）到最终进入自动驾驶大脑的彩色图像（RGB图像），中间还隔着一个复杂的环节，那就是图像信号处理器（ISP）。

长期以来，车载ISP的调优目标都是为了服务于“人眼观看”，即追求色彩鲜艳、对比度高、噪点少的视觉效果。但这种追求“美感”的处理流程，对于机器视觉算法来说，其实是一场灾难。

ISP的处理流程包含去马赛克、白平衡校正、去噪、伽马校正和色调映射等多个阶段。在低光照或高动态（HDR）场景下，ISP的副作用尤为明显。为了抑制暗光下的噪点，ISP会采用强力的空间域或频率域去噪算法。这些算法在抹除随机噪声的同时，也会无差别地抹掉微小的纹理细节，导致图像呈现出一种“油画感”。

对于人类驾驶员来说，这种平滑处理可能提升视觉舒适度，但对于依赖像素级特征梯度进行物体检测的深度学习模型来说，这意味着丢失了判断物体边缘的关键高频信息。

图片源自：网络

还有一个问题在于动态范围的处理。自然界的亮度跨度可能超过140dB，而主流车载摄像头传感器的动态范围一般在120dB左右。当车辆驶出黑暗隧道突然面对刺眼的阳光时，ISP必须在极短的时间内调整曝光参数。

传统的HDR技术通过多帧曝光合成来实现高动态显示，但这在高速行驶中会引入严重的运动伪影。由于不同曝光帧之间存在时间差，快速移动的物体在合成后的画面中会出现重影或虚影，导致自动驾驶算法无法准确判断物体的边界位置。

此外，ISP执行的色调映射（Tone Mapping）和伽马校正（Gamma Correction）本质上是一种非线性的信息压缩过程。为了将传感器捕获的20位或24位高动态RAW数据映射到8位或10位的RGB空间，ISP会强行压缩阴影和高光区域的对比度。

在这个过程中，原本在RAW域中清晰可辨的微小亮度差异被强行归并为同一个像素值。这种数学上的不可逆损耗，会让感知网络失去在极端光影场景下进行“微秒级察觉”的可能性。

这种“人眼导向”与“机器导向”的错位，是纯视觉方案在极端场景下表现不佳的重要诱因。目前有技术方案正尝试跳过传统的ISP，直接利用RAW域数据进行端到端的物体检测训练，以保留光电传感器的所有原始信息，这从侧面证明了传统处理流程在光影难题中的局限性。

深度学习在极端场景下的认知边界

纯视觉自动驾驶离不开深度学习算法，然而，基于卷积神经网络（CNN）或Transformer的物体检测模型，其性能高度依赖于训练数据的分布。在面对光照显著恶化的场景时，算法层面的“认知”也会出现严重的偏差。

神经网络提取物体特征的基础在于像素间的对比度梯度。在强逆光或夜间远光灯直射的情况下，光线会产生严重的“眩光”和“溢出”（Blooming）效应。当一个极亮的点光源（如对向车的远光灯）照射到传感器上时，产生的电荷会溢出到相邻的像素中，导致图像中出现大面积的亮斑。

这种现象不仅遮盖了障碍物本身的纹理，还彻底破坏了物体的几何轮廓。当特征图中的高频分量由于过曝或极低亮度而消失时，卷积核将无法捕捉到有效的激活信号，导致系统在逻辑上“无视”了障碍物的存在。

图片源自：网络

此外，单目纯视觉系统获取深度的唯一途径是依靠算法猜测。模型通过识别物体的类型，结合“近大远小”的经验值或路面纹理的变化来推算距离。但在光照极差的夜晚，路面纹理几乎不可见，物体的视觉特征由于噪声干扰而失真。

此时，算法的深度推算将变得极不稳定。即使系统识别出了前方有一个行人，也可能因为无法准确判断其距离而导致紧急制动的决策失灵。在高速场景下，几米的距离偏差就足以决定一场事故的发生。

还有一个更深层次的问题，目前的纯视觉模型本质上是在进行一种“模式匹配”。当训练数据集中99%的场景都是晴天、光照良好的公路时，模型会形成一种先验偏见。

当它在夜间隧道口遇到由于剧烈光影交替而产生的怪异轮廓时，模型可能会将其错误地分类为不具威胁的阴影或路面杂质。这种对长尾场景（Edge Cases）的泛化能力缺失，是纯视觉方案通往L4及以上自动驾驶时必须跨越的鸿沟。

最后的话

从被动感知的低信噪比，到大气介质对光子的拦截，再到ISP处理中的数据裁剪，最后到神经网络在特征缺失面前的认知无力，每一个环节都在累加纯视觉自动驾驶感知的误差。虽然随着更大动态范围传感器的应用、端到端RAW域感知的引入以及跨模态训练数据的补齐，纯视觉方案的边界正在不断扩展，但其物理属性决定的“光影死角”，依然是行业在平衡安全性与成本时必须慎重对待的核心议题。