纯视觉自动驾驶如何在夜晚感知场景？

[首发于智驾最前沿微信公众号]在聊今天的话题前，先申明下，对于纯视觉自动驾驶来说，夜晚确实是一个极具挑战的场景，今天仅从技术实现上来讨论纯视觉自动驾驶在夜间感知场景的可能性。

很多老司机应该都会有感觉，那就是在黑夜里开车会感到吃力，这是因为我们的视网膜对光线的捕捉能力有限，而摄像头在弱光环境下的表现也如出一辙。但随着硬件技术和深度学习算法的爆发式增长，纯视觉系统在黑夜里的视力已经发生了变化。

硬件层面是如何在黑夜里抓光的？

要解决夜晚感知的问题，首先得解决看得见的问题。车载摄像头和我们手机里的摄像头原理类似，但在底层逻辑上有着很大区别。为了在微弱的光线下获取清晰的图像，自动驾驶车辆会采用大底的CMOS传感器。这些传感器的单个像素点尺寸更大，意味着它们在同一时间内能接收到更多的光子。这就像用一个更大的桶去接雨水，在雨点稀疏的时候，大桶显然比小桶能装到更多的水，对应到夜间场景，单个像素点尺寸更大的传感器也更能保证画面的基础亮度。

图片源自：网络

除了进光量，高动态范围技术，也就是常说的HDR，也是纯视觉方案在夜晚的护身符。夜晚的路面光影极其复杂，既有漆黑的暗巷，又有对面车辆射来的刺眼远光灯。普通的相机如果照顾了暗部，亮部就会白成一片；如果照顾了亮部，暗部就漆黑无物。车载传感器通过多重曝光技术，可在极短的时间内捕捉不同亮度的图像并进行融合，确保在强光直射的情况下，系统依然能看清光晕背后的车牌，同时也能分辨出阴影里的行人。

不仅如此，车载摄像头的光谱响应范围也比人眼更宽。有些传感器可以感知到微弱的红外线。在完全没有路灯的荒野，虽然肉眼看过去是一片死黑，但摄像头依然能捕捉到物体反射出的细微光信号。这些原始数据被送入专门的图像信号处理器进行降噪处理，把那些杂乱的噪点剔除，最终形成一张虽然色彩没那么鲜艳、但轮廓和特征非常清晰的数字图像。

神经网络如何在大脑中脑补画面？

有了高质量的画面，接下来的核心挑战在于如何看懂。在白天，路面特征明显，AI识别车辆或车道线相对容易。但在夜晚，很多视觉特征会变得模糊甚至消失。这时，深度学习模型就发挥了巨大的作用。目前的算法不再是单纯地寻找某个物体的边缘，而是通过海量的数据训练，让神经网络具备了极强的特征提取能力。哪怕只是一对模糊的尾灯，或者是一个在黑暗中晃动的阴影，经过大数据喂养出来的模型也能迅速判断出那是一辆车还是一个推自行车的路人。

图片源自：网络

现在的算法还引入了时间维度的信息。纯视觉系统并不是孤立地看每一张照片，而是把连续的视频流作为输入。如果前一秒系统在前方路口看到了一个行人，即使这一秒行人走到了没有灯光的阴影里，算法也会根据他的运动矢量和历史记录，在系统的记忆中保留这个目标。这种基于时间序列的感知方式，大大弥补了瞬时视觉信号在极端环境下的缺失，让车辆对环境的理解更具连贯性。

这种理解不仅仅是识别，还包括对环境光影变化的适应。算法会学习如何过滤路面反光、雨天积水的倒影以及复杂霓虹灯的干扰。通过不断在大规模的夜间真实场景和仿真场景中迭代，神经网络学会了在信噪比极低的情况下，依然能提取出最关键的驾驶信息。这就像一个经验丰富的老司机，即使视线模糊，也能凭借经验判断出前方路面的坑洼和障碍物。

丢失的深度信息是如何找回来的？

纯视觉方案经常被质疑的一点是，没有激光雷达，如何在黑夜里判断物体的距离？在白天，光照充足，画面细节丰富，系统可以通过双目视觉或单目测距算法获得精确的深度。但在夜晚，画面细节的丢失会让深度估算变得困难。为了解决这个问题，目前的纯视觉方案普遍转向了BEV也就是鸟瞰图视角。

图片源自：网络

在BEV框架下，系统会将多个摄像头捕捉到的2D图像实时转换成3D空间信息。这一过程不再依赖简单的几何计算，而是通过Occupancy占用网络等技术，将空间切分成一个个微小的方格。算法会判断每一个方格是否被占据。即便摄像头看不清物体的纹理，只要有一丁点光影的变化，系统就能感知到空间中存在一个体积块。这种从识别物体到感知空间的转变，让纯视觉系统在夜晚也具备了极强的空间建模能力。

为了进一步提升精度，这些系统还会结合车辆自身的运动状态。当车辆行驶时，不同位置的摄像头会从不同角度观察同一个区域。通过这种多维度的交叉验证，系统可以像构建3D地图一样，实时还原出车辆周围的立体环境。这种方式不仅能测算出前车的距离，还能准确判断路边马路牙子的高度、垂下的树枝位置以及复杂的施工围挡。

最后的话

纯视觉系统解决夜晚感知的逻辑，其实是硬件抓光能力、大数据训练出的理解力以及空间重构能力的综合体现。它不再是单纯地模拟人眼，而是利用硅基芯片的计算优势和海量数据的记忆优势，在黑暗中构建出一套比碳基生物更敏锐、更理性的感知逻辑。