车载双目摄像头如何“看见”世界？

[首发于智驾最前沿微信公众号]想要让车辆知道前方有什么、距离多远、是否可以靠近，首先要做的是让其“看”清楚环境。在众多车载感知硬件中，与人类看到世界最类似的一个感知硬件便是车载双目摄像头了。

图片源自：网络

车载双目摄像头（也称立体视觉摄像头，Stereo Camera）模仿人眼的视觉机制，通过两个略有间距的摄像头同时拍摄同一场景，比较两幅图像之间的差异，从而计算出深度信息。

与单目摄像头只能识别形状、颜色，或依赖学习来估算距离不同，双目系统能够直接量化物体到车辆的距离，这对于碰撞风险评估、精准停车、障碍物避让等任务至关重要。

基本原理，用两张图还原三维信息

简单理解车载双目摄像头，就是将两个摄像头并排安装，朝向前方，它们之间有一个固定的横向距离，称为“基线（baseline）”。同一个物体在左图和右图中的成像位置通常会有差异，这个水平方向的位置差异称为“视差（disparity）”。对左右图像进行几何校正后，可以把匹配点限制在同一水平线上进行搜索，视差就是像素在水平方向上的偏移量。

图片源自：网络

根据成像模型，物体的真实距离Z与相机焦距f、基线B和视差d之间满足一个简单的关系：Z = f × B / d。也就是说，视差越大，物体越近；视差越小，物体越远。想要让车载双目摄像头符合这一公式，必须让摄像头经过内参（如焦距、畸变系数）和外参（两个摄像头之间的位置关系）的精确标定，标定的精度将直接决定深度估计的准确性。

车载双目摄像头拍摄只是两张图片，并不包含深度信息，如果想通过这两张图片信息计算出深度，需要经过一系列的操作。首先是要将摄像头进行标定，获取内外参数，并进行图像畸变校正与极线校正，使左右图像的对应点基本位于同一水平线上，从而降低匹配的复杂度。接着就是要进行立体匹配，即为左图中的每一个像素，在右图中找到最可能的对应像素，这是整个流程中最关键的一步。传统的方法有基于块匹配、基于代价聚合的半全局匹配等；但近年来，随着深度学习方法逐渐流行，通过端到端的代价构建、聚合与回归，能够进行更准确、更鲁棒的视差估计。最后要做的就是将视差转换为真实深度，并配合置信度估计与后处理（如孔洞填充、平滑滤波），输出能有效提升下游任务效果的深度图。。

算法与实现，从传统方法到深度学习

早期的立体视觉算法更关注如何准确定义像素之间的匹配代价，以及如何将局部匹配结果优化成一张全局一致的视差图。在进行像素级匹配时，常用的代价函数有颜色差异、SAD（绝对差和）、SSD（平方差和），以及对于光照变化更具鲁棒性的Census变换等方法。得到初步的匹配代价后，还需经过代价聚合与优化步骤，以抑制噪声和错误匹配。其中，半全局匹配（SGM）通过沿多个路径聚合代价，在效率和精度之间取得了出色平衡，因此成为车载系统中广泛采用的经典算法。

近年来，随着计算能力的显著提升，基于卷积神经网络（CNN）的立体匹配方法迅速发展。这类方法利用神经网络从数据中学习更鲁棒、更高级的匹配特征，通过构建三维代价体进行精细的匹配比较，最终通过回归或软分类方法直接输出视差图。深度学习方法在弱纹理、重复纹理和剧烈光照变化等传统算法难以处理的场景下，能表现出更强的稳健性。然而，其性能也高度依赖训练数据的多样性和完备性，以及对边缘场景的泛化能力。

在实际的项目中，立体视觉会被整合到更大的感知链路中。单帧视差图容易受噪声影响，因此会使用时序滤波或多视图融合技术，结合来自IMU或里程计的位姿信息，将相邻帧的深度信息对齐融合，从而提高远处目标和弱纹理区域的可靠性。此外，双目系统还会与语义分割或目标检测模块联动，一旦检测到行人或车辆，可以在这些区域内进行更精细的匹配与置信度评估，从而实现语义信息与几何信息的相互校验，减少误检与漏检的情况发生。

为什么车厂和Tier-1青睐双目摄像头

双目摄像头相比其他传感器具备几项明显优势，使其在自动驾驶系统中始终占有一席之地。它采用被动成像，不像激光雷达或毫米波雷达那样主动发射能量，没有电磁辐射问题，在法律合规、隐私保护、能耗和成本方面更容易被大众接受。

它的语义信息也更加丰富，摄像头直接输出高分辨率的彩色图像，对识别车道线、交通标志、信号灯、路面纹理和行人外观等具有天然优势，这些信息对语义理解和行为预测至关重要

图片源自：网络

双目系统还具备高横向分辨率，能够清晰捕捉像是车道线、路缘、人行道边界等细微结构，这是很多测距型传感器难以替代的。

双目摄像头相比高精度的固态或机械式激光雷达更是低廉得多，更适合大规模量产车型的传感器配置。此外，它体积小、功耗低，特别适用于短距离感知、泊车辅助、低速城市路况，或作为其他昂贵传感器的有效补充。

双目系统生成的密集深度图（而非稀疏点云）也更适合某些算法需求，双目系统作为视觉子系统的一部分，更能与单目视觉、雷达、激光雷达等形成互补，提升整体感知的鲁棒性。

车载双目摄像头有哪些问题

即便车载双目摄像头的优势非常明显，但其也有很多摄像头存在的固有的问题。它对环境条件非常敏感，像是在弱光、夜间、逆光、雨雪雾等天气下，会显著降低匹配质量，导致视差图噪声增加或出现大范围低置信度区域。与激光雷达不同，摄像头也无法穿透雨雾，因此在极端天气下仅靠双目难以保证安全。

在面对缺乏纹理或重复纹理的区域（如白墙、单色车身），立体匹配容易出错甚至无法找到对应点。对于反光或半透明物体（如积水、玻璃窗），摄像头更可能产生虚假几何信息，导致深度估计错误。

双目的有效距离也受摄像头分辨率和基线设计的限制。对于远处的小目标（如高速路上数十米外的小障碍物），视差可能小于一个像素，这会导致误差被放大。

由于双目摄像头左右视角不同，某些区域在一侧摄像头中可见，在另一侧却不可见，这会导致视差缺失或匹配错误。双目系统对标定精度依赖也极高，任何微小的几何偏移都可能导致系统性误差，对长期使用的稳定性提出挑战。

车载双目摄像头装车要点

将双目摄像头部署到车辆上，并不只是将摄像头固定在车头那么简单。安装时的基线长度、摄像头分辨率、镜头视角、曝光策略和同步机制都需要精心计算。基线越长，对远处物体的深度分辨率越好，但也会导致结构尺寸增大，并可能在近距离出现视差饱和问题。在城市低速场景中，短基线双目已足够使用，且更易于安装；若要用于高速公路等需要检测远距离目标的场景，则需要更长的基线、更高分辨率的传感器或更长焦距的镜头。

图片源自：网络

摄像头的时间同步也非常关键，左右图像必须在极短时间内完成采集，否则车辆或周围物体的运动会导致视差计算错误。车规级的双目模块通常会在硬件层面实现触发同步，并在模块内部完成初步标定与校正，以降低系统集成的复杂度。

标定与标定维护是最容易被低估的环节。摄像头标定需要精确估计内参（焦距、主点、畸变）和外参（两个摄像头之间的旋转与平移）。车辆经过颠簸或轻微碰撞后，摄像头支架可能发生微小偏移，导致深度估计出现偏差。因此，要设计定期自标定或在线标定的策略，利用车道线、路面平面或其他结构化特征自动校正外参。

此外，曝光与HDR策略也不容忽视，摄像头需要在逆光、强光对比等复杂光照条件下保证图像可用。很多系统会采用多曝光或自动增益控制来扩展动态范围，并在图像处理阶段进行光照归一化，以提高匹配的鲁棒性。

高精度深度估计，尤其是基于深度学习的方法，需要较大的计算量，在成本受限的量产车上必须进行权衡。在常规驾驶场景下，可使用轻量级或优化后的传统算法输出初步深度结果；当系统检测到复杂或关键场景（如行人密集、道路狭窄）时，再触发更精细的深度网络进行处理。还可以将计算密集型任务分配给车载高性能计算单元，并采用稀疏化或分层处理技术来节省资源。

最后的话

双目摄像头就像是自动驾驶感知工具箱中的一把得力工具，但正如螺丝刀不能替代锤子，它也无法解决所有感知问题，但在其优势场景下，它却能以出色的性价比完成感知任务。真正可靠的自动驾驶系统，是要通过一群各具所长、又各有短板的技术工具的默契配合，在取长补短中构建起来的。