自动驾驶汽车如何看清并理解交通标志？

[首发于智驾最前沿微信公众号]在我们开车的时候，想顺利地完成驾驶任务，会本能地注意前方的限速牌、停车让行标志或转弯指示等。自动驾驶汽车想安全地运行，同样需要这样的能力。自动驾驶汽车通过摄像头、雷达等传感器“观察”周围环境，并由计算机系统理解和处理这些信息，在众多任务中，交通标志的识别是关键一环。自动驾驶汽车只有准确识别出不同的交通标志，才能在实际行驶中按规则行驶，并做出正确决策。

交通标志识别的必要性

自动驾驶系统里感知模块其中一个目标，就是识别道路上的各种交通标志。交通标志识别通常被称为TSR（Traffic Sign Recognition），主要是通过车载前向摄像头捕捉道路场景图像，然后经过一系列算法处理，最终呈现出我们能理解的交通标志信息。识别系统不仅要找出交通标志的位置，还要确认它是什么内容，然后把这些信息传给车辆控制系统用于后续决策。这个技术在自动驾驶里非常重要，如若识别错误，车辆可能会按照错误的规则行驶，还会带来安全隐患。

图片源自：网络

交通标志识别一般分为检测与分类两个关键环节。检测是将图像中可能包含交通标志的部分找出来，分类则是判断这个标志具体表示什么内容。这个过程和人类看图类似，但对机器而言会涉及复杂的视觉算法和大量样本学习。自动驾驶车辆会将这两步紧密结合，同时还会考虑光照、遮挡、运动模糊等复杂场景对于交通标志识别的影响。

感知世界：从摄像头采集图像开始

要识别交通标志，自动驾驶汽车需要先“看到”这些标志。自动驾驶汽车前方一般会装有高分辨率的摄像头，以及激光雷达、毫米波雷达等传感器，但是交通标志识别这项任务，主要还是由摄像头完成。摄像头可以像人眼一样看到道路前方的交通标志、车辆、行人、背景建筑等视觉信息，从而为自动驾驶汽车识别交通标志提供信息基础。

图片源自：网络

摄像头采集下来的原始图像会有噪声、曝光不均、运动模糊等问题，为了提高后续识别的准确率，需要对这些图像进行预处理。常见的预处理方法包括颜色空间转换、噪声滤波和图像校正等，这些操作可以让图像更容易被算法理解。比如将RGB（红绿蓝）图像转换成HSV（色调、饱和度、亮度）空间，可有助于突出某些颜色范围，从而更容易发现不同颜色的标志。

在采集和预处理之后，自动驾驶系统要做的就是找出图像中可能包含交通标志的区域。早期的方法可以利用颜色、形状等视觉特征进行检测，像是红色边框的圆形可能是限速标志，三角形可能是警告类标志，这些特征有助于自动驾驶系统快速区分标志和背景。更先进的交通标志识别技术主要依靠深度学习算法，通过神经网络模型自动学习大量标志样本的特征，从而在复杂背景下也能准确检测出交通标志。

深度学习如何帮助识别交通标志

在过去的十几年里，传统的图像处理方法主要依赖人工设计的如边缘、颜色等特征，但对于实际道路存在的复杂、变化多端的场景，这种方法容易受光照变化、遮挡、倾斜等因素的干扰，识别准确率有限。随着深度学习特别是卷积神经网络（CNN）技术的发展，交通标志识别进入了一个新的阶段。深度学习模型可以从大量数据中自动学习特征，不需要人工反复设计特征规则，相对传统方法来说，基于深度学习模型的识别方法鲁棒性和准确率都会更高。

图片源自：网络

深度学习的核心是构建一个神经网络模型，这个模型包含很多层计算单元（也叫神经元或者卷积层），这些层可以从简单的边缘到更复杂的形状和结构，逐级提取图像中的特征。神经网络模型会先用大规模数据集进行训练，这些数据集包含各种各样的交通标志图片，以及它们对应的标签信息。训练的过程其实就是让模型逐渐学会把输入的图像映射到正确的标志类别上。常见的神经网络架构包括VGG、ResNet等基础网络，以及用于目标检测的YOLO系列、SSD、Faster R-CNN等模型，它们可以同时完成检测和分类两项任务。

以YOLO（You Only Look Once）模型为例，这类模型可以把整张图像一次性输入网络，通过网络对图像进行网格划分，并为每个区域预测是否包含目标以及目标类别，这样不仅可以快速检测到交通标志在哪儿，还能判断它属于哪种类型。在对YOLO v7、YOLO v8的实际测试中，识别准确率可以达到99%以上，这意味着在大多数场景下YOLO模型都能正确识别出交通标志。

当然，想让这些深度学习模型识别效果的准确率更高，并不是简单提供更多图像给其训练就可以的，而是要进行大量多样化的训练，训练的数据集中要包括白天、夜晚、雨雾等各种环境下拍摄的标志图像。通过多样性的数据训练，可以让模型的泛化能力更强，不易被复杂路况干扰。此外，还需对训练数据进行增强处理，比如对原始图像进行旋转、裁剪、亮度调整等操作，可以让模型学会在更多不同情况下识别标志。

检测与分类：如何判断这是什么标志

在识别流程里，检测和分类是两个相互关联但有所不同的环节。检测是将图像中可能包含交通标志的区域框选出来，不去管它具体是什么内容；分类则是在检测出一块区域后判断它是哪种标志。

在自动驾驶技术初期，这两个步骤是分开处理的，即先做特征提取和区域提议，然后把候选区域送入分类器判断类别。随着深度学习模型的普及，这两个步骤便被统一到一个端到端的框架里，通过一个模型可以同时完成检测位置和分类结果的任务。这样做的好处是速度更快、实时性更强，适合需要高速响应的自动驾驶场景。

图片源自：网络

在交通标志的检测环节中，经常会出现标志大小变化大、角度不一致及标志被部分遮挡等问题，这无疑增加了检测的难度。为了应对这个问题，算法会采用多尺度特征提取技术，让大模型在不同分辨率的特征图上都能捕捉到目标信息，从而提升对远近标志的检测能力。

在检测到交通标志后，下一步要做的就是分类，分类要做的就是判断检测到的目标具体属于哪种交通标志，这里会涉及数十甚至上百种类别。深度学习网络在学习过程中，会把每种类别的交通标志特征编码成内部向量空间的模式。当大模型看到新的测试图像时，它会计算图像和这些模式的匹配程度，最后输出一个概率分布，让系统知道哪个类别最有可能。

结合时间和上下文信息让判断更稳妥

单帧图像的识别有时会受光照、雨雪、车速等因素影响出现误判。为了减少这种情况，自动驾驶系统还会结合时间维度和上下文信息来增强识别的稳定性。简单来说就是不会凭一张照片判断交通标识的类别，而是会把连续的多帧图像结果融合考虑。如果前几帧识别到的是“限速60”的含义，而当前帧不稳定导致识别结果有小变化，系统可以结合历史信息做出综合判断，从而避免因为一两帧出错而做出错误决策。

图片源自：网络

此外，自动驾驶车辆也会把交通标志识别结果与高精地图数据结合在一起。高精地图里会提前包含道路上常见的交通标志位置和类型信息，当车辆识别到某个标志时，可以和地图数据校对，从而提高准确率，尤其是在标志因为遮挡或损坏时可以通过这种方法提供补充参考。虽然这种做法不是必须的，但可以提高整体鲁棒性。

识别结果如何指导自动驾驶决策

当自动驾驶系统识别出交通标志后，这些信息需要转化成可用的指令送给自动驾驶的决策和控制模块。例如识别到“限速50”这个标志，控制系统就会把目前设定的最高速度调整到相应数值；当识别到“停车让行”标志时，就会规划车辆减速并停在停止线前；遇到“禁止左转”标志时，规划路径时就不会选择左转路线。交通标志的识别结果在这些规则执行中可以起到直接的输入作用。

图片源自：网络

在整个自动驾驶系统中，交通标志的识别只是感知的一部分，它会和车辆、行人、路缘、车道线等其他感知信息一起形成对周围环境的整体理解。决策模块会把识别到的信息综合起来，按照交通规则和安全策略制定下一步行动，然后将控制指令传给车辆的执行部件。这样的流程可以让自动驾驶汽车不仅能“看见”标志，还能基于这些信息安全地行驶。

最后的话

自动驾驶车辆之所以能识别交通标志，是借助了摄像头采集视觉输入，再通过预处理、深度学习模型检测和分类，结合时间信息和地图数据等手段综合判断得到的。识别结果会被用于指导车辆按交通规则行驶。这个过程涉及多个环节和先进算法，每一步都要经过精心设计和大量调试，才能在复杂的现实道路环境中保持足够高的可靠性。