一文讲透自动驾驶中的“点云”

[首发于智驾最前沿微信公众号]在谈及自动驾驶感知系统时，经常会看到一个专业词汇，那便是“点云”。作为连接物理现实与数字世界的桥梁，它赋予机器一种超越人类视觉的深度感知能力，让车辆得以精确地“理解”自身在环境中的位置与周遭物体的真实形态。今天智驾最前沿就带大家深度了解下“点云”的含义。

什么是点云？

点云，简单来说，就是用数字记录三维空间中每个点的位置。在空间坐标中，每个点都可以用x、y、z三个坐标值表示，有些还会附带反射强度或时间戳等信息。把一个场景中所有这样的点集合在一起，就形成了点云。

激光雷达点云图（右侧），图片源自：网络

如上图所示，就是激光雷达生成的点云图，里面是由无数个小点“勾勒”出的街道、路口及车辆的轮廓，这些点能还原物体的形状、距离和空间关系，从而让自动驾驶汽车获得更多的交通信息。与照片的像素网格不同，点云是稀疏或密集分布在三维空间中的独立点集合，它能直接表达三维结构，比二维图像更直观地反映物体在空间中的实际位置。

哪些传感器会产生点云

在自动驾驶中，多个传感器可以生成点云数据。激光雷达作为最核心的采集设备，通过发射激光束并精确测量其返回时间来计算距离，结合精密的扫描控制，能实时生成富含三维坐标和反射强度信息的密集点云。

激光雷达，图片源自：网络

立体视觉系统则模仿人类双眼视差原理，利用多摄像头从不同角度拍摄同一场景，通过计算像素位置差异来推算深度，最终将二维图像转换为三维点云。这种方法在纹理丰富区域效果良好，但在特征缺失的平坦区域或远距离场景中精度会明显下降。

基于飞行时间深度相机可以通过直接测量光脉冲的往返时间为每个像素计算深度值，也能快速生成点云，但其有效感知距离较短，多用于近场环境感知。

毫米波雷达则通过分析无线电波反射来探测目标，提供距离、速度及角度信息，虽然生成的数据点稀疏且角度分辨率有限，却在恶劣天气下表现稳定，常被用作特殊的“稀疏点云”参与目标跟踪和融合感知。

这些传感器因工作原理各异，所生成的点云在密度、噪声水平和信息维度上存在显著差异，这会直接影响它们在系统中的具体应用场景及后续的数据处理策略。

点云能做什么

既然这么多传感器都可以生成点云，那点云到底能给自动驾驶做点啥？对于自动驾驶汽车来说，点云最主要的作用就是三维感知。与二维图像相比，点云能直接提供物体的距离、高度和大致形状，这对于判断障碍物、识别路缘、检测行人和车辆姿态至关重要。点云常用于目标检测与跟踪，算法直接在三维空间中输出三维边界框，能更精确地估计距离和尺寸，从而提高定位和避障决策的可靠性。

点云还有一个作用就是建图与定位，通过对齐连续帧的点云（即点云配准），车辆可以在没有高精地图或GPS信号受干扰时，实现基于点云的定位（例如通过扫描匹配或基于特征的定位），这是很多自动驾驶系统的冗余定位方案。

图片源自：网络

点云还为自动驾驶系统提供了深层次的环境理解能力。通过对点云进行语义分割，系统能够精确区分道路、隔离带、路灯和人行道等关键交通要素，这不仅实现了对场景的结构化理解，更为路径规划提供了重要的语义约束，确保车辆行为符合交通规则和场景特性。

除此之外，点云还为规划与控制模块提供可靠的三维几何信息，与依赖二维投影的方案相比，点云直接呈现了空间的高程变化和几何特征，使车辆能够准确感知坡度、路缘高度等关键参数，借助这些数据，在路径规划时可以充分考虑实际地形因素，显著提升了决策的准确性和安全性。

点云处理的常见流程与算法要点

点云数据在生成后并不是直接就能使用的，从原始点云到可用的三维感知结果，需要经过一系列处理步骤。第一步是要进行预处理，预处理阶段先要进行噪声过滤，消除因空气中的尘埃、雨雾或传感器自身误差造成的异常数据点，确保基础数据的纯净度。然后就是要实施数据精简，通过体素下采样方法在保留场景主要几何特征的前提下，降低数据总量，提升后续处理效率。预处理的最后一个步骤是要完成坐标统一，将来自不同传感器的点云数据经过时间同步和坐标变换，全部转换到统一的车辆或世界坐标系中，为后续的障碍物检测、环境感知等高级处理任务奠定基础。

预处理完整后要做的是进行地面分割和地平面拟合，将道路表面剔除或标记出来，便于分离出行人、车辆等非地面物体。分割之后是聚类与候选生成，通过欧氏聚类或基于语义的分割提取单个物体的点集，再为每个聚类拟合三维边界框。

对于点云数据的处理，有两种常见路线，一种是以PointNet/PointNet++为代表的点基方法，直接对原始点云数据进行特征学习，充分保留了每个点的三维坐标信息；还有一种是将不规则的点云转换为规整的体素网格或鸟瞰图等结构化表示，再利用成熟的卷积神经网络进行特征提取。这两种方案各有优势，点基方法精度更高，而网格化方法计算效率更优。

在获得检测结果后，系统需要通过目标跟踪技术将不同时刻检测到的物体关联起来，形成连续的运动轨迹。这一过程可采用卡尔曼滤波等算法，通过建立运动模型来预测和更新目标位置。同时，为了融合多帧点云数据或不同传感器的点云，还需要进行点云配准操作。常用的配准方法有迭代最近点算法和基于特征的匹配方法，这些技术能够有效解决点云之间的空间对齐问题。

点云的局限与挑战

虽然点云可以提供直接的三维信息，但它也存在一些局限。点云密度会随距离、角度和传感器分辨率快速下降，远处和低反射率区域点云稀少，就会导致远距离小目标检测性能下降。

图片源自：网络

像是在雨、雪、雾、尘埃等异常天气下，还会产生虚假回波或吸收激光，降低LiDAR的有效点数；同样，立体视觉在低光照或反光表面上的深度估计效果也会变差。不同材料对激光的反射率差异也很大，某些暗色或吸光材料几乎不产生回波。

此外，点云数据量大、计算密集，实时处理需要高效算法和专用硬件加速（如GPU、稀疏卷积加速器等）。点云的标注也比图像更耗时费力，三维标注工具和一致性要求更复杂，这将影响训练数据的规模。

若不同传感器之间的时间同步与空间标定存在误差，更会直接导致点云数据在融合时产生系统性偏差。在时间维度上，即便是毫秒级的时间差，也会因为车辆和物体的快速运动，导致同一目标在不同传感器中的空间位置无法精确对应；在空间维度上，外参标定的微小角度误差会随着距离增加而放大，使来自激光雷达、相机等不同传感器的数据在空间上无法严丝合缝地对齐。

最后的话

点云的作用就是将三维空间中的几何信息直接提供给自动驾驶系统，让车辆能够感知距离、形状和空间关系，这是自动驾驶不可或缺的感知基础。但点云存在稀疏性、对天气敏感、依赖材料反射率等局限。因此，想让自动驾驶系统获得更好地感知效果，并不能仅依赖点云，而是要将其与相机、雷达等传感器信息相结合，通过合适的表示方式和高效算法，充分发挥点云的优势，同时用其他传感器弥补其短板。