激光雷达（七）关键技术：多传感器信息融合

上篇文章中，我们对激光雷达的关键技术——环境建模进行了介绍

本次文章，我们将围绕激光雷达关键技术——多传感器信息融合展开。将从多传感器信息融合的意义、如何进行信息融合、多传感器信息融合的算法等进行介绍。

（图片源于网络）

多传感器信息融合

通过前面的介绍我们可以知道，激光雷达具有测量精度高、采集信息丰富、实时性好等特点，但面对复杂多变的自动驾驶行驶环境，激光雷达也无法完成所有的目标检测与识别、环境建模等任务。因此，与多传感器的信息融合，就显得十分重要。

自动驾驶绝不是单一的某领域技术，而是多技术融合的成果。只有建构多源信息融合的感知系统，充分利用多源信息融合技术，才能在自动驾驶汽车行驶过程中建立可靠有效的周围环境信息。

内外参数标定

进行多源信息融合的过程中，每个传感器都有自己的坐标系。不同种类的传感器坐标表示也都不同，因此，为了在统一的坐标系下对测量目标进行相应的描述和表示，就需要再信息融合前对各类信息进行坐标转换。多传感器标定技术，就是为了求解单个传感器坐标系在其他坐标系下的相对位置和姿态。根据传感器的具体类型，标定方法又可分为传感器外参数标定、传感器内参数标定、激光雷达与摄像头的技术标定、激光雷达与毫米波雷达的技术标定、多激光雷达标定等。

所有的激光雷达在出厂前，均进行了内参数的标定。对已经标定过的内参数进行二次（进一步）标定，虽然能减少误差，但在数据处理过程中并不是一个必要的环节。与内参数相比，外参数的标定误差将会直接影响到数据处理的性能及结果。因此，多数专家学者围绕外参数的标定展开了大量的研究工作。

人工测量激光雷达的宣传角度和安置位置，对外参数进行标定，是目前自动驾驶测试过程中普遍采用的标定方法。这类方法简单粗暴，十分方便上手，但误差较大，往往导致数据处理结果出现无法避免的计算错误。

坐标系

以图像信息标定为例，坐标系可分为像素坐标系、相机坐标系、图像坐标系和世界坐标系。

1

像素坐标系

原点o’位于图像左上角，u轴向右与x轴平行。一般用(u, v)表示，其单位是像素。

2

相机坐标系

以光心为相机坐标系的原点，以平行于图像的x和y方向为Xc轴和Yc轴，Zc轴和光轴平行，Xc，Yc，Zc互相垂直。一般用（Xc, Yc, Zc）表示，单位是长度单位，常见使用单位是m。

3

图像坐标系

可以理解为相机坐标系延z轴方向在物理成像平面的投影图。以主光轴和物理成像平面交点为坐标原点。一般用(x, y)表示，其中x’和y’方向单位是长度单位，常见使用单位是mm。

4

世界坐标系

世界坐标系——指物体在真实世界中的坐标，一般用（Xw,Yw,Zw）表示。单位是长度单位，m是世界坐标系中较为常见的长度单位。

坐标系转换

除激光雷达本身的参数标定外，进行多传感器信息融合，还将涉及到多传感器坐标系到世界坐标系的映射问题，通过分析传感器数据帧到导航帧的坐标转换，产生一个空间误差模型，以此捕捉引起误差的主要几何空间特征，从而减少在多个传感器进行信息融合时产生的系统误差。

要进行多传感器信息融合，还涉及到多传感器坐标到世界坐标系的映射问题，通过分析传感器数据帧到导航帧的坐标装换，产生一个空间误差模型，来捕捉引起误差的主要几何空间特征，减少在多个传感器进行融合时的系统误差。

多信息融合技术和算法

为更好地取长补短，基于多传感器信息融合的特点，相关领域涌现了大量不同的多信息源融合技术和算法。Stentz等人对激光雷达数据和立体视觉信息进行融合，综合利用颜色特征、几何特征和激光雷达数据点的密度信息，能够通过覆盖有草、灌木丛的道路，同时又能够避开高大的树木等障碍，该方法在 DARPA PerceptionOr项目中进行了应用。

Peynot等人对比分析了多种类型单个传感器在野外极端条件下( 扬尘、烟、雨雾天气) 的检测错误情况，并通过对多传感器信息进行融合，提高感知系统的可靠性，实验结果如图所示。

（扬尘天气下的试验结果）

Zhao 等人则是基于计算机图像处理、模式识别、多传感器信息融合等理论，设计了分层式多源信息融合系统，对于底层数据采用卡尔曼滤波来融合，对于上层数据融合系统采用D－S证据理论，提高了目标识别准确率，同时降低了时间复杂度。

深度学习网络模型

随着技术的不断发展，深度学习在计算机视觉领域（包括自动驾驶领域）取得了巨大的收获。利用深度学习网络模型将激光雷达点云数据与视觉信息进行训练学习，融合不同模态数据特征，进行自动驾驶车辆周边环境目标的实时监测与识别取得了一系列现金结果。

加之高性能运算平台不断的更新换代，提供了强大的计算能力，为深度网络模型充分利用激光雷达在原始数据的环境描述和表达能力提供了强大的支持，从而提高了目标检测的时效性及目标识别的精准度。NVIDIA公司推出的GPU产品正是当前高性能运算平台的代表。

图文来源网络，本文仅供学习分享非商业用途，如有侵权请联系我们删除。