不同光照条件下的无人机视觉导航系统

随着计算机视觉和人工智能技术的飞速发展，出现了一种新的导航方法：视觉导航。视觉导航具有自主性好、可靠性高、成本低等优点。近年来，随着视觉导航概念、理论和方法的不断更新和完善，视觉导航已成为无人机自主导航的重要研究领域之一。

视觉导航的研究最初受到巡航导弹中地形轮廓匹配制导系统的启发。但是，无人机的飞行环境不一定是光照充足的理想环境。无人机在阴天或夜间飞行时，由于光线减少，相机会捕捉到低光图像，严重影响图像质量，如对比度低、能见度低等。同时，由于法律法规的限制，有人驾驶飞机白天飞行的频率远高于夜间，这将大大缩小无人机的飞行空间。因此，无人机最适合的飞行时间是有人驾驶飞机较少的夜晚，见图1。因此，将低光航拍图像转换为高质量的正常光图像，不仅可以提高图像的视觉质量，还可以提高无人机在目标检测等一些高级视觉任务中的性能、语义分割等，它还可以使无人机应用于更广泛的领域，例如应急救援、环境监测等。

图1 比较了微光图像和增强图像的匹配结果和检测结果

我们基于 Retinex 理论提出了一个新的全卷积网络，它由两个子网络组成，Decomposition-Net (Decom-Net) 和 Enhancement-Net (Enhance-Net)。建议的低光图像增强管道如图 2所示。Decom-Net 将输入图像分解为光照和反射图，同时抑制反射中的噪声。

Enhance-Net以Decom-Net的输出为输入，增强光照图的对比度和亮度。因此，所提出的方法可以提高低光图像中的对比度并抑制噪声，并获得具有更好视觉质量的增强结果。

图 2.低光图像增强管道。Decom-Net 将输入图像分解为光照图和反射图，Enhance-Net 使光照图变亮。低光图像的反射图和光照图作为Enhance-Net的输入。正常光图像的分解不参与 Enhance-Net 训练阶段

Decom网络包含八个3×3卷积层，每个卷积层的输入和输出特征映射大小相等，且具有步长2和一个校正线性单元（ReLU）。通过使用跳转连接结构，i-1卷积层和i卷积层的输出结果被组合为i+1卷积层（i=1，…，5）的输入。Decom Net的网络架构如图3所示。

图3 Decom-Net 的网络架构

Enhanced Net包含七个卷积块，每个卷积块包含两个3×3卷积层，步长为1，以保持前后特征图的大小相同；前三个卷积块之后是步幅卷积，以执行下采样；最后三个卷积块之后是一个反卷积层，以执行上采样。然后，利用多尺度融合，将第七个卷积块的输出和最后三个反卷积层的输出串联起来作为下一个卷积层的输入，这样可以最大限度地组合上下文信息，减少特征信息的丢失。最后，通过3×3卷积层得到增强的光照图，增强网络中的每个卷积块后面跟着一个ReLU。EnhanceNet的网络架构如图4所示。

图4 Enhance-Net的网络结构

在得到Decom网的分解结果和增强网的增强结果后，将两个子网的输出通过逐元素乘法进行组合，作为最终结果。图5显示了弱光图像的整个网络的分解结果。

图5 弱光图像分解结果的示例。（a） 是输入图像，（b）是由Decom Net生成的反射贴图，（c）是由Enhanced Net生成的照明贴图

微光图像的退化主要体现在对比度低。为了更好地模拟真实的弱照明图像，我们对正常光图像的每个通道应用Gamma校正来改变对比度。合成微光图像的示例如图6所示。

图6 合成微光图像示例

在执行视觉导航任务时，无人机可能会受到照明条件不足或传感器性能不足等因素的影响，因此有必要对捕获的微光图像进行增强。然而，并不是所有的图像都需要增强，因此在预处理阶段必须判断图像是否具有弱光照条件。如图7所示，可以通过计算每个图像的拉普拉斯梯度函数值来设置阈值。如果小于我们设置的阈值，则图像需要增强，如果大于阈值，则图像不需要图像增强处理。

图7 不同光照条件下图像的拉普拉斯梯度函数值

我们选择的参考图像是卫星图像，参考图像的视距和尺寸（7200×3600）都比航空图像大，因此我们将参考图像分割成多个小尺寸参考图像，并依次将航空图像与小尺寸图像进行匹配，这有助于减少匹配过程中的搜索时间。可视化导航管道如图8所示。

图8 视觉导航管道

传统的方法是在CPU上运行，这将增加推理时间。我们的方法在GPU上增强每个图像的平均时间成本比我们的竞争对手快0.11秒，这得益于我们更小的模式大小（4.85MB）和更好的网络设计，如图9所示。

图9 合成测试图像的视觉比较

在视觉导航实验中，我们收集了一个包含5幅大视距卫星图像的数据集，每幅卫星图像对应10幅小视距航空图像。我们以卫星图像为参考图像，基于我们提出的视觉导航管道进行了实验。当航空图像为弱光图像时，我们使用我们提出的增强方法将其转换为高质量的正常光图像，并与参考图像进行匹配。图10显示了一些实验结果示例。红色框是航空影像映射到卫星影像的区域，黄色框中的红色点是航空影像中心点映射到卫星影像的位置，该红色位置的经纬度信息是我们方法估计的无人机的当前位置。

（c）Location resulut

图10 视觉导航的实验结果

除了将我们的方法应用于无人机视觉匹配导航之外，我们还希望进一步探索我们的方法在其他实际任务中的性能，例如自动驾驶等。我们在Apollo Scape数据集中使用了1121张不同角度的成对图像。通过使用我们提出的增强方法，将弱光图像转换为高质量的正常光图像，然后依次与1121幅参考图像进行匹配。选择匹配度最高的参考图像，并提取参考图像的位置作为车辆的当前位置。图11显示了一些自定位示例。

图11 自主驾驶实验结果

实验结果表明，该方法的增强结果具有更多的特征信息，能够满足图像匹配的要求。视觉导航系统可以实现无人机在不同光照条件下的自主定位。