基于深度学习的暗光图像增强综述

西浦、利物浦大学联合发布！夜间图像“看不清”？系统性综述破局低光视觉难题

Free Access:

https://authors.elsevier.com/c/1lU~H3INukW9EQ

https://doi.org/10.1016/j.neucom.2025.131052

文章摘要

在弱光环境下，计算机视觉算法的性能通常会显著下降，从而对分割、检测和分类等关键视觉任务产生不利影响。随着深度学习的快速发展，其在弱光图像处理中的应用近年来引起了广泛关注并取得了显著进展。本综述详细阐述了各种近期方法（自2020年以来）的工作原理及其增强机制。此外，还研究了不同增强技术对后续视觉任务的影响，并批判性地分析了它们的优势和局限性。本综述发现图像增强在不同程度上提高了下游视觉任务的性能。尽管监督方法通常能够生成具有高感知质量的图像，但它们在视觉任务中的改进通常不大。相比之下，零样本学习尽管在图像质量指标上得分较低，但在各种视觉任务中均表现出持续提升的性能。这表明图像质量指标与评估视觉任务性能的指标之间存在脱节。此外，无监督领域自适应技术在分割任务中表现出显著的提升，凸显了其在标记数据稀缺的实际弱光场景中的潜力。本文为确定弱光图像增强技术和优化弱光条件下的视觉任务性能提供了有益的参考。

文章导读

近年来，计算机视觉和深度学习的进步推动了基于学习的弱光图像处理方法的发展。研究人员探索了各种图像增强的方法，系统地调查这些方法并分析各种增强技术在不同视觉任务中的具体性能和适用性具有重要价值。图 1 总结了 2020 年以来基于学习的代表性方法的演变，突出了塑造该领域的关键创新。这些方法大致可分为监督学习、无监督学习、零样本学习和基于融合的学习。

图1. 基于深度学习的低光图像增强方法的里程碑

本研究的主要贡献如下：

• 全面综述了自 2020 年以来基于深度学习的最新低光图像增强技术，并将它们系统地划分为明确的类别。

• 深入阐述了代表性方法的基本原理、增强策略和性能改进，并辅以清晰的说明。

• 分析了不同增强方法的优势和局限性，并比较了它们在目标检测、分割和分类等下游视觉任务中的适用性。

• 汇编并总结了与低光增强和视觉任务相关的典型数据集和评估指标，并讨论了它们的应用场景。

• 讨论了当前低光图像处理的局限性，并提出了未来研究的潜在方向。

核心内容

这些图像增强方法的具体定义以及讨论详见文中。图2概述了具有代表性的图像增强方法，提供了各种信息。

图2. 低光图像处理挑战及解决方案概述

低光图像增强方法评估

（1）图像增强的性能

就视觉效果而言（即不考虑下游视觉任务的性能），这些增强方法可以有效提升低光图像的感知质量，尽管提升的程度各不相同。尽管如此，当前的方法在精确调整亮度和避免色彩失真方面仍有很大的改进空间。

图3. 通过各种方法增强前后图像的视觉比较

此外，为了便于比较，本文总结了几个常用的图像增强和下游视觉任务数据集，如表1所示。涵盖了光照条件、图像分辨率、样本大小、数据源、场景类型和适用任务类型等关键方面。

表1.低光图像数据集概述：C、S、D 分别代表分类、分割和检测。未标记数据集仅用于图像增强（E）任务

如表2所示，本文对不同增强方法的视觉性能进行了详细的讨论，展示了不同方法在具有真实参考图像的数据集（主要为 LOL 数据集）上的增强结果。

表2. 使用 PSNR、SSIM、LPIPS 和运行时指标进行定量比较。在 LOL-test 数据集 [132] 上，表现最佳的结果以红色突出显示，第二好的结果和第三好的结果分别以蓝色和绿色显示。对于 MIT-Adobe FiveK 数据集 [129]，最佳结果以粗体显示。向上箭头 (↑) 表示值越高，性能越好，向下箭头 (↓) 表示值越低，性能越好

为了评估弱光图像增强对下游计算机视觉任务的影响，我们回顾了定量比较增强前后模型性能的研究。表3总结了性能提升。总体而言，近期提出的弱光图像增强方法显著提升了各种视觉任务的性能。值得注意的是，在所有视觉任务中，基于零样本学习的增强方法都展现出了显著的提升。一个有趣的观察是，虽然基于零样本学习的增强方法在各种下游视觉任务中都表现出了出色的性能提升，但它们在表3中的PSNR、SSIM和LPIPS等图像质量指标上并未取得最佳表现。相反，在图像质量指标上具有优势的监督学习方法在下游检测和分类任务中表现不佳。这一发现凸显了常用图像质量指标的一个关键局限性：它们无法准确衡量增强图像对流视觉任务的增强效果。这可能是因为这些指标强调恢复整幅图像的视觉感知质量，而视觉任务则更多地依赖于关键区域的细节特征是否清晰可识别。

表3. 应用弱光图像增强后的性能提升。增强前后的性能以百分比表示）。C、S、D 分别代表分类、分割和检测

总结展望

本文对不同的弱光图像增强技术进行了全面的综述和系统的分类，并探讨了它们在分割、检测和分类等计算机视觉任务中的表现。我们的调查显示，图像增强质量与下游任务性能之间存在脱节。这表明，仅仅关注人类视觉感知的增强可能会无意中抑制或扭曲对机器视觉模型至关重要的特征，从而降低任务性能。

未来低光图像增强研究应优先开发任务自适应增强策略，以动态调整以适应下游视觉任务的特定需求，同时建立标准化的基准数据集，以便在不同方法之间进行公平透明的比较。此外，创建新的集成指标或模型，连接人类感知和机器视觉，将有助于更准确地评估增强方法在视觉质量和任务性能方面的性能。最后，探索混合方法，例如构建联合模型并将零样本学习与领域自适应相结合，可以进一步提高模型在具有挑战性的低光条件下的鲁棒性和有效性。