TPAMI 2025 自协作 + 重增强，这款 GAN 框架让图像复原告别配对数据依赖

来源：市场资讯

（来源：小白学视觉）

在计算机视觉领域，图像复原是一项经典且极具实用价值的任务——从模糊、有噪、被雨雪覆盖的退化图像中恢复出清晰的高质量图像，是安防监控、手机摄影、遥感影像等场景的核心需求。传统有监督图像复原方法依赖大量成对的退化/干净图像数据，可现实中采集这类数据耗时又费力；而基于GAN的无监督方法虽摆脱了成对数据依赖，却始终面临性能提升难、推理成本高的问题。

近期，一篇题为《Re-Boosting Self-Collaboration Parallel Prompt GAN for Unsupervised Image Restoration》的论文给出了全新解决方案。该研究提出的RSCP2GAN模型，通过创新的自协作策略和再增强模块，在不增加推理计算复杂度的前提下，让无监督图像复原性能实现了跨越式提升，在去噪、去雨、去雪等任务上全面超越现有SOTA方法。

论文信息

题目： Re-Boosting Self-Collaboration Parallel Prompt GAN for Unsupervised Image Restoration

基于再增强自协作并行提示生成对抗网络的无监督图像复原

作者：Xin Lin, Yuyan Zhou, Jingtong Yue, Chao Ren, Kelvin C.K. Chan, Lu Qi, Ming-Hsuan Yang

核心痛点：无监督GAN复原的两大难题

现有无监督GAN图像复原框架的瓶颈十分突出：一是真实退化图像与模型生成的伪退化图像之间存在领域差距，导致复原器性能受限；二是想要提升性能，要么大幅修改模型结构，要么增加推理阶段的计算量，难以兼顾效果与效率。比如传统自集成策略虽能小幅提升性能，却要在推理时对输入图像做多次增强、多分支复原再平均，直接让推理复杂度飙升数倍，根本不适合实际应用。

整体框架：RSCP2GAN的核心设计

RSCP2GAN的核心是将并行提示GAN（P2GAN）基线框架，与自协作（SC）策略、再增强自协作（Reb-SC）模块深度融合，整体架构实现了“生成高质量伪退化图像→训练高性能复原器→迭代增强生成器与复原器”的正反馈闭环。

第一步：搭建P2GAN基线框架（总体结构图）

P2GAN是整个模型的基础，它解决了伪退化图像生成质量低的核心问题。框架包含两条并行的对抗分支，每条分支都融合了“自合成”和“非配对合成”两种互补约束：

• 分支1生成自合成退化图像和非配对合成退化图像；

• 分支2生成非配对合成退化图像和自合成退化图像。

这两种约束的结合，让生成器能更全面地学习真实世界的退化分布——“非配对合成”从不同内容的退化图像中提取退化特征，“自合成”则基于相同内容图像强化退化特征学习，二者互补让生成的伪退化图像更贴近真实场景，为后续复原器训练打下坚实基础。

此外，P2GAN还引入了提示引导的退化图像生成器（图2）和背景引导模块（BGM）：提示学习模块（PL）会先屏蔽退化图像的内容信息，只提取退化提示，再引导生成器专注学习退化特征；BGM通过高斯滤波器约束图像低频内容一致性，避免训练过程中模型退化，进一步提升生成器的表示能力。

图2

第二步：自协作（SC）策略——无额外推理成本的性能跃升

SC策略是提升性能的核心抓手，它的核心逻辑是“迭代协作、正反馈增强”：

初始阶段，用简单的线性卷积层作为PL模块中的复原器，训练P2GAN至收敛；

迭代阶段，将当前训练好的、性能更强的复原器，替换掉PL模块中原本较弱的固定复原器；

更新后的PL模块能提取更精准的退化提示，生成更高质量的伪退化图像对，反过来又训练出性能更强的复原器。

这个过程就像“师徒结对”——原本的“学徒”（弱复原器）在生成图像的过程中得到锻炼，成长为“师傅”（强复原器）后，又反过来指导“新学徒”的训练，形成自增强闭环。实验证明，仅SC策略就能让复原器性能提升超过1.5 dB，且全程不增加任何推理阶段的计算量。

第三步：再增强自协作（Reb-SC）模块——锦上添花的性能优化

为了进一步挖掘SC策略的潜力，研究人员将自集成（SE）策略的思想融入SC的训练阶段，提出Reb-SC模块：

• 在SC迭代的末尾，对输入图像做数据增强（如翻转、旋转），生成多个增强版本；

• 将这些增强图像输入PL模块中的固定复原器，得到多个输出后取平均；

• 平均后的结果能提升PL模块提取退化提示的精度，进而让复原器性能再提升约0.3 dB。

与传统SE策略不同，Reb-SC仅作用于训练阶段，推理时仍保持单次复原的复杂度，完美解决了“性能提升”与“推理效率”的矛盾。

实验验证：多任务全面超越SOTA

研究人员在去噪、去雨、去雪三大经典图像复原任务上，对RSCP2GAN进行了全面验证，数据集涵盖SIDD、DND、Rain100L、RealRainL、CSD等主流基准。

1. 图像去噪：细节与精度双优

在真实世界去噪数据集SIDD、DND、PolyU上，RSCP2GAN大幅超越现有无监督方法：

• 相比单图像自监督方法BNN-LAN，在SIDD基准集上PSNR提升0.44 dB，SSIM提升0.024；

• 相比PUCA、Complementary-BSN等最新方法，在SIDD验证集上PSNR分别提升0.34 dB、0.32 dB；

• 定性结果（图8、图9）显示，RSCP2GAN能有效去除噪声，同时保留图像细节，避免了其他方法常见的过度平滑、色差问题。

2. 图像去雨：纹理与结构完美恢复

在Rain100L、RealRainL、Rain12数据集上，RSCP2GAN的优势同样显著：

• 相比DerainCycleGAN、DCDGAN等无监督方法，在Rain100L测试集上PSNR分别提升2.52 dB、2.19 dB；

• 即使对比整合了ConvIR、NeRD等先进复原器的DCDGAN变体，RSCP2GAN仍能保持领先，证明核心策略的有效性远优于单纯升级复原器；

• 视觉效果（图10）上，RSCP2GAN能清晰恢复动物毛发、植被纹理等精细结构，避免了其他方法的伪影、边缘断裂问题。

图10

3. 图像去雪：复杂场景下的鲁棒性

在CSD、Snow100K去雪数据集上，即便使用传统的NAFNet作为复原器，RSCP2GAN仍碾压采用ConvIR、MW-Former等先进复原器的对比方法：

• 在CSD测试集上，相比DerainCycleGAN PSNR提升2.71 dB，SSIM提升0.050；

• 定性结果（图11）显示，RSCP2GAN能彻底去除雪花残留，同时保留复杂纹理，而其他方法易出现模糊、残留雪迹问题。

图11

4. 消融实验与可迁移性

消融实验验证了各模块的有效性：

• P2GAN的并行分支设计带来0.53 dB的PSNR提升；

• SC策略迭代中首次提升超0.5 dB，Reb-SC额外贡献0.3 dB；

• Reb-SC中增强图像数量N=4时效果最优，性能提升约0.3 dB。

更重要的是，SC和Reb-SC策略具有极强的可迁移性（图13）——将其应用于DnCNN、UNet、DeamNet等不同复原器，均能实现显著的性能提升，证明这两种策略是无监督图像复原的通用优化手段。

图13

总结与展望

这篇论文的核心贡献在于，跳出了“靠修改模型结构、增加推理成本提升性能”的传统思路，通过“自协作+再增强”的训练策略，让无监督GAN复原框架实现了“性能飙升+推理高效”的双赢。RSCP2GAN不仅在去噪、去雨、去雪任务上达到SOTA，其核心策略还能迁移到各类复原器上，为低层计算机视觉任务提供了通用的优化思路。

未来，研究团队计划将该方法拓展到混合退化场景，进一步验证策略的泛化能力。相信这一研究成果，会为无监督图像复原的实际落地提供重要的技术支撑。

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。

下载2：Python视觉实战项目52讲

在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。

下载3：人工智能0基础学习攻略手册

交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~