TPAMI 2026 | 西交大提出 BaryIR： Wasserstein 重心空间革新通用...

来源：市场资讯

（来源：AI算法与图像处理）

来源：PaperEveryday

在自动驾驶、智能监控等真实场景中，图像往往会遭遇噪声、模糊、雨雾、低光照等多种退化问题。传统的图像恢复方法要么只能处理单一退化类型，要么在面对未见过的退化时性能大幅下降。近期，一篇聚焦广义“全合一”图像复原的论文给出了全新解决方案——提出BaryIR框架，通过构建Wasserstein重心（WB）空间，让模型既能捕捉跨退化的通用内容，又能适配特定退化特征，在未见过的退化场景中依然保持卓越性能。

论文信息

题目： Learning Continuous Wasserstein Barycenter Space for Generalized All-in-One Image Restoration

面向广义“全合一”图像复原的连续Wasserstein重心空间学习

作者：Xiaole Tang, Xiaoyi He, Jiayi Xu, Xiang Gu, Jian Sun

核心痛点：现有一体化图像恢复的泛化难题

当前一体化图像恢复方法，要么依赖退化特定线索调节网络，难以捕获与退化无关的核心特征；要么仅靠参数共享学习通用特征，无法挖掘数据内在的不变几何结构。这导致模型极易过拟合训练域内的退化类型，面对真实场景中多样、未见过的退化时，恢复效果大打折扣。

而这篇论文的核心直觉很简单：多源退化特征分布，其实是从一个潜在的、与退化无关的分布中，通过退化特定偏移诱导而来。只要能恢复这个共享分布，就能实现跨退化的有效泛化。

创新设计：BaryIR框架的三大核心亮点

1. 构建Wasserstein重心空间，锚定退化无关的核心特征

论文提出的核心思路，是将多源退化图像的潜在空间，转换到Wasserstein重心（WB）空间。这个空间通过最小化与所有退化类型特征分布的平均Wasserstein距离，建模出一个纯粹的、与退化无关的分布。

简单来说，WB空间就像所有退化图像的“共性提取器”——不管图像是被噪声污染、被雨雾遮挡，还是出现模糊，WB空间都能过滤掉这些退化特定的干扰，只保留图像最核心的、通用的内容结构。

2. 正交残差子空间，保留退化特定知识

在WB空间之外，论文还显式构建了残差子空间。残差嵌入会通过对比学习优化，且被强制与WB嵌入正交。这就形成了两个解耦的正交空间：

• WB空间：编码跨退化的、通用的不变内容；

• 残差子空间：自适应保留每种退化的专属特征。

这种设计既避免了模型对训练退化的过拟合，又能让模型在恢复时，基于通用内容适配不同的退化类型，实现灵活的自适应恢复。

3. 对抗式最大-最小优化，精细捕捉数据几何结构

为了学习能映射到WB空间的连续重心映射，论文设计了对抗性的最大-最小优化算法。通过交替优化重心映射网络和势函数网络，模型能精细捕捉多源数据的几何结构，复原图像时更好地保留颜色、纹理等关键视觉模式。

同时，论文还从理论上证明了基于神经网络的重心映射误差界，为恢复的重心分布提供了近似保证，让整个框架既有创新设计，又有理论支撑。

方法总览：BaryIR的完整工作流程

从整体架构来看，BaryIR先通过对抗训练，将多源潜在空间映射到WB空间；再构建残差子空间，让残差嵌入与WB嵌入正交且通过对比学习优化；最后整合WB嵌入和残差嵌入，输入解码层完成图像恢复。整个过程通过多源Wasserstein重心损失、残差间对比损失、质心-残差正交损失联合优化，实现通用特征与特定特征的解耦学习。

嵌入可视化：直观验证特征解耦效果

论文用t-SNE可视化了WB嵌入和残差嵌入的分布特征：

• WB嵌入：不管是训练过的雨、雾、噪声退化，还是未见过的模糊、低光照退化，都呈现出高度聚集的、与退化无关的分布；

• 残差嵌入：会根据退化类型清晰分离，雨、雾、噪声、模糊、低光照的残差嵌入各成一簇，精准捕获了退化特定语义。

这直观证明了BaryIR能有效分离通用内容和退化特征，为泛化能力打下基础。

实验验证：全方位碾压现有SOTA，泛化能力拉满

论文在合成数据集、真实数据集，以及分布外（OOD）退化场景中，对BaryIR进行了全面验证，结果远超当前主流的一体化图像恢复方法。

1. 一体化恢复：多退化场景下性能领先

在去雾、去雨、去噪、去模糊、低光照增强等任务中，BaryIR表现出显著优势：

• 三种退化场景（去雾、去雨、去噪）：相比同骨干的PromptIR，平均PSNR提升0.81dB；超越DA-RCOT，平均PSNR提升0.26dB，其中去雨任务提升0.66dB；

• 五种退化场景：优于MoCE-IR，平均PSNR提升0.52dB，去雾任务更是领先0.66dB。

从视觉效果来看，BaryIR不仅能彻底去除退化（比如第一行远处场景的浓雾），还能还原图像的细粒度结构——纹理更清晰、颜色更自然，相比其他方法，恢复结果更接近真实场景。

2. 未见过的退化：泛化能力显著优于竞品

（1）未见过的退化类型

在JPEG伪影校正、水下图像增强这些完全未训练过的退化任务中，BaryIR在PSNR、SSIM、LPIPS等所有指标上都碾压DiffUIR、MoCE-IR等泛化导向的方法。

视觉上，BaryIR恢复的图像结构更忠实、纹理更细腻，比如水下图像的色彩还原更自然，JPEG伪影去除更彻底，没有出现边缘模糊、色彩失真等问题。

（2）未见过的退化程度

针对未训练过的大雨（Rain100H）、高程度噪声（σ=60/75），BaryIR依然保持领先：

• Rain100L测试集上，比MoCE-IR高出1.82dB；

• σ=75的噪声图像上，超越最佳竞品2.20dB。

（3）真实场景泛化

在真实世界的雾（O-HAZE）、雨（SPANet）、低光照（LOL-v2-real）数据集上，BaryIR的优势依然明显：

• O-HAZE数据集：PSNR提升2.09dB；

• SPANet数据集：PSNR提升1.68dB；

• LOL-v2-real数据集：PSNR提升0.81dB。

对比其他方法，BaryIR能彻底去除真实场景中的雨雾，同时保留建筑、植被的细节纹理，不会出现过度平滑或伪影问题。

3. 有限训练数据下，泛化鲁棒性依然突出

即使只使用2-3种退化类型训练，而非全部5种，BaryIR的性能下降幅度远小于PromptIR、DA-RCOT等方法，甚至优于DiffUIR、MoCE-IR等泛化导向模型。这说明BaryIR的WB空间能高效捕获内在的不变性，无需依赖大规模训练数据，就能适配未见过的退化。

4. 混合退化场景：真实世界的终极考验

真实场景中，图像往往同时遭遇多种退化（比如雨+雾、模糊+噪声）。在合成CDD-11数据集和真实混合退化图像上，BaryIR在NIQE、PIQE等无参考指标上全面领先。

视觉上，BaryIR能同时去除雨线、雾霭和模糊，还原图像的清晰结构，不会因混合退化出现恢复不彻底或细节失真的问题。

消融实验：验证核心组件的有效性

（1）嵌入组件的作用

仅用WB嵌入，就能显著提升OOD泛化性能；结合WB和残差嵌入后，性能达到最优。这证明WB是泛化的核心，残差则能补充退化特定信息，进一步优化恢复效果。

（2）特征贡献可视化

通过测试时消融WB或残差特征发现：

• WB特征：主要贡献图像的通用结构和内容，在不同退化中保持一致；

• 残差特征：聚焦退化严重的区域（比如雨线、模糊边缘），补充退化特定的细节。

（3）损失函数的影响

多源Wasserstein重心损失（L_MWB）是核心，仅靠这一项就能带来显著性能提升；残差间对比损失（L_IRC）和质心-残差正交损失（L_BRO）则起到协同作用，进一步强化特征解耦效果。

总结

这篇论文提出的BaryIR框架，从“捕捉退化无关的共享分布”这一核心思路出发，通过Wasserstein重心空间和正交残差子空间的解耦设计，加上对抗式优化算法的支撑，既解决了现有一体化图像恢复的过拟合问题，又实现了对未见过退化的强泛化能力。

无论是合成数据集、真实数据集，还是混合退化场景，BaryIR都展现出远超现有方法的性能，尤其在真实世界的泛化表现上，为一体化图像恢复走向实际应用打下了坚实基础。这一思路也为其他需要跨域泛化的计算机视觉任务，提供了新的参考方向。