CVPR 2025 | 告别单提示局限！DPIR 用全局 - 局部视觉引导，让 DiT 图像修复更精准

文章来源：计算机书童。

你有没有过这样的经历：手机里存了张超有意义的老照片，可惜模糊不清；或者拍了张绝美风景，却因为手抖变成了"抽象画"？别急，计算机视觉领域又出黑科技了！

最近CVPR 2025上的一篇重磅论文《Dual Prompting Image Restoration with Diffusion Transformers》（基于扩散变换器的双提示图像恢复），提出了一个叫DPIR的模型，简直是图像修复界的"神来之笔"。今天就带大家好好扒一扒这个能让模糊图片起死回生的神奇技术！

论文信息 题目：Dual Prompting Image Restoration with Diffusion Transformers 基于扩散变换器的双提示图像恢复 作者：Dehong Kong, Fan Li, Zhixin Wang, Jiaqi Xu, Renjing Pei, Wenbo Li, WenQi Ren 为啥我们需要新的图像修复方法？

现在主流的图像修复方法大多依赖U-Net架构的扩散模型，但这些模型在处理复杂退化（比如老照片的噪点、压缩失真）时总有点力不从心。要么修复出来的图片像"照骗"，细节全没了；要么就是保留了模糊感，跟没修一样。

而扩散变换器（DiTs）就不一样了！这货凭借超强的长距离依赖捕捉能力和可扩展性，在图像生成领域已经崭露头角。就像SD3（Stable Diffusion 3）这样的模型，生成的图像质量那叫一个惊艳。但问题是：怎么把模糊图片的信息有效融入到DiTs里，让它既能看懂模糊图，又能生成高清图呢？

DPIR就是为解决这个问题而生的！

DPIR到底牛在哪里？

先上张全家福，看看DPIR的整体架构（图2），是不是一眼就觉得很复杂？别怕，我们拆开来慢慢看～

DPIR整体架构

简单说，DPIR有两个"秘密武器"：

1. 低质量图像条件分支

2. 双提示控制分支

这两个分支就像两位顶级修复大师，一个负责提取模糊图片的基础特征，一个负责提供全局和局部的细节线索，联手把模糊图"脑补"成高清图。

第一个大招：轻量级条件分支

传统方法为了把模糊图信息融入模型，往往要复制一大块主干网络，又笨又重。DPIR另辟蹊径，设计了个超轻量的模块（图3），就像给模型装了个"高清眼镜"。

低质量图像条件分支结构

这个模块就做两件事：

• 用几个卷积层快速提取模糊图的关键特征

• 通过自适应对齐技术，让这些特征和模型主分支的特征完美匹配

就像拼图时先找到边缘轮廓，既高效又精准，还不会给模型增加太多负担～

第二个大招：双提示控制分支

你可能会想：用文字描述图片内容，让模型照着修不行吗？但现实是，"蓝天白云下的红色屋顶"这种描述，根本没法精准表达屋顶瓦片的纹理细节。

DPIR的双提示分支（图4）就聪明多了，它同时用两种"语言"给模型下达指令：

双提示模块结构

• 
  

  视觉提示 ：从模糊图里提取局部细节（比如一片叶子的纹理）和全局信息（比如整个森林的布局）

• 文本提示 ：用文字描述图片的整体内容（比如"阳光明媚的森林"）

这两种提示结合在一起，就像给模型同时提供了高清图纸和施工说明，修复起来自然又准又好！

小技巧：全局-局部训练法

修复高分辨率图片时，光看局部细节很容易"盲人摸象"。比如只看眼睛局部，可能不知道这是人脸还是动物脸。

DPIR的解决办法超机智：训练时不仅看局部块，还看周围的全局区域（图4）。这样模型既能看清细节，又能把握整体，修复4K高清图也不在话下～

效果到底有多惊艳？

说再多理论不如直接看效果！我们来看看DPIR和其他方法的PK：

在合成数据集测试中（表1），DPIR在几乎所有指标上都霸榜了，特别是无参考指标（不用原图对比也能看出好），甩第二名一大截！

合成数据集定量比较

更绝的是视觉效果（图5）：同样一张模糊的动物图片，其他方法要么修得太光滑像塑料，要么细节错乱；而DPIR不仅把毛发纹理修得根根分明，连眼神都透着灵气！

合成数据定性比较

在真实世界图片测试中（图6），面对老照片的复杂退化，DPIR依然能精准还原细节，连建筑物的窗户格都清晰可见，对比其他方法简直是降维打击！

真实世界数据定性比较 ablation实验告诉你：这些设计缺一不可

作者还做了一组对比实验，证明每个创新点都不是多余的：

• 双提示vs单一提示 （表5）：只用视觉提示会丢全局信息，只用文本提示会缺细节；双提示结合才能达到最佳效果。

• 全局-局部训练vs仅局部训练 （图9）：只看局部容易修错（比如把猫耳朵修成狗耳朵），加上全局信息后，细节还原准确率飙升！

DPIR就像一位技艺精湛的修复师，凭借两个"法宝"在图像修复领域大杀四方：

1. 轻量级条件分支：高效捕捉模糊图的基础特征

2. 双提示控制分支：结合视觉细节和文本语义，让修复更精准

不管是老照片修复、低清图放大，还是去噪去模糊，DPIR都展现出了碾压级的实力。相信用不了多久，我们手机里的"废片"都能靠这种技术重获新生啦！