NeurIPS 2023 Spotlight | 用于真实图像去模糊的层次结合扩散模型HI-Diff

本文介绍了一种新型图像去模糊模型——分层集成扩散模型（HI-Diff）。HI-Diff主要在高度压缩的潜在空间中运行扩散模型，以生成去模糊过程的先验特征。并且高度压缩的潜在空间确保了DM的效率。此外，HI-Diff采用分层集成模块，将先验与基于回归的模型在多个尺度上融合，增强了模型在处理复杂模糊场景时的泛化能力。通过在合成和真实世界模糊数据集上的全面实验，我们证明了HI-Diff超越了当前最先进的方法。

论文题目： Hierarchical Integration Diffusion Model for Realistic Image Deblurring 论文链接： https://arxiv.org/abs/2305.12966 代码链接： https://github.com/zhengchen1999/HI-Diff

一、研究问题

图像去模糊是计算机视觉领域的一个长期研究任务，旨在从模糊图像中恢复出清晰的图像。造成图像模糊的因素有多种，例如相机抖动、快速移动的物体等。这些因素导致的模糊在真实场景中往往是复杂且非均匀的。因此，开发有效的图像去模糊算法对于提高图像质量和增强视觉体验具有重要意义。

图片1. 不同模糊图片

二、研究背景

传统方法：基于优化问题，使用自然图像先验，如局部平滑、稀疏图像先验等。常见的方法包括局部平滑先验、稀疏图像先验、L0范数梯度先验。然而，这些方法依赖于手工设计的先验，导致在复杂情况下泛化能力差。

基于深度CNN的方法：随着深度学习的快速发展，使用基于CNN的方法在图像去模糊方面取得了显著进展。例如，利用多尺度CNN、粗到细的网络等进行去模糊。优点是效率高，能处理多种模糊情况，但可能在细节恢复方面有限。

基于Transformer的方法：采用自注意力机制，如“转置”注意力和条带令牌，以捕捉长距离依赖和动态模糊。这些方法相比基于CNN的方法进一步改善了去模糊性能，但在恢复图像细节方面仍有限制。

扩散模型（DMs）：扩散模型是概率生成模型，能够通过随机迭代去噪过程从高斯噪声中构建所需数据样本。能够生成丰富的细节，但是整体复杂度然较高，尤其是对高分辨率图像。此外，这些方法容易受到细节分布不对齐和不希望的伪影的影响。

三、方法动机

当前的图像去模糊方法主要分为两大类：

• 
  

  基于回归的方法：在恢复图像时倾向保守，容易恢复细节较少的图像——低真实感（realism）

  
  

• 
  

  基于生成模型的方法：在细节生成方面有效，但有时会产生原始图像中不存在的不希望的伪影——低真实度（fidelity）

  
  

图片2. 不同模糊类别的去模糊方法

为了解决当前方法在图像去模糊中的局限性，我们提出了一种新型模型——分层集成扩散模型（HI-Diff）。本文方法通过以下方式实现：

• 
  

  利用扩散模型生成先验信息，以增强模型在处理真实场景中非均匀模糊的能力。

  
  

• 
  

  在高度压缩的潜在空间中执行扩散模型，以确保处理效率。

  
  

• 
  

  将生成的先验应用于基于回归的模型，并在多个尺度上指导该模型，同时实现高真实感和高真实度。

  
  

四、方法介绍

在本节中，我们首先介绍本文模型的整体架构。接着介绍模型的训练和测试流程。

4.1 模型架构

图片3. 模型架构示意图

HI-Diff的架构融合了Transformer和扩散模型，主要包括以下几个个部分：

• 
  

  潜在编码器（LE）：将图像压缩成高度紧凑的潜在表示（ ， ），为扩散模型提供基础。

  
  

• 
  

  扩散模型：在潜在空间中执行，以生成先验信息。这种设计降低了计算负担，同时为Transformer提供指导。

  
  

• 
  

  Transformer：采用层次化的编码器-解码器架构。并通过先验信息（z）和层次集成模块（HIM）进行指导。

  
  

• 
  

  层次集成模块（HIM）：HIM旨在有效整合Transformer的中间特征和先验特征。如图3(a)所示，HIM放置在每个编码器和解码器的前面。在每个HIM中，通过计算先验和中间特征之间的交叉注意力来进行特征融合，并通过对先验特征的下采样来生成多尺度的先验特征：

  
  

4.2 训练与推理

图片4. 训练与推理过程

本方法采用两阶段训练，训练过程如图4所示：

第一阶段：将真实图像压缩为Transformer的先验特征，此阶段训练Transformer和LE进行特征压缩。

第二阶段：训练潜在扩散模型生成无需真实图像的先验特征，同时联合训练Transformer和扩散模型以提升性能。

推理过程：首先通过LE将输入的模糊图像压缩成条件潜在表示。其次通过条件化的扩散模型生成先验特征。最后利用Transformer在先验特征的指导下重构去模糊图像。

五、实验结果

消融实验：我们对提出方法的各个进行消融实验，证明方法的有效性。同时我们还在图5中对扩散过程进行了可视化。 我们发现随着逆过程的进行，模糊图像逐渐变得清晰。

表格1. 消融实验

图片5. 扩散过程可视化

定量对比：我们在合成（GoPro、HIDE）、真实（RealBlur-R、RealBlur-J）数据集上，与最新方法进行对比，我们的方法取得更好的结果。

表格2. 定量对比

定性对比：我们还提供了视觉对比结果，可以发现，我们提出的方法可以重建更准确的纹理和更清晰的细节。同时在论文中提供了更多的视觉对比。

图片6. 定性对比

模型大小：我们进一步展示了模型大小（Params）和计算复杂性（FLOPs）的比较。结果表明我们的方法在性能和计算消耗之间实现了更好的权衡。

表格3. 模型大小

六、结论

本文设计了分层集成扩散模型（HI-Diff），用于实现更加真实的图像去模糊。HI-Diff通过执行扩散模型来为基于回归的方法生成先验特征，从而在去模糊过程中提高效果。基于回归的方法保留了图像的总体分布，而扩散模型生成的先验特征则增强了去模糊图像的细节。同时，扩散模型在高度压缩的潜在空间中执行，确保了计算效率。此外，我们提出了层次集成模块（HIM），以层次化地融合先验特征和Transformer的图像特征，增强了模型在复杂模糊场景下的泛化能力。

Illustration From IconScout By Delesign Graphics

-The End-

扫码观看！

本周上新！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线500+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

chenhongyuan@thejiangmen.com

或添加工作人员微信（chemn493）投稿，沟通投稿详情；还可以关注“将门创投”公众号，后台回复“投稿”二字，获得投稿说明。

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈