CVPR 2024 | 如何通过“扩散模型”让视频清晰度稳定提升

近年来，扩散模型（diffusion models）的发展促进了图像，超分辨率算法的进步。通过算法将低分辨率图像，转换为高分辨率图像的技术有了显著的提升。这是基于已有的“二维图像扩散模型的技术方案”来进行转化的。即：利用低分辨率图像中的特征，作为图像去噪的控制信号，从而完成高分辨率图像生成。然而，这种基于扩散模型的算法只能根据输入的图像生成内容大致相似的高分辨率图像。但在动态视频的超分辨率处理上在挑战，直接应用于视频超分辨率时，无法进一步控制高分辨率视频帧的细节保真度，也无法控制生成视频帧之间的连续性，从而使生成的结果不够真实且连贯。

基于这样的问题，我们提出利用扩散模型中的空间适应模块，学习高分辨率视频帧和与之对应的低分辨率视频特征的空间适应性，促使生成的高分辨率视频细节丰富且与输入的低分辨率视频对应内容相符。除此之外，在空间适应模块之后，进一步利用时域对齐模块学习高分辨率视频帧之间的时序连贯性，保证生成的高分辨率视频不同帧之间图像细节内容的一致。最后通过调节生成视频的质量和保真度，生成一个与低分辨率对应的高分辨率的视频。

论文标题： Learning Spatial Adaptation and Temporal Coherence in Diffusion Models for Video Super-Resolution 论文链接： https://arxiv.org/pdf/2403.17000

一、研究背景：视频超分辨率任务及难点

当下视频超分辨率算法主要基于以卷积神经网络或者Transformer网络为基础结构的回归模型，而基于扩散生成模型的视频超分辨率鲜有涉及。如何利用扩散生成模型生成具有良好局部细节的高分辨率视频，是本工作研究的重点。相应的技术难点主要体现在以下两个方面：

1. 如何减少扩散过程中的随机性，以保持生成的视频内容与低分辨率视频一致；

2. 如何保证生成高分辨率视频的帧间细节一致。

二、通过在扩散模型中学习空间适应性和时序连贯性完成视频超分：SATeCo

针对上述的两个技术难点，本工作提出了一个以扩散模型为基础的视频超分辨率算法——SATeCo。基于海量高清数据预训练好的扩散生成模型（包括一个变分自编码器VAE和一个去噪网络UNet），该方案主要通过在原有VAE和UNet的框架中添加可训练微调的控制模块来实现从低分辨率视频到高分辨率视频转换。该方案通过主要的三个步骤来实现从低分辨率到高分辨率视频的转换。

第一步，通过时域互注意力机制（Temporal Mutual Self-Attention）和像素重排机制（Pixel Shuffle）设计了专用的视频上采样器Up-scaler，以获得更准确的上采样视频来输入后续的预训练模型的编码器中。

第二步，将编码得到的视频特征向量噪声化，再通过去噪网络进行恢复。在去噪网络中，引入的空间适应模块（Spatial Feature Adaption，SFA）通过像素级的特征调制将低分辨率视频的逐像素特征注入到去噪网络生成的高清视频特征中。随后，时域对齐模块（Temporal Feature Alignment，TFA）通过自注意力机制和交叉注意力机制来分别实现高清视频特征的帧间信息交互和高低清视频特征的对应位置的信息校正。

最后一步，经过循环去噪之后，视频特征向量经过解码器得到视频帧，这里的解码器也相似地引入了SFA和TFA模块。解码处理之后的视频最终经过残差网络（Residual Networks）构成的调节器与之前的上采样视频进行融合，从而在生成视频的质量和色彩保真度上实现更好的平衡效果。

本方案充分利用图像扩散模型的生成先验知识，同时在视频扩散模型中学习空间适应性和时序连贯性，因此可以良好地实现低分辨率视频到高分辨率视频的转换，保证视频内容保真度的同时，具有清晰细节和连贯性。

三、视频生成结果

用户可以通过输入一个低清视频，生成其对应的具有清晰细节且连贯的高清视频，以下是对应的低清视频和高清视频生成结果：

低清视频与对应生成的高清视频帧展示：

与其他方法生成结果的局部细节对比：

动态视频例子：

对该方案的完整性能评测，以及更多的视频生成例子，请参考论文。

四、总结

1. 本方案提出了SATeCo模型，一种以扩散生成模型为基础的视频超分辨率技术。

2. 提出的空间适应模块和时域对齐模块可以有效保证生成的高分辨率视频帧内的图像内容细节丰富，帧间的图像内容一致并具有连续性。

3. 本方案提及的视频超分辨方案，对扩散模型模型的利用、视频细节生成和保持视频细节一致性的尝试，希望对后续连贯的高清视频生成具有一定的启发作用。

来源：公众号【HiDream智象未来】

llustration From IconScout By Delesign Graphics

-The End-

扫码观看！

本周上新！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（

www.techbeat.net

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

melodybai@thejiangmen.com

或添加工作人员微信（yellowsubbj）投稿，沟通投稿详情；还可以关注“将门创投”公众号，后台回复“投稿”二字，获得投稿说明。

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈