网易首页 > 网易号 > 正文 申请入驻

AI:你总要高清视频,它来了

0
分享至

机器之心报道

机器之心编辑部

以后,就算是跑着拍视频,FMA-Net也能给你处理得非常满意。

Magnific 图像超分 & 增强工具还正在火热体验中,它强大的图像升频与再创能力收获一致好评。现在,视频领域也有了自己的 Magnific。

拍摄的街道视频一片模糊,仿佛高度近视没戴眼镜一样:



与之相比,下面的视频清晰度高了很多:



视频画面两边形成鲜明的对比:左边视频已经模糊的看不清人脸,而右边视频建筑物的纹理也看得清清楚楚:



行驶的汽车仿佛从一个模糊的世界穿越到高清世界:



不同的方法进行比较,明显看到右下角的视频在微小的细节恢复方面更加清晰:



通过上述展示,我们可以看出,视频超分辨率(VSR)就像是给模糊的老电影穿上了高清新衣。比如上面展示的一段道路监控录像,由于画质太低,细节看起来像是被涂抹过一样。这时候就需要 VSR 技术出场了,它能够把这些低分辨率的视频变得更加清晰。

不过,这个过程并不简单。常常因为摄像机晃动或拍摄物体的移动,视频就像是被风吹过的湖面,波纹模糊。这时,我们不仅需要提升视频的清晰度,还得「摆平」这些模糊的干扰。这就需要视频超分辨率和去模糊的联合修复(VSRDB),它要在保持视频清晰度的同时,还得处理模糊,确保最后呈现出来的视频既清晰又流畅。

为了实现上述效果,来自韩国科学技术院(KAIST)与中央大学的研究者们提出了 FMA-Net 框架。这个框架基于流引导的动态滤波(Flow-Guided Dynamic Filtering, FGDF)和迭代特征细化的多重注意力机制(Iterative Feature Refinement with Multi-Attention, FRMA),旨在实现从小到大的运动表示学习,并具有良好的联合恢复性能(见图 1)。FGDF 的关键之处在于执行滤波时要注意运动轨迹,而不是拘泥于固定位置,这样就能用较小的核有效处理较大的运动。



  • 论文地址:https://arxiv.org/abs/2401.03707
  • 项目主页:http://kaist-viclab.github.io/fmanet-site/
  • 论文标题:FMA-Net: Flow-Guided Dynamic Filtering and Iterative Feature Refinement with Multi-Attention for Joint Video Super-Resolution and Deblurring

方法介绍

该研究的目标是同时实现视频超分辨率和去模糊(VSRDB)。对于一个模糊的 LR(低分辨率, low-resolution )输入序列,式中 T = 2N + 1、c 分别表示输入帧数和中心帧索引。VSRDB 的目标是预测一个清晰的 HR( 高分辨率,high-resolution )中心框架。如下图展示了 VSRDB 框架 FMA-Net。





FMA-Net 包括两部分:退化学习网络 Net^D ;修复网络 Net^R 。退化学习网络用于估计感知运动的时空变化退化核;修复网络利用这些预测出的退化核来恢复模糊的低分辨率视频。



其中,退化学习网络 Net^D 用来预测运动感知的时空变化退化,而 Net^R 以全局自适应的方式利用 Net^D 预测的退化来恢复中心帧 X_c。

Net^D 和 Net^R 具有相似的结构,它们由 FRMA( feature refinement with multiattention )块和 FGDF( flow-guided dynamic filtering )块组成。

下图 4 (a) 显示了第 (i+1) 步更新时 FRMA 块的结构,图 4 (b) 为多注意力结构。



下图 2 展示了 FGDF 概念。FGDF 看起来类似于可变形卷积(DCN),但不同之处在于 FGDF 学习的是位置相关的 n×n 动态滤波器系数,而 DCN 学习的是位置不变的 n×n 滤波器系数。

此外,新提出的多注意力机制,包括以中心为导向的注意力和退化感知注意力,使得 FMA-Net 能够专注于目标帧,并以全局适应的方式使用退化核进行视频超分辨率和去模糊。



训练策略

该研究采用两阶段的训练策略来训练 FMA-Net。首先对 Net^D 进行预训练,损失 L_D 为:



然后,为了提高性能,本文还提出了 TA 损失,即等式右侧的最后一项。

总的训练损失为:



实验结果

表 1 显示了在测试集 REDS4 上的定量比较结果。从表 1 可以看出:

  • 级联 SR 和去模糊的序列方法会导致先前模型的错误传播,导致性能显著下降,并且使用两个模型还会增加内存和运行时成本;
  • 与序列级联方法相比,VSRDB 方法始终表现出优越的整体性能,表明这两个任务高度相关;
  • FMA-Net 在 PSNR、SSIM 和 tOF 方面显著优于所有 SOTA 方法,具体来说,FMA-Net 比 SOTA 算法 RVRT * 和 BasicVSR++* 分别提高了 1.03 dB 和 1.77 dB。



表 2 为定量比较结果。当对两个测试集进行平均时,FMA-Net 的性能分别比 RVRT * 和 GShiftNet * 提高了 2.08 dB 和 1.93 dB。



下图为不同方法对 ×4 VSRDB 的可视化比较结果,表明 FMA-Net 生成的图像比其他方法生成的图像在视觉上更清晰。



不同方法在 REDS4、GoPro 和 YouTube 测试集上的可视化结果。放大观看效果最好。



特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
果然,开始鼓吹像香港那样搞房地产了

果然,开始鼓吹像香港那样搞房地产了

华商韬略毕亚军
2024-05-26 17:51:57
山东两位副市长履新市委常委

山东两位副市长履新市委常委

凤凰网青岛
2024-05-27 10:18:12
U型锁,其实还不如阿Q

U型锁,其实还不如阿Q

邵旭峰域
2024-05-04 09:27:17
《歌手2024》海来阿木回应淘汰:你的极限也许是别人的起点,但无论起点在哪儿,都要有奔赴终点的勇气

《歌手2024》海来阿木回应淘汰:你的极限也许是别人的起点,但无论起点在哪儿,都要有奔赴终点的勇气

鲁中晨报
2024-05-25 14:18:04
刚刚,郑州市纪委监委通报!

刚刚,郑州市纪委监委通报!

鲁中晨报
2024-05-26 17:26:03
台娱业内曝具俊晔上节目酬劳,大S开价6多万都没人请,事业陷瓶颈

台娱业内曝具俊晔上节目酬劳,大S开价6多万都没人请,事业陷瓶颈

柠檬有娱乐
2024-04-30 14:22:37
赵丽颖发飙了?发文“警告”林更新:你又欠收拾了!

赵丽颖发飙了?发文“警告”林更新:你又欠收拾了!

默默有话说
2024-05-25 17:09:43
同学跟我借4W,不还,所以我一出差就带他老婆去,气死他

同学跟我借4W,不还,所以我一出差就带他老婆去,气死他

四象八卦
2024-05-23 07:55:02
解放军围岛后,首个与台划清界限的西方国家出现,联合国也表态了

解放军围岛后,首个与台划清界限的西方国家出现,联合国也表态了

说天说地说实事
2024-05-25 14:37:50
最新!俄军副总参谋长被捕

最新!俄军副总参谋长被捕

参考消息
2024-05-23 22:06:12
1959年庐山会议,张闻天替彭总说了一句话,伟人:你需要生场大病

1959年庐山会议,张闻天替彭总说了一句话,伟人:你需要生场大病

洞鉴五千年
2024-05-24 14:29:23
我老公的拍照技术还行吧?

我老公的拍照技术还行吧?

花小猫的美食日常
2024-05-26 16:18:45
大四喜!库里宣布第4个孩子出生,阿耶莎用中国祖父的姓氏为他命名

大四喜!库里宣布第4个孩子出生,阿耶莎用中国祖父的姓氏为他命名

818体育
2024-05-27 08:56:16
这谁顶得住嘛!伊万卡这身材,这才是尤物啊!

这谁顶得住嘛!伊万卡这身材,这才是尤物啊!

冷却爱情
2024-05-09 10:29:17
曝某地为了防止跳河轻生,特意在桥上加装防护栏,网友:又有理由花钱了

曝某地为了防止跳河轻生,特意在桥上加装防护栏,网友:又有理由花钱了

可达鸭面面观
2024-05-24 22:41:21
52岁汪峰又被曝大瓜!有个20多岁的儿子,还曾经在网戒中心待过!

52岁汪峰又被曝大瓜!有个20多岁的儿子,还曾经在网戒中心待过!

八卦爱侃娱
2024-05-17 11:11:40
33岁刘翔再刷屏!肌肉炸裂,还撩走性感女私教!这样的人生我服了....

33岁刘翔再刷屏!肌肉炸裂,还撩走性感女私教!这样的人生我服了....

健身S叔
2024-05-04 14:37:27
乌军摧毁俄军 96L6E全高度相控阵雷达:讽刺其为世上最好防空系统

乌军摧毁俄军 96L6E全高度相控阵雷达:讽刺其为世上最好防空系统

探索星空
2024-05-24 19:09:03
苏起:两岸一旦开战,台湾会变成加沙,台湾网民:打就打,谁怕谁

苏起:两岸一旦开战,台湾会变成加沙,台湾网民:打就打,谁怕谁

人物娱记
2024-04-13 08:00:06
武松为何一生都不婚娶?与潘金莲有着直接原因,看看她都做了什么

武松为何一生都不婚娶?与潘金莲有着直接原因,看看她都做了什么

文史达观
2024-05-27 00:04:12
2024-05-27 15:36:49
机器之心Pro
机器之心Pro
专业的人工智能媒体
9021文章数 141933关注度
往期回顾 全部

科技要闻

下月亮相,iPhone多个AI新功能曝光

头条要闻

汪小菲晒与Mandy结婚证官宣再婚:我的老婆来自台北

头条要闻

汪小菲晒与Mandy结婚证官宣再婚:我的老婆来自台北

体育要闻

下一个NBA门面?爱德华兹先往后稍稍吧

娱乐要闻

赵丽颖辟谣新恋情,林更新晒照显暧昧

财经要闻

光伏,正发生踩踏……

汽车要闻

硬又没那么硬?体验为满足更多人需求的深蓝G318

态度原创

艺术
游戏
亲子
健康
手机

艺术要闻

穿越时空的艺术:《马可·波罗》AI沉浸影片探索人类文明

《动物井》开发者表示没续作 正开发同世界观新作

亲子要闻

六一儿童节快要到了,给小朋友的礼物,千万别忘了

在中国,到底哪些人在吃“伟哥”?

手机要闻

市场遭手机抢占 日本数码相机普及率时隔18年跌破5成

无障碍浏览 进入关怀版