网易首页 > 网易号 > 正文 申请入驻

2张图片就能“算出”一段视频,Reddit网友都惊呆了

0
分享至

  来源丨量子位(ID:QbitAI)

  作者丨鱼羊 萧萧

  只给AI两张图片,就能得到高帧率动态视频?

  输入的两张图像,重叠后是这样的:

  

  而算出来的视频,是酱婶的:

  

  不错,这又是视频插帧算法的功劳。

  极限操作玩得6,让老电影变丝滑的常规手法,这个名叫RIFE的AI算法同样信手拈来。

  右边这支经典探戈,看上去是不是比左边丝滑多了?

  

  不仅是老电影,飞行表演的精彩瞬间,也能一口气从每秒24帧提升到每秒96帧。

  

  动图效果有所损失,不妨再来看一眼原视频。

  

  这项新研究,来自旷视和北大。不仅能让老影像资料追上人民群众对高帧率的需求,支持2X/4X/8X高质量插值,它还有一个最大的特点:快。

  量子位在Colab上用T4跑了一遍Demo,一个时长53秒的720p 25fps视频,插值到100fps仅用了2分19秒。

  该项目现已开源,并且有官方Demo、第三方Windows应用可以试玩。

  看过了RIFE的表现,网友们不由惊叹,这是要超越那只经常在各种修复视频里出现的插帧AI DAIN,引领一波新潮流的节奏啊?

  一时之间,RIFE在Reddit上的热度飙升到了2.8k。

  

  那么,这样的效果究竟是怎么实现的呢?

  从双向估计,到一步预测中间帧

  视频插帧,通常是用光流预测算法来预测中间帧,并插入两帧之间。光流,就像光的流动一样,是一种通过颜色来表示图像中目标移动方向的方式。

  

  △稀疏光流与稠密光流

  传统光流预测算法,通常根据前后两帧视频来预测中间的某一帧长啥样。

  将预测完成的图像插进去后,视频看起来就会变得更丝滑。

  以DAIN的算法为例,如果要预测t时刻的帧,就需要t时刻的前后两帧视频,通过光流预测算法来实现。

  

  △DAIN的算法图

  但是这一类的算法会产生一个缺点:在预测过程中,如果用前后两帧图像产生双向光流,用线性组合来估计中间流,预测出来的结果,在运动边界区域就会出现伪影。

  

  这样的伪影,使得重建中间帧图像的效果不尽人意。

  那么,如果换一种思路,直接先预测中间流呢?

  相比于利用前一帧和后一帧进行两次估计,这里的IFNET (a Specialized and Efficient Intermediate Flow Network)算法,将直接采用线性运动假设,对中间帧进行一次估计。

  

  效果也显而易见,相比于利用前后两帧的双向估计所产生的光流,利用IFNET估计出的光流效果非常清晰,而且几乎没有伪影。

  

  利用这种方式重建图像,不仅光流边缘看得清楚,而且速度也更快。

  论文提到,RIFE是首个基于光流的实时视频插帧方案。

  由于中间帧预测,直接假设了前后两帧的变换是线性的,相当于每帧预测中直接少了一次估计。

  那么,这个模型,究竟将插帧算法提升到了怎么样的水平?

  运行速度远超其他方法。前文已经提到,RIFE最亮眼的一点是快。

  

  研究人员在UCF101、Vimeo90K、Middlebury OTHER set和HD benchmarks等基准上,将RIFE与英伟达的SoftSplat、上交大的DAIN等「前辈」进行了对比。

  用来测试运行时间的是一个640×480的视频,使用的GPU型号是NVIDIA TITAN X(Pascal)。

  

  从结果可以看出,在性能相当的情况下,RIFE基础模型的运行速度超过了所有对比方法。

  而模型的大版本RIFE-Large,在性能超越SOTA方法SoftSplat的情况下,运行速度快出了30%。

  另外,研究人员基于Vimeo90K测试集,提供了可视化的对比结果。

  

  可以看到绿框部分,SepConv-L1和DAIN产生了伪影,而CAIN铲子部分则出现了缺失,相对而言,RIFE生成的结果更为可靠。

  安装包和colab都有,试玩无忧

  效果这么美丽的模型,应该怎么使用?

  目前作者们已经给出了预训练模型的几种用法,从GitHub项目中可以直接下载网盘版的压缩包。

  

  无论是用作者提供的demo、还是用你自己想要进行插帧的样本,都可以上手试玩。

  当然,模型也有colab版本,可以直接在云服务器上玩模型。

  而且,已经有玩家做出了Windows版的软件,可以直接下载下来使用。界面看起来还挺简洁:

  

  模型RIFE的出现,已经让一些游戏爱好者狂热了起来:

  你们能想象吗,就算是已经吃灰很久的PS2,也可以达到4k游戏的水平效果了!利用这种算法,3步就能搞定!

  

  不过,也有网友表示了对这种算法的担忧。

  虽然这种算法速度快、性能高,但实际上存在一个问题:

  这种算法,本质上无法联想到丢失的帧间信息,所以无法用在安防视频上。

  

  对于这些方面的应用,未来还需要进一步考虑。

  作者介绍

  黄哲威,论文一作,目前是旷视的一名算法研究员,毕业于北京大学。进入北大信科一年后,他获得了ICPC区域赛金牌,还成为了旷视科技智能计算组(IC组)的实习生,之后参加了NIPS 2017的Learning to Run比赛,使用Actor-Critic Ensemble算法获得了第二名。此外,在ICCV 2019顶会上,他的论文同样被收录。

  张天远,毕业于北京大学,就读期间,论文曾经被ICML 2019、ICCV 2019、NIPS 2019等顶会收录。

  衡稳,于北京大学获计算机应用技术硕士学位。

  施柏鑫,来自北京大学,目前是北京大学信息科学技术学院的助理教授(博雅青年学者)、研究员、博士生导师。

  周舒畅,旷视研究院AI计算组组长,本科毕业于清华电子系,博士毕业于中科院计算所,曾获NeuIPS 2017 Learning to Run Challenge第二名,美国国家标准技术研究所NIST TRAIT 2016 OCR冠军。

  项目地址:
https://rife-vfi.github.io/

  论文地址:
https://arxiv.org/abs/2011.06294

  与DAIN效果对比:
https://www.youtube.com/watch?v=60DX2T3zyVo&feature=youtu.be

  参考链接:
https://www.reddit.com/r/linux/comments/jy4jjl/opensourced_realtime_video_frame_interpolation/
https://www.reddit.com/r/MachineLearning/comments/jyvog1/d_better_than_dain_increase_videos_fps_with_rife/
http://hzwer.com/
http://tianyuanzhang.com/
https://eecs.pku.edu.cn/info/1339/9244.htm
https://www.linkedin.com/in/heng-wen-020321a0/

  —

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐

全国紧急叫停!家里有这种药的,不要再用了!

安安科普
2021-01-18 09:17:52

国会骚乱中,女子偷佩洛西电脑卖给俄罗斯?FBI介入调查

环球网资讯
2021-01-18 19:54:42

印度姑娘在中国生活10年,一直想不通:为何中国人从不提印度?

阿巴阿巴
2021-01-17 11:55:10

哈登交易最大输家出现!白送20+5全明星,惨负33分显露危机

球哥侃球
2021-01-18 15:30:37

“最美潘金莲”龚玥菲:一婚嫁1米侏儒,二婚却嫁给了2米巨人

海峡都市报
2021-01-15 21:19:14

宁愿为4G苹果买单,也不要5G华为,罗永浩一句话点破其中缘由

科技你懂的
2021-01-18 14:39:19

LG,可能是脑回路最清奇的公司

爱范儿
2021-01-18 13:54:13

新民晚报:因外教侮辱中国足球人,当助教的吴金贵抓起凳子就要砸

直播吧
2021-01-18 11:29:21

长沙又一商场濒临倒闭,曾宣称每日70万的人流,今却不及阿波罗

郑州玩乐指南
2021-01-18 13:40:06

中美关系紧张之际,美国态度突然发生急转弯,这次与拜登有关

七分甜
2021-01-17 19:00:14

毛泽东秘书胡乔木之女:“鄙视那些利用父辈光环为自己谋私利的人!”

环球人物杂志
2021-01-18 12:30:07

5年1.95亿?别做梦了,就这表现,2000万顶天了!

篮球实录
2021-01-18 14:45:02

程序员丢掉 7500 枚比特币后续:想挖垃圾场被当地议会拒绝

IT之家
2021-01-18 15:12:58

詹姆斯已得34577分,超越贾巴尔还需要多久?说出来你别不信

体育委员刘老师
2021-01-18 13:44:06

中国式客厅,正慢慢毁了这一代人!

朱莉生活日记
2021-01-16 21:02:52

战争午夜全面打响!大批战机越境空袭伊朗,俄参谋部电话响个不停

阿巴阿巴
2021-01-15 09:40:46

榜1连夜跑路!斗鱼舞蹈区女主播获奖,线下颜值看懵观众

Aggro电竞
2021-01-17 20:11:11

靠“山寨”致富的产业,毛利400%,月赚千万?专业人士揭赚钱内幕

生活续航员
2021-01-18 09:28:59

售价相当亲民,搭载3.5T V6发动机,“舒服哥”的超跑梦终于实现了!

隔壁老王说车
2021-01-17 22:56:11

澳洲专家抵达武汉调查新冠,称起源不一定在中国

澳洲红领巾
2021-01-17 09:56:45
2021-01-19 01:57:02
果壳
果壳
科技有意思
16797文章数 3809639关注度
往期回顾 全部

科技要闻

首批国产Model Y交付 车主普遍考虑价格

头条要闻

男子赌博"出老千"被发现当街杀人 受审辩称激情杀人

头条要闻

打政府秘书长耳光被举报后 济源市委书记又遭实名举报

体育要闻

姚明场边观战CBA 进场时安检严格

娱乐要闻

刘芸62岁妈妈气质佳 母女同框似姐妹

财经要闻

汽车要闻

敢与日系拼油耗 比亚迪宋PLUS DM-i油耗测试

态度原创

教育
本地
家居
数码
公开课

教育要闻

如何让孩子们告别肥胖?

本地新闻

我们为什么需要亲密关系

家居要闻

小伙在内蒙-45℃冷极村生活 裹棉被围冰桌吃火锅

数码要闻

三星S21系列5G新品发布会

公开课

为什么我一定要卸载这些app:人生毒药