实现像素级无痕修复，这种AI算法能让物体在视频中消失 | 硬科技

秋千荡到半空，抓紧绳子的孩子不见了；刚刚被球杆击起的高尔夫球，在半空中消失；漫步在戈壁的驴友，下一步仿佛走进了时间黑洞....

这些是依托于一种叫做光流引导的方法实现的效果。在图片PS非常普遍的当下，视频的像素级修复一直面临着诸多难题，其主要问题在于，1)保证时序上的连续型 2）在高分辨率下实现修复 3）降低视频对于计算的开销。

近日，弗吉尼亚理工学院和Facebook的科学家研发出一款最新的AI算法，该算法可以让视频里任意物体完全消失。不仅如此，该算法在视频去水印、物体移除、画面扩展等方面均有出色地表现。记载该算法的论文近日被计算机视觉三大国际顶级会议之一的ECCV收录。

论文显示，这种技术背后的原理叫做光流法（Optical Flow），算法借助光流 (Optical flow) 来寻找不同帧之间的关系，并通过在不同帧之间传播信息来补全。

光流（Optical Flow）描述的是观察者眼里物体的运动情况，观察者可以是肉眼，也可以是摄像头。视频里每个像素点，在帧与帧之间发生的位移，都会被记录。光流法据此来估计物体发生了怎样的运动，从而把它从背景里抠掉。

此外，AI还需要对扣掉的空白部分进行修补，通过视频前后帧中已有的光流，将空白的光流平滑推测出来，并且在光流指导下对空白处进行色彩修复。

与之前的技术相比，该算法通过在梯度域进行操作来生成无痕结果。以往的基于光流的方法往往无法保持运动边界的清晰度，使得修复后的画面不够平滑。论文的方法首先提取并完成运动边缘，然后使用它们引导具有锐利边缘的分段平滑流完成。

另外，由于此前的方法是在相邻帧之间的局部光流连接中传播色彩，但并非所有视频中被水印、物体遮住的区域都可以通过这种方式恢复，就会造成伪影。

论文的方法通过引入非局部流连接来缓解这个问题，算法从光流当中提取出轮廓线，如果提取的边界不完整，就再把被遮挡部分平滑地修复出来，使得视频内容能够在运动边界上传播。

该文由四位研究人员合力完成，包括弗吉尼亚大学的Chen Gao和Jia-Bin Huang，以及Facebook的Ayush Saraf和Johannes Kopf。其中，Chen Gao是本篇论文的一作，该团队表示会在近期将这项技术开源。

光流法的精进是在底层视觉核心算法上的突破，依托该算法，从体感上视频修复已经可以做到无痕抹除水印、无恒补全画面残缺，在目标识别和影视后期中，具备巨大发挥空间。