快速了解AI视频生成的技术原理

快速了解AI视频生成的技术原理

目前，Al技术不仅可以生成图片，也能够生成序列帧，组成一个完整的视频。2022年10月，AI重置版《幻觉东京》发布。《幻觉东京》原本是一部记录日本亚文化人物的纪录片，作者将经过剪辑的短片交给AI美术大师，经过160小时生成3万张独立插画，再进行人工手动微调，连成了一部赛博朋克大幻想。虽然目前还只是在原脚本和视频的基础上，通过AI逐帧完成图片生成，但这让我们看到了AIGC参与到视频创作中的可能性。

当然，除了这种连接AI生成图片组成视频的生成方式，也有直接利用文字描述生成视频的方法。2022年9月，Meta推出的Make-A-Ⅵdeo工具就具有根据文本描述生成相应短视频的能力。Make-A-Ⅵdeo推出不久，谷歌就推出了主打高清生成的ImagenⅥdeo和主打更长视频内容生成的Phenaki。ImagenⅥdeo是由谷歌在2022年5月推出的AI绘图工具Imagen进化而来，它继承了Imagen对于文字的准确理解能力，能够生成1280 X 768分辨率、每秒24帧的高清视频片段。除了分辨率高以外，它还能理解并生成不同艺术风格的作品，比如水彩画风格、像素画风格、梵高风格。同时，它还能理解物体的3D结构，在旋转展示中不会变形。而谷歌推出的另一款AI视频生成工具Phenaki则可以根据200个词左右的提示语生成2分钟以上的长镜头，讲述一个完整的故事，并能根据提示语自由切换风格场景，让人人都能够成为导演。

除了刚提到的这些新兴的视频AIGC技术，AIGC在视频生成方面的常见传统应用场景还包括视频属性编辑、视频自动剪辑及视频部分编辑。

视频属性编辑包括删除特定主体、生成特效、跟踪剪辑等，能够高效节省人力和时间。AI能够通过对画面人物的动态追踪，自动搜索人物，定位关键时间节点，极大提升剪辑效率。此外，Al还能够去除视频的拍摄抖动，修复视频画质。

视频自动剪辑是对特定片段进行检测及合成。2020年全国两会期间，《人民日报》创造性地推出“SG+AI”模式的新闻报道，打造的智慧平台iMedia、iMonitor、iNews等可以第一时间对素材进行智能处理，只需要短短几分钟，就能结合语音、人像、文字识别，从海量的视频资料中迅速生成剪辑视频片段，并自动匹配字幕。

此外，从广义上讲，AI主播也可以看作一种AIGC生成视频的应用，只不过是将生成的音频内容去对应到虚拟人的口型与动作进行综合剪辑。2020年5月，由新华社与搜狗公司联合推出的身穿蓝白正装的“新小微”第一次亮相演播室。“新小微”是全球首位3D版AI合成主播，能够像真人一样走动和转身，并摆出各种复杂动作与姿态。同时，她还在不断迭代，比如从“职业微笑”到增加了许多微表情，从单一妆发到根据播报场景变更妆发等。

事实上，“新小微”并非新华社推出的第一个AI主播，在她之前已经诞生了由“新小萌”“新小浩”等组成的AI合成主播家族。其中，中国首个AI合成女主播“新小萌”在2019年上岗时就惊艳了全球媒体圈，被外媒评价为“几乎可以以假乱真”。

除了新华社，中央广播电视总台、人民日报社等国家级媒体以及湖南卫视等省市媒体也在积极布局应用AI合成主播，先后推出了央视AI主播“AI王冠”、湖南卫视AI主持人“小漾”、安徽卫视AI主持人“安小豚”、央视网AI小编“小C”等。与“新小微”一样，这些AI主播在全国两会、冬季奥运会、冬季残奥会等重大活动期间被广泛应用，极大地提升了新闻产出与传播效率。

除此之外，像AI视频换脸这种视频部分编辑的形式从广义上来说也属于AIGC的范畴。2019年，一款名为ZAO的AI换脸软件刷屏各大社交网络，人们乐于把自己的脸替换进经典影视剧如《甄嬛传》《权力的游戏》，并进行分享。虽然ZAO后来因为侵犯个人隐私被下架，但类似的AI视频换脸软件却层出不穷，这在某种程度上也反映了人们的内容创作热情以及对于自由表达的欲望，但合法合规问题则是AI视频换脸长久发展需要重点解决的问题。