网易首页 > 网易号 > 正文 申请入驻

一键秒变迪丽热巴! DeepFaceLive直播换脸真假难辨

0
分享至


新智元报道

来源:Github

编辑:好困 Pricilla

【新智元导读】AI换脸技术「船新」升级,DeepFaceLive推出实时换脸软件,一键安装,新手友好,换脸后丝毫看不出破绽。

欢迎光临「DeepFace整容所」!

无需开刀!无需微创!

双眼皮、开眼角、瘦脸统统都不在话下!

让你秒变帅哥美女!

给你看看现在已经非常成熟的「整容技术」:


一个软件就能直接将Angela Baby整成迪丽热巴!

只要迪丽热巴的泪痣和嘴?没问题!


还能让发福的沈腾换成马爸爸的脸:


而这次,「整容技术」有了全新的升级!

给直播间的网红「实时整容」!


换上范冰冰的脸,毫无维和感。

没错,这就是DeepFaceLive的实时换脸软件。


DeepFaceLive项目地址: https://github.com/iperov/DeepFaceLive

只要打开软件,就能够实时处理直播中的视频,给主播换脸。


此处祭出一个大杀器:刘亦菲模型!


放大看一下,五官完美替换。


不同性别换脸,DeepFaceLive也能够完全驾驭。


团队这次推出的软件除了能够给直播视频实时换脸,还能在视频通话的时候换脸。

当然了,人脸替换的模型要先经过DeepFaceLab算法训练。


论文地址: https://ar xiv.org/pdf/2005.05535.pdf

现在网络上95%以上的Deep Fake视频都是用DeepFaceLab制作的。

例如下面这些流行的YouTube频道:


DeepFaceLab项目地址: https://github.com/iperov/DeepFaceLab

这次DeepFaceLive的推出,肯定会有更多好玩的视频甚至是直播了。

软件运行起来也非常简单,只需要有64位的Win 10系统和NV的显卡就可以了。


That's it!就这么简单!

DeepFaceLive

点击就「换」!

(记得更新显卡驱动)

人脸检测

人脸检测器集成了YoloV5、S3FD以及CenterFace。

此外,也可以选择使用用CPU进行处理。


人脸对齐

可以修改简单的参数,调整人脸对齐的效果。


人脸标记器

人脸标记器提供了基于CPU加速的OpenCV LBF和基于GPU加速的Google FaceMesh。


人脸交换器

在人脸交换器中,需要载入用户提前用DeepFaceLab训练好的模型。


详细教程可以访问: https://github.com/iperov/DeepFaceLive/blob/master/doc/setup_tutorial_windows/index.md

DeepFaceLab

Lab不需要手工挑选特征就可以实现流畅和逼真的换脸效果。

只需要两个视频:源视频(src)和目标视频(dst)。

不仅如此,两个视频之间还不需要匹配相同的面部表情。

Part 1 提取人脸

Lab的第一个阶段是从src和dst数据中提取人脸。


人脸检测

在Lab中,S3FD被用作默认的人脸检测器。

人脸对齐

Lab提供了两种典型的面部坐标提取算法来解决这个问题:


  1. 基于热图的面部坐标算法2DFAN(适用于具有标准姿势的人脸)

  2. 具有三维面部先验信息的PRNet(适用于具有大欧拉角的人脸,例如其中的一侧不在视线之内)。


在检索出面部坐标后,Lab提供了一个可配置时间步长的可选函数,以平滑单次拍摄中连续帧的面部坐标,进一步确保稳定性。

然后,利用经典的点模式映射和转换方法来计算用于面部对齐的相似性转换矩阵。

由于在计算相似性转换矩阵时需要标准的面部坐标模板,因此Lab提供了一个规范的对齐的面部坐标模板。

此外,Lab可以利用获得的面部坐标自动预测欧拉角。

面部分割

在对齐之后,得到了一个带有标准正面或侧面视图的脸部数据文件夹。

我们在此基础上采用精细的人脸分割网络(TernausNet),准确地分割出有头发、手指或眼镜遮挡的人脸,同时也可以移除不规则的遮挡物。

由于一些SOTA人脸分割模型在某些特定的镜头中无法生成细粒度的掩码,因此Lab将XSeg引入。

XSeg允许用户使用多张照片来训练模型,从而分割特定的人脸。


在XSeg的帮助下,用户可以用它来消除手、眼镜和任何其他可能覆盖面部的物体的遮挡,并控制特定的区域进行交换。

Part 2 模型训练

由于作者希望不用对src和dst的面部表情进行严格的匹配,因此Lab提出了两种结构来解决这个问题。


DF结构


LIAE结构

DF结构包括一个编码器以及src和dst之间共享权重的Inter,两个分别属于src和dst的解码器。

src和dst的泛化是通过共享的Encoder和Inter实现的。

DF结构可以完成换脸的任务,但不能从dst继承足够的信息, 而 LIAE结构则可以用来解决光线 的一致性问题。

LIAE的结构要更复杂,有一个共享权重的编码器,一个解码器和两个独立的输入器。

此外,Lab默认使用混合损失(DSSIM+MSE)。 DSSIM可以更快 生 成人脸,而MSE可以提供更好的清晰度。

此外,作者采用了一种真实面孔模式TrueFace,它可以在转换阶段使生成的面孔与dst有更好的相似性。

从结果来看,最终生成的脸的质量有着明显的提升。

Part 3 人脸交换

以前的方法往往忽略了转换阶段的重要性。

而Lab可以让用户将src的脸换到dst,也可以逆向操作。


为了保持人脸肤色一致,Lab又提供了五种颜色转移算法(Reinhard颜色转移、迭代分布转移等)。

Lab的liae架构模型自带光影学习,在处理不同的肤色、脸型和光照条件的混合时,只要边缘羽化一下两张脸的结合处就不会显得突兀。

最后则是对人脸进行锐化。

由于SOTA模型所生成的脸部,或多或少都是平滑的,缺乏微小的细节(例如,痣,皱纹)。

因此,Lab集成了一个预先训练好的脸部超分辨率神经网络用作混合后脸部的锐化。

结果比较

作者采用来自FaceForensics++数据集的开源项目来测试换脸结果。


不同表情和脸型的换脸例子

为了公平起见,作者将训练时间限制在3小时内,并采用了一个具有DF结构的轻量级的模型:Quick96,其输出分辨率为96×96。

此外,作者使用Adam优化器(lr=0.00005,β1=0.5,β2=0.999)对模型进行优化。

这些模型的训练都是在NVIDIA GeForce GTX 1080Ti GPU和Intel Core i7-8700 CPU上训练的。


FaceForensics++人脸图像的定性换脸结果

与DeepFakes和Nirkin的模型相比,Lab可以保留更多的姿势和表情。


此外,转换阶段加入了超分辨率网络,Lab可以输出更有灵气的眼睛和线条明显的牙齿。

不过这种效果无法在SSIM的分数上体现出来。

实时换脸,是喜是忧?

研究人员不断追求效果自然,AI换脸技术也变得越来越「无懈可击」。

如今直播带货行业乘着技术发展的翅膀,让商家们能够获利更多。

软件的开发者「不愿透露姓名的滚石」表示,如果直播带货行业能够使用这个换脸软件,灵魂有趣但颜值不够的带货主播就能拥有高颜值,提高直播间吸引力。

大大降低了商家开直播间成本的同时,还能够提高直播间的吸引力。

这位开发者同时也表达了他的担忧:一但软件得到广泛应用,心怀不轨的人可能会利用实时换脸技术进行诈骗勒索。

以往的换脸技术最多只能对视频换脸,如果要诈骗,只要保持警惕,视频很快就会露馅儿。

但如果实时换脸技术被用于诈骗,在这个真真假假的虚拟世界中,可能大部分人都没有办法分辨屏幕那端是不是「本尊」。

如果诈骗的是我们的父母这样年纪大一点的人,对方能够和父母互动,原本辨别力就不高的他们可能很容易就会被骗转账。

在这个AI世界里,人与人之间还能保有最后一份真诚吗?

参考资料:

DeepFaceLive项目地址:https://github.com/iperov/DeepFaceLive

DeepFaceLab项目地址:https://github.com/iperov/DeepFaceLab

DeepFaceLab论文地址:https://arxiv.org/pdf/2005.05535.pdf

中文论坛地址:https://dfldata.xyz

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
女子蹦床第一美女晒照,浓眉大眼真女神,粉丝们纷纷盼“偶遇”

女子蹦床第一美女晒照,浓眉大眼真女神,粉丝们纷纷盼“偶遇”

篮郭先生
2021-09-16 22:06:52
妻子车祸成植物人,丈夫上班时无意错拨妻子电话,电话却接通了

妻子车祸成植物人,丈夫上班时无意错拨妻子电话,电话却接通了

五月读书汇
2021-09-16 14:01:49
拜登彻底拦不住?布林肯下跪后第6天,“美国务卿辞职”轰动白宫

拜登彻底拦不住?布林肯下跪后第6天,“美国务卿辞职”轰动白宫

前沿时刻
2021-09-16 20:24:29
老将、黑马频频失准,徐志胜亏在“心思重”,何广智赢在心态好

老将、黑马频频失准,徐志胜亏在“心思重”,何广智赢在心态好

汐游记
2021-09-16 22:30:57
朴恒绪:我若是卡塔尔 也拒绝中国队 叙利亚足协:必须重视中国队

朴恒绪:我若是卡塔尔 也拒绝中国队 叙利亚足协:必须重视中国队

刀锋体育
2021-09-16 19:26:42
乱改黄梅戏的网红竟是科班出身,学音乐剧上过央视晚会,被批不冤

乱改黄梅戏的网红竟是科班出身,学音乐剧上过央视晚会,被批不冤

萌神木木
2021-09-16 17:18:20
刚获美网冠军,18岁华裔少女就现身时装秀,发育真好,撞脸舒淇

刚获美网冠军,18岁华裔少女就现身时装秀,发育真好,撞脸舒淇

篮郭先生
2021-09-16 21:03:40
陈小纭穿斜肩毛衣在海边拍写真,画风清凉颜值超高,网友:好漂亮

陈小纭穿斜肩毛衣在海边拍写真,画风清凉颜值超高,网友:好漂亮

鑫心娱乐
2021-09-16 16:12:01
彰显气场的连衣裙展现不拘一格的甜美,秀出阳光的气质,率性自然

彰显气场的连衣裙展现不拘一格的甜美,秀出阳光的气质,率性自然

Monkey时尚
2021-09-16 21:01:21
几个大医生创办的连锁医院要上市了!

几个大医生创办的连锁医院要上市了!

看医界
2021-09-17 00:35:23
日本主播把养了100天的宠物猪烤着吃了,结果不到10天猪又复活了

日本主播把养了100天的宠物猪烤着吃了,结果不到10天猪又复活了

资讯沸点
2021-09-16 02:34:32
加拿大大选进入尾声,特鲁多支持率低于对手,总理之位恐要让出

加拿大大选进入尾声,特鲁多支持率低于对手,总理之位恐要让出

第一眼界
2021-09-16 16:30:22
当众多实体店倒闭的时候,我们城市也荒凉了

当众多实体店倒闭的时候,我们城市也荒凉了

财经资讯急先锋
2021-09-11 05:53:36
俄外长:普京接受中方邀请,将于2022年2月出席北京冬奥会

俄外长:普京接受中方邀请,将于2022年2月出席北京冬奥会

北青网-北京青年报
2021-09-16 20:49:18
iPhone13上市公布!国行价格暴降 港版价格更诱人

iPhone13上市公布!国行价格暴降 港版价格更诱人

游侠网
2021-09-15 14:14:32
中国恒大宣称资产出售具不确定性后,恒大汽车子公司法人变更

中国恒大宣称资产出售具不确定性后,恒大汽车子公司法人变更

银柿财经
2021-09-16 20:17:32
大爷出轨36岁女邻居,儿子:都66岁了,你还要脸吗?不止一次了!

大爷出轨36岁女邻居,儿子:都66岁了,你还要脸吗?不止一次了!

云说情感
2021-09-15 18:07:18
美官方回应米利与中国军方通话:符合其职责和责任

美官方回应米利与中国军方通话:符合其职责和责任

环球网资讯
2021-09-16 20:38:30
教育部:福建疫情系对学校“适时抽检”时发现 该政策将全国推广

教育部:福建疫情系对学校“适时抽检”时发现 该政策将全国推广

封面新闻
2021-09-16 19:33:17
恐怕还没等到房价下跌,房子就不是你的了!为什么房地产必须死?

恐怕还没等到房价下跌,房子就不是你的了!为什么房地产必须死?

异域美食侦探
2021-09-17 04:05:02
2021-09-17 07:12:49
新智元
新智元
AI产业主平台领航智能+时代
7190文章数 48911关注度
往期回顾 全部

娱乐要闻

63岁李宗盛罕现身头发花白 为“旧爱”张艾嘉录制视频

头条要闻

泸县地震亲历者:摇起来时整个人蒙掉 腿软了20多分钟

头条要闻

泸县地震亲历者:摇起来时整个人蒙掉 腿软了20多分钟

体育要闻

加西亚:蒂亚戈处理球高效且富有创造性,他是红军关键一员

财经要闻

科技要闻

告别“神舟”,迎接“天舟”!中国空间站最近有点忙

汽车要闻

全系配备四驱 新款马自达CX-5不止靠"脸"吃饭

态度原创

本地
艺术
教育
健康
军事航空

本地新闻

内娱拿的才是片酬,TVB挣的叫死工资

艺术要闻

网易艺术直播季强势来袭!展览门票、等你来拿!

教育要闻

新高考改革又添7省,一图看懂新高考选科要求新变化

“双节”如何出行?个人防控应注意五点

军事要闻

美军B2轰炸机迫降冲出跑道卫星图