网易首页 > 网易号 > 正文 申请入驻

AI高仿笔迹只需1词,Deepfake文字版来了,网友:以假乱真太可怕

0
分享至

明敏 萧箫 发自 凹非寺
量子位 报道丨公众号 QbitAI

终于,我小学时的梦想有人实现了!

只需要我拍下自己的笔迹,AI就能帮我誊抄英语作业,画风“完全一致”的那种:



甚至帮别人抄作业也没问题……



简直吊打一批只能仿手写、价格还动辄几百上千的“作业神器”。


咳咳,划重点

虽然功能很强大,但这可不是给你们抄英语作业的。(作业就得认真做!)

这是Facebook AI最新出品的“文字风格刷”(TextStyleBrush),它只需要一张笔迹的照片,就能完美还原出一整套文本字迹来。

不仅能移花接木,凭空将“酱油瓶”变成“茶壶”:



还能直接实现风格替换,让蔬果店里的所有印刷字都变成手写体:



这样看来,现在就连照片文字,也不一定是真实的了。

比格式刷还强:文本也能换

在实际使用过程中,TextStyleBrush真的就是个格式刷,哪里需要刷哪里。

它真正厉害的就是模拟手写字体。

只需输入一段文本内容,加上你的笔迹,1个单词即可,它就能生成“手写版”。



这个效果,用肉眼看真的是分辨不出真伪!

把菜场中价签的印刷体都换成手写体的过程中,它还能识别出不是印刷体的样本,自动跳过转换合成。


△两个手写标签并没有被更改

模拟特定字体格式时,TextStyleBrush表现也很不错。

包括海报、垃圾桶、路牌、饮料瓶、店面装饰……各种文字的风格都能handle:


除了直观的效果,开发人员对合成图片也做了数据上的分析。

TextStyleBrush生成的图片在合成误差(MSE)上大幅降低,峰值信噪比(PSNR)和结构相似性(SSIM)也提高不少。


在文字识别的准确性上,TextStyleBrush在三组数据集中的表现都不错:

准确率都高达95%以上。


拿GAN改一改,真假文字难辨认

据Facebook介绍,“文字风格刷”TextStyleBrush是一个基于自监督方法训练的模型,可以对相同文本内容的文字进行风格转换,就像格式刷一样。


当然,不只是Word的格式刷,它甚至能直接对照片中的文字进行替换,因此模型还需要学习文字识别图像分割的方法。


△逆光场景也不在话下

为了同时实现图像分割和文字风格转换,TextStyleBrush模型基于StyleGAN2进行了设计,后者能生成非常逼真的图像照片。

然而,StyleGAN2存在两个问题:

  • 首先,它生成图像的方式是“随便乱打”的,也就是没办法控制输出图像特征。但TextStyleBrush必须要生成指定文本的图像。
  • 其次,StyleGAN2的整体风格不受控制,但TextStyleBrush中的风格涉及大量信息组合,包括颜色、尺度和风格转换等特征,甚至是带有个人特色的笔迹细节差异。

为此,TextStyleBrush首先通过将文本信息和风格作为两个“附加条件”控制模型输出,来解决模型随机生成图像的问题。


然后,为了进一步更精细地控制文本的风格特征,还会提取神经网络层中的各种风格信息,并将这些信息注入文本生成器中,便于从各种尺度(颜色、整体风格、细节)上控制文字的风格。


除此之外,由于不同的图片分辨率不同,生成器还必须生成和替换区域分辨率相似的文字。

为此,这一模型加入了能够控制高低分辨率的结构,使得生成的文字图像能匹配输入图像的分辨率。

就像这样,替换前后也不会出现字体清晰度差异大的问题:


但不同于照片,文字的风格其实要更加自由,所以有时候画风的真实性不好说。

为此,在训练的时候,Facebook引入了一种创新的自监督训练方法,结合风格分类、文本识别(OCR)和GAN三种模型来保留输入的风格/文字内容,再决定要替换哪个。


例如,在文本识别上,让TextStyleBrush生成文本图像后,模型会用一个预训练文本识别结构来“判断”图像的文字内容,并给它打分。

事实证明,这样训练出来的模型,确实很好用。

网友:以假乱真?我真有点担心……

合成人脸已经玩太多了,合成笔迹还是头一回。

而且它的效果真的还不错!

所以,TextStyleBrush一经发布,就引来了很多人的围观。

已经有网友开始想象它的用途了:

欢迎来到花式签名的世界!


LeCun也转发了一波。


不过,能看不能玩实在是太难受了,有手痒的网友就跑来提问:

TextStyleBrush会对大众开放使用吗?


这自然也就引出来一个会引起争议的点:

合成后的笔迹足以以假乱真,如果被滥用或恶意使用怎么办?

假设任何一个人的笔迹都能被非常轻松地合成,那许多需要签字的场合该怎么办呢?

例如,有网友表示,要是连医生们的“草书”处方都能模仿……


而除了安全隐私问题上的担忧,这对字体设计师来说也不是个好消息。


毕竟各款字体其实都是有版权的,如果可以被轻松模拟出来,那岂不是盗版满天飞,甚至连作者本尊都分辨不出来真伪。

有网友就表示:这离真假难辨的反乌托邦世界更近了一点……


对此,Facebook的CTO做出了回应:

因为可能会被用来伪造笔迹,所以我们只发布论文和数据集,源代码并不会开源
分享研究和数据集,也更多是为了预防文本版Deepfakes。


你觉得呢?

TextStyleBrush数据集:
https://github.com/facebookresearch/IMGUR5K-Handwriting-Dataset

论文地址:
https://scontent-fml2-1.xx.fbcdn.net/v/t39.8562-6/10000000_944085403038430_3779849959048683283_n.pdf

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
郎平喜从天降!横扫意大利突收意外惊喜,中国女排因祸得福再冲冠

郎平喜从天降!横扫意大利突收意外惊喜,中国女排因祸得福再冲冠

洛楚
2021-08-02 15:42:37
降脂新药来了:一年打2针,就能降脂50%!国内已经上市

降脂新药来了:一年打2针,就能降脂50%!国内已经上市

39健康网
2021-08-01 16:07:58
女排3-0阿根廷 龚翔宇14次防守全部防起 防守成功率100%

女排3-0阿根廷 龚翔宇14次防守全部防起 防守成功率100%

罗克
2021-08-02 18:17:52
英国选手休斯为抢跑致歉:向被我影响的人们致歉 我的小腿抽筋了

英国选手休斯为抢跑致歉:向被我影响的人们致歉 我的小腿抽筋了

体坛新鲜资讯速递
2021-08-01 23:44:50
为何NBA球星退役之后,都会迅速衰老?原因怕你接受不了

为何NBA球星退役之后,都会迅速衰老?原因怕你接受不了

教练,我想打篮球
2021-08-01 20:21:09
上半年全球电动车销量排行榜出炉 特斯拉一马当先!

上半年全球电动车销量排行榜出炉 特斯拉一马当先!

智车派
2021-08-02 11:36:48
真的有点不敢想象……

真的有点不敢想象……

刘空青
2021-08-02 17:55:59
美军绝没想到,穿航台海第2天,尴尬一幕曝光,果然不该挑衅中国

美军绝没想到,穿航台海第2天,尴尬一幕曝光,果然不该挑衅中国

前沿时刻
2021-08-02 15:42:12
拜登演讲到一半时,突然到处找妈妈,美媒:全场目瞪口呆

拜登演讲到一半时,突然到处找妈妈,美媒:全场目瞪口呆

海峡军志
2021-08-02 16:46:37
错换人生,田静的弟弟田新豪结婚!许敏的哥哥将和穷游小峰直播!

错换人生,田静的弟弟田新豪结婚!许敏的哥哥将和穷游小峰直播!

美食小纸条
2021-08-02 18:02:59
少见!土台风在广东陆地生成,还要环粤游!警惕:或成正规台风

少见!土台风在广东陆地生成,还要环粤游!警惕:或成正规台风

中国气象爱好者
2021-08-02 17:22:30
美反华议员发报告宣称新冠源自武汉实验室,网友:误导性政治宣传

美反华议员发报告宣称新冠源自武汉实验室,网友:误导性政治宣传

环球网资讯
2021-08-02 17:56:27
山东舰航母现身南海,轰6K挂弹起飞,英航母被吓得屁滚尿流滚蛋了

山东舰航母现身南海,轰6K挂弹起飞,英航母被吓得屁滚尿流滚蛋了

天天军情
2021-08-02 20:04:07
吴亦凡被捕现场曝光!都美竹得知此事后,喜极而泣

吴亦凡被捕现场曝光!都美竹得知此事后,喜极而泣

金牌娱乐
2021-08-01 09:24:36
直降4万成“爆款”!6个月卖出47868台,只要敢“贱卖”就不愁没人买

直降4万成“爆款”!6个月卖出47868台,只要敢“贱卖”就不愁没人买

隔壁说车老王
2021-08-02 14:27:16
放弃中籍入美籍!担任中国女子体操主教练,奥运会成绩不进反退

放弃中籍入美籍!担任中国女子体操主教练,奥运会成绩不进反退

24H体育秀
2021-08-01 18:37:51
东京奥运会8月3日中国夺金点:皮划艇冲金,跳水双保险争冠

东京奥运会8月3日中国夺金点:皮划艇冲金,跳水双保险争冠

此刻新闻
2021-08-02 14:49:16
62岁麦当娜晒性感照!穿网纱衣身材丰腴,皮肤几层褶子老态尽显

62岁麦当娜晒性感照!穿网纱衣身材丰腴,皮肤几层褶子老态尽显

会火
2021-08-01 02:10:44
注意!昆明这15栋烂尾建筑将爆破拆除,期间这些区域实施交通管制

注意!昆明这15栋烂尾建筑将爆破拆除,期间这些区域实施交通管制

民族时报
2021-08-02 21:21:13
贵阳女子砸单买“鸿星尔克”,收到快递后傻眼了:“太伤我心了”

贵阳女子砸单买“鸿星尔克”,收到快递后傻眼了:“太伤我心了”

北青网-北京青年报
2021-07-30 10:48:11
2021-08-02 22:48:49
量子位
量子位
追踪人工智能动态
5250文章数 119490关注度
往期回顾 全部

科技要闻

抢锂!传统汽车制造商"组团"冲击特斯拉

头条要闻

男子干扰交警正常执法还称:我加拿大人 你拿枪打我啊

头条要闻

男子干扰交警正常执法还称:我加拿大人 你拿枪打我啊

体育要闻

雯雯的表演赛!又猛又萌 00后的碾压

娱乐要闻

“京圈女王”徐静蕾的瓜

财经要闻

汽车要闻

途铠的轿跑版? 大众欧洲发布Taigo全新SUV

态度原创

艺术
亲子
时尚
游戏
旅游

艺术要闻

金陵五大家—行遍万里路 江山入画来

亲子要闻

每年投入几十万,这些顺义妈妈宁愿让孩子骑马学种菜也不鸡娃

昨天LV舍弃吴亦凡 今天LVMH"吞食"了他的好兄弟

Steam喜加一:《战地1》载具捆绑包

旅游要闻

这座被私藏的海滨小城,千万别火!