网易首页 > 网易号 > 正文 申请入驻

博士后小姐姐把“二次元老婆生成器”升级了:这一次可以指定画风

0
分享至

  

梦晨 发自 凹非寺
量子位 报道 | 公众号 QbitAI

  用GAN(生成对抗网络)制作卡通人物形象的研究,相信大家已见过不少。

  但这一次新出炉的AniGAN,可以让你指定任意画风!

  只需一张真实人物照片,加上一张你喜欢的画师作品作为参考,就能在保留原照片发型、五官等形状特征的同时,迁移成相应的画风。

  拿来做头像是不是很棒?


  又双叒叕一款GAN?这次更强!

  AniGAN团队认为,之前的二次元人物生成算法有两大问题。

  要么不能很好模仿参考图的画风,要么会过于强调保留原始照片的形状,却并不适合二次元人物的风格,造成不符合审美的扭曲与瑕疵。

  通过对比可以看出,AniGAN生成的结果在模仿参考图颜色、材质,以及将原始特征转换成适合二次元方面都更出色。


  下图使用了更大的数据集,包含更多样的色彩、线条、材质、发型及五官特征。


  新的生成器架构

  为了在转换形状特征的同时进行风格迁移,AniGAN团队提出了新的生成器架构。

  不同于以往使用残差块(Residual Blocks)在生成器的瓶颈层注入风格信息的方法。

  AniGAN提出了自适应堆栈卷积块 (Adaptive Stack Convolutional Block)和细粒度风格转移块( Fine-grained Style Transfer Block),以下简称为ASC块FST块


  ASC块由卷积层、激活层和归一化层组成。

  在以往使用残差块时,可能会忽略一些风格信息,如在下面例子中将右眼都错误地生成为棕色。


  FST块由上采样层,卷积层和归一化层组成。

  风格数据会在上采样层之后而不是瓶颈层注入,负责把局部形状特征也处理成一种风格数据,并转换成对应的二次元形状。

  去掉FST块的情况下,生成图像的面部特征并不适应二次元风格。


  两种新的归一化函数

  以往的AdaLIN归一化函数会将实例归一化(IN)和层归一化(LN)按channel结合在一起,而忽略了channel间的相互关系。因此不能胜任迁移风格同时转换特征的任务。

  AniGAN团队提出了点状层实例归一化(point-wise layer instance normalization)和适应性点状层实例归一化( adaptive point-wise layer instance normalization ),以下简称PoLINAdaPoLIN



  PoLIN和AdaPoLIN会将所有channel的IN与LN结合在一起。


  从左至右为(a)参考图像,(b)原始照片,(c)-(f)为去掉PoLin或AdaPolin的各种组合的消融实验,(g)为正式效果

  双分支鉴别器(Double-branch Discriminator)

  二次元人脸与真实人脸既有很大不同,又都是关于人脸。在研究中称作领域X和领域Y。

  双分支鉴别器不仅可以通过卷积层的两个分支处理特定领域的数据分布,还可以处理跨领域共享的数据分布。


  双分支鉴别器使生成的二次元人脸减少瑕疵,更加赏心悦目


  另外,该鉴别器也可以在后续研究中轻松扩展成多分支鉴别器(Multi-Branch Discriminator)。

  图像质量远超前辈

  研究团队使用了Frechet Inception Distance指标来评估生成图像的质量,数值越代表生成图像越接近参考的二次元图像。


  并使用Learned Perceptual Image Patch Similarity来评估生成图像之间的风格差异性,数值越代表多个生成图像之间越多样。


  另外还选取了20位20-35岁的测试者进行A/B测试,询问他们不同算法生成的图像中哪张最符合真实照片的特征以及参考图像的风格,统计结果也是AniGAN得分最高。


  作者团队

  本论文第一作者李冰,2016年中国科学院博士毕业,现在阿卜杜拉国王科技大学可视计算中心做博士后研究员。


  团队其他成员分别来自字节跳动、中国台湾国立清华大学与深圳大学。

  [1]https://arxiv.org/abs/2102.12593

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐

人民日报:被爆伪善的古天乐与作秀的韩红是人性最大的恶

大凡小事
2021-04-10 14:57:14

“老虎”落马后,省委书记连夜赴省公安厅部署肃清流毒

政知新媒体
2021-04-11 21:02:31

三亚餐厅“海胆蒸蛋无海胆”消费纠纷:游客、餐厅、官方各有说法

上游新闻
2021-04-11 17:55:12

揭秘:难以启齿的职业——“性义工”

专属生活管家
2021-04-11 19:15:33

19岁一夜成名,却躲进西藏,在海拔4000米的地方画画,被称为最美汉族唐卡女画师!

VIKAN薇
2021-04-11 20:12:01

“华谊交际花”霍思燕的上位史,以及她如何一步步“洗白自己”的

扒圈主持人
2021-04-10 20:32:21

情侣开房遭偷拍40分钟,4万多人围观:毁掉一个女人,几秒钟就够了

北国小甜瓜
2021-04-11 12:34:06

郑州男子交往20多名女友,照片曝光引热议:长这样也能骗财骗色?

周冲的影像声色
2021-04-11 16:31:48

噩耗传来!全部遇难

衡水热线
2021-04-11 20:34:16

惨烈,没有气囊宏光MINIEV直接被撞烂,母女身亡,孩子才1岁

财富管理专员
2021-04-12 00:44:07

12年前,曝光陈冠希照片的电脑维修员,最终下场如何?

娱人为乐
2021-04-10 04:35:25

温州星巴克爆情侣大尺度视频,网友:春天真的到了?公共PDA简直太恶心?

八圈传播者
2021-04-11 22:32:44

为什么NBA的啦啦队禁止穿内裤?

微悉尼
2021-04-10 18:37:40

督导组进驻10天,副省长兼公安厅长落马!知情人:举报信不断,还有同事写打油诗

环球人物杂志
2021-04-11 20:55:19

美国的2021年战略竞争法案,如果要是通过,拜登是改不了的

王小东
2021-04-11 19:54:06

52岁“小昭”近照被曝光,颜值不减当年,上了年纪气质依然迷人

明星八卦club
2021-04-11 22:55:44

第一次同居有什么感觉,小姐姐直言:半夜三点都还没睡,太累了!

杂事妙谈
2021-04-12 00:08:02

央视认栽,紧急停播姚策纪录片,主持人扭曲真相,白岩松反道实情

圈外圈
2021-04-11 21:16:05

悲剧!上海一对老夫妇,手拉手乘地铁!只因一个动作,一周内竟双双离世

新民晚报
2021-04-10 15:12:21

儿子有点厌学,爸爸带到工地搬砖!最近爆火的这段视频主人公,我们找到了

钱江晚报
2021-04-11 17:13:09
2021-04-12 04:17:08
量子位
量子位
追踪人工智能动态
4751文章数 95986关注度
往期回顾 全部

科技要闻

小米决定造车始末:特朗普推了雷军一把?

头条要闻

“元气森林”欺骗消费者 饮料中其实并非无糖

头条要闻

“元气森林”欺骗消费者 饮料中其实并非无糖

体育要闻

提气!曼联连轰3球逆转热刺 卡瓦尼鱼跃

娱乐要闻

刘诗诗穿薄荷绿裙秀香肩 温柔清新

财经要闻

汽车要闻

工况续航达419km 奔腾NAT推5款网约车

态度原创

艺术
家居
数码
教育
时尚

艺术要闻

中国美术学院“望道讲谈”

家居要闻

陕西大爷在泰国养老 两套别墅占地1000平仅花200万

数码要闻

华为专业办公显示器最新爆料:采用高刷屏

教育要闻

上交硕士张迪,29岁生命戛然而止,最后一个决定叫人哽咽

专访王菊:人要性感,穿要大胆