网易首页 > 网易号 > 正文 申请入驻

博士后小姐姐把“二次元老婆生成器”升级了:这一次可以指定画风

二次元丹儿姐

0
分享至

  

梦晨 发自 凹非寺
量子位 报道 | 公众号 QbitAI

  用GAN(生成对抗网络)制作卡通人物形象的研究,相信大家已见过不少。

  但这一次新出炉的AniGAN,可以让你指定任意画风!

  只需一张真实人物照片,加上一张你喜欢的画师作品作为参考,就能在保留原照片发型、五官等形状特征的同时,迁移成相应的画风。

  拿来做头像是不是很棒?


  又双叒叕一款GAN?这次更强!

  AniGAN团队认为,之前的二次元人物生成算法有两大问题。

  要么不能很好模仿参考图的画风,要么会过于强调保留原始照片的形状,却并不适合二次元人物的风格,造成不符合审美的扭曲与瑕疵。

  通过对比可以看出,AniGAN生成的结果在模仿参考图颜色、材质,以及将原始特征转换成适合二次元方面都更出色。


  下图使用了更大的数据集,包含更多样的色彩、线条、材质、发型及五官特征。


  新的生成器架构

  为了在转换形状特征的同时进行风格迁移,AniGAN团队提出了新的生成器架构。

  不同于以往使用残差块(Residual Blocks)在生成器的瓶颈层注入风格信息的方法。

  AniGAN提出了自适应堆栈卷积块 (Adaptive Stack Convolutional Block)和细粒度风格转移块( Fine-grained Style Transfer Block),以下简称为ASC块FST块


  ASC块由卷积层、激活层和归一化层组成。

  在以往使用残差块时,可能会忽略一些风格信息,如在下面例子中将右眼都错误地生成为棕色。


  FST块由上采样层,卷积层和归一化层组成。

  风格数据会在上采样层之后而不是瓶颈层注入,负责把局部形状特征也处理成一种风格数据,并转换成对应的二次元形状。

  去掉FST块的情况下,生成图像的面部特征并不适应二次元风格。


  两种新的归一化函数

  以往的AdaLIN归一化函数会将实例归一化(IN)和层归一化(LN)按channel结合在一起,而忽略了channel间的相互关系。因此不能胜任迁移风格同时转换特征的任务。

  AniGAN团队提出了点状层实例归一化(point-wise layer instance normalization)和适应性点状层实例归一化( adaptive point-wise layer instance normalization ),以下简称PoLINAdaPoLIN



  PoLIN和AdaPoLIN会将所有channel的IN与LN结合在一起。


  从左至右为(a)参考图像,(b)原始照片,(c)-(f)为去掉PoLin或AdaPolin的各种组合的消融实验,(g)为正式效果

  双分支鉴别器(Double-branch Discriminator)

  二次元人脸与真实人脸既有很大不同,又都是关于人脸。在研究中称作领域X和领域Y。

  双分支鉴别器不仅可以通过卷积层的两个分支处理特定领域的数据分布,还可以处理跨领域共享的数据分布。


  双分支鉴别器使生成的二次元人脸减少瑕疵,更加赏心悦目


  另外,该鉴别器也可以在后续研究中轻松扩展成多分支鉴别器(Multi-Branch Discriminator)。

  图像质量远超前辈

  研究团队使用了Frechet Inception Distance指标来评估生成图像的质量,数值越代表生成图像越接近参考的二次元图像。


  并使用Learned Perceptual Image Patch Similarity来评估生成图像之间的风格差异性,数值越代表多个生成图像之间越多样。


  另外还选取了20位20-35岁的测试者进行A/B测试,询问他们不同算法生成的图像中哪张最符合真实照片的特征以及参考图像的风格,统计结果也是AniGAN得分最高。


  作者团队

  本论文第一作者李冰,2016年中国科学院博士毕业,现在阿卜杜拉国王科技大学可视计算中心做博士后研究员。


  团队其他成员分别来自字节跳动、中国台湾国立清华大学与深圳大学。

  [1]https://arxiv.org/abs/2102.12593

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐

钟汉良官方身高183,当和172关晓彤同框后,有无说谎一目了然

黑兔扒圈
2021-04-17 15:06:41

美联储改变了立场,美国恐进入举国体制!

张雪说娱乐
2021-04-16 13:30:15

30岁女子太丑无人追,参加整容节目大变样,网友:简直像换了个头

雨龙讲娱乐资讯
2021-04-17 13:20:18

它们的智商已经高到人类无法理解,即使还没有爬到食物链顶端!

星辰大海路上的种花家
2021-02-25 00:18:45

亲吻中国国旗,为中国仗义执言,最胆小总统怎么突然“有种”了?

恋爱学堂
2021-04-17 02:16:50

这一行业堪比“黄赌”,大量年轻人被“掏空”,9亿人深陷其中

商媒体
2021-04-15 20:57:14

张翰首晒领证照:错过就是错过了!

品牌营销官
2021-04-16 14:45:33

钱学森的晚年生活:沉迷于特异功能和气功,他为何一直研究玄学?

读文汇H
2021-03-29 17:33:54

女足亚洲排名公布:中国跌至第四,日本下降第三,前两名实力太强

大咖唠体育
2021-04-17 10:17:07

现在的房子都快疯了

钱包那些事儿
2021-04-17 07:24:20

女海王同睡五男新郎还舍不得退婚?知情人透露或因“太舒服了”

东莞诗人
2021-04-17 14:20:02

“高中不努力,大学读隔壁”,国内这3所“隔壁”985经常被调侃

生活百科万事通
2021-04-17 21:01:03

保罗是05年的首轮第4顺位,16年过去了,当年的前三顺位现状如何?

体育课副班长
2021-04-17 17:44:28

项思醒最新进展:已退婚,彩礼1800万!男方母亲气得住院

和讯网
2021-04-16 14:32:54

中学小卖部租赁拍出320万天价,网友估算:每天要挣5000元才保本,当地最新回应

每日经济新闻
2021-04-16 20:07:13

够狠!阿德退役,篮网宣布裁人,又是马刺的那一套

体育委员刘老师
2021-04-17 08:35:41

“全国罕见”“大做表面文章”,什么样的不作为让生态环保督察如此通报

中国青年报
2021-04-17 09:43:05

中美芯片大战,战火重燃?美国禁止14nm芯片出口中国

游资明天买啥票
2021-04-17 12:23:48

又火了!中国切断“世界最长河流”,西方各国直呼:这不可能

记录之路
2021-04-16 03:33:39

全球第二款隐形轰炸机现身,有效震慑美国,性能碾压B2轰炸机

科罗廖夫
2021-04-17 11:01:45
2021-04-18 01:25:08
量子位
量子位
追踪人工智能动态
4780文章数 97220关注度
往期回顾 全部

科技要闻

极狐阿尔法S华为H1版起价38.89万元

头条要闻

菲利普亲王葬礼举行:“我已经尽完了我的一份力”

头条要闻

菲利普亲王葬礼举行:“我已经尽完了我的一份力”

体育要闻

弗里克:我已告知拜仁,希望在赛季结束后离队

娱乐要闻

吴亦凡顶银灰发亮相豪车活动超贵气

财经要闻

汽车要闻

轴距同Model X 体验一汽-大众ID.6 CROZZ

态度原创

本地
手机
艺术
旅游
公开课

本地新闻

一段亲密关系中,如何让亲密感和新鲜感共存?

手机要闻

iPhone 13 Pro被传搭载LTPO屏幕:支持120Hz

艺术要闻

张然:破浪前行 相信艺术的能量

旅游要闻

李子柒“隐居”10年的神仙地方,公开了!

公开课

被世卫组织拉黑的它,你天天都在吃!隐患极大