网易首页 > 网易号 > 正文 申请入驻

20%的杨幂+80%的泰勒长什么样?全新风格化AI来了,可兼容SD

0
分享至

丰色 发自 凹非寺量子位 | 公众号 QbitAI

不得不说,现在拍写真真是“简单到放肆”了。

真人不用出镜,不用费心凹姿势、搞发型,只需一张本人图像,等待几秒钟,就能获得7种完全不同风格:



仔细看,造型/pose全都给你整得明明白白,并且原图直出修也不用修了。

这搁以前,不得在写真馆耗上至少整整一天,把咱和摄影师、化妆师都累个半死不活。



以上,便是一个叫做InstantIDAI的厉害之处。

除了现实写真,它还能整点“非人类的”:

比如猫头猫身,但仔细看又有你的脸部特征。



各种虚拟风格就更不用说了:



像style 2,真人直接变石像。

当然,输入石像也能直接变:



对了,还能进行俩人脸融合的高能操作,看看20%的杨幂+80%的泰勒长什么样:



一张图无限高质量变身,可是叫它玩明白了。

所以,这是怎么做到的?

基于扩散模型,可与SD无缝集成

作者介绍,目前的图像风格化技术已经可以做到只需一次前向推理即可完成任务(即基于ID embedding)。

但这种技术也有问题:要么需要对众多模型参数进行广泛微调,要么与社区开发的预训练模型缺乏兼容性,要么无法保持高保真度的面部特征。

为了解决这些挑战,他们开发了InstantID。

InstantID基于扩散模型打造,其即插即用(plug-and-play)模块仅靠单张面部图像即可熟练地处理各种风格化变身,同时确实高保真度。

最值得一提的是,它可与时下流行的文本到图像预训练扩散模型无缝集成(例如SD1.5、SDXL),作为插件使用。

具体来看,InstantID由三个关键组成部分:

(1)捕获鲁棒语义人脸信息的ID embedding;

(2)具有解耦交叉注意力的轻量级适配模块,方便图像作为视觉提示;

(3)IdentityNet网络,它通过额外的空间控制对参考图像的详细特征进行编码,最终完成图像生成。



而相比业内此前的工作,InstantID有几点不同:

一是不用训练UNet,因此可以保留原始文本到图像模型的生成能力,并兼容社区中现有的预训练模型和ControlNet。

二是不需要test-time调整,因此对于特定风格,不需要收集多张图像进行微调,只需要对单个图像进行一次推断即可。

三是除了实现更好的面部保真度,也保留了文本可编辑性。如下图所示,只需几个字,即可让形象变性别、换套装、改发型以及发色。



再次强调,以上所有效果只需1张参考图像在几秒内即可完成。

如下图实验证明,多来几张参考图的作用基本不大,1张就能做得很好



下面是一些具体对比。

比较对象是现有的免调优SOTA方法:IP-Adapter(IPA)、IP-Adapter-FaceID以及前两天腾讯刚刚出品的PhotoMaker。

可以看到,大家都挺“卷”的,效果都不赖——但仔细对比的话,PhotoMaker和IP-Adapter-FaceID保真度都不错,但文本控制能力明显差一点。



相比之下,InstantID的面孔和样式能更好地融合,在实现了更好保真度的同时,还保留了良好的文本可编辑性。

除此之外,还有与InsightFace Swapper模型的比较,你觉得哪个效果更好呢?



作者介绍

本文一共5位作者,来自神秘的InstantX团队(网上没有搜到太多信息)。

不过一作是来自小红书的Qixun Wang。

通讯作者王浩帆也是小红书的工程师,从事可控和条件和内容生成(AIGC)方面的研究,是CMU’20届校友。



参考链接:
https://instantid.github.io/

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
JK罗琳再发声!称不会原谅哈利波特主演:拒绝接受任何人道歉

JK罗琳再发声!称不会原谅哈利波特主演:拒绝接受任何人道歉

清欢渡语
2024-04-15 21:39:28
“一所技校可以乱到什么程度?”哇哈哈哈哈...不把老师当老师!

“一所技校可以乱到什么程度?”哇哈哈哈哈...不把老师当老师!

兰妮搞笑分享
2024-04-16 07:45:18
你无意间看到过什么不该看的东西?网友奇趣回复第三期

你无意间看到过什么不该看的东西?网友奇趣回复第三期

小陆搞笑日常
2024-02-24 07:45:16
离婚19年,俩人在广州某高档小区相遇,男子是房主,女子是保洁员

离婚19年,俩人在广州某高档小区相遇,男子是房主,女子是保洁员

小月文史
2024-04-12 15:25:51
特斯拉CEO马斯克批评:被解雇的员工的遣散费“低得离谱”!

特斯拉CEO马斯克批评:被解雇的员工的遣散费“低得离谱”!

AI商业论
2024-04-18 13:36:22
卢宁:扑点时必须冒险站着不动一次,我们选了B席罚球那次

卢宁:扑点时必须冒险站着不动一次,我们选了B席罚球那次

懂球帝
2024-04-18 06:46:31
本赛季已出战85场!希尔德:很高兴生涯首次进季后赛 我准备好了

本赛季已出战85场!希尔德:很高兴生涯首次进季后赛 我准备好了

直播吧
2024-04-18 10:28:28
艾顿和成人女星的爱恨纠葛:这身材,简直核弹中的核弹!

艾顿和成人女星的爱恨纠葛:这身材,简直核弹中的核弹!

娱乐圈酸柠檬
2024-04-18 07:43:22
华为P70:全新升级Pura70!4月18日,P系列上市12周年!

华为P70:全新升级Pura70!4月18日,P系列上市12周年!

王老师日常
2024-04-17 17:58:25
总部迁回赤峰,高管们离职了

总部迁回赤峰,高管们离职了

人才搜寻
2024-04-17 07:59:18
安徽三部门联合约谈淮河能源控股集团主要负责人

安徽三部门联合约谈淮河能源控股集团主要负责人

界面新闻
2024-04-18 10:24:35
热巴生子风波升级!疑国外产子,被私家侦探拍到,后援会大粉跑路

热巴生子风波升级!疑国外产子,被私家侦探拍到,后援会大粉跑路

娱乐圈酸柠檬
2024-04-18 11:04:31
全新姿态!华为手机正式改名!这下友商该尴尬了

全新姿态!华为手机正式改名!这下友商该尴尬了

小欣聊科技
2024-04-16 15:41:40
国乒世界第三遭大爆冷!王艺迪惨败15岁日本华裔新星 无缘八强

国乒世界第三遭大爆冷!王艺迪惨败15岁日本华裔新星 无缘八强

厝边人侃体育
2024-04-18 12:01:46
澳门赛第三日,三大世界冠军出局,王艺迪表现最差,李隼提前预判

澳门赛第三日,三大世界冠军出局,王艺迪表现最差,李隼提前预判

体育书生阿南
2024-04-17 19:41:32
尴尬和屈辱…爱尔兰女作家装假乳15年,机场安检令其当众取出

尴尬和屈辱…爱尔兰女作家装假乳15年,机场安检令其当众取出

周观环宇
2024-04-18 08:20:15
慌不慌!詹姆斯常规赛面对29支球队胜率均超五成 唯独没掘金

慌不慌!詹姆斯常规赛面对29支球队胜率均超五成 唯独没掘金

直播吧
2024-04-17 15:39:44
052D一到手,俄罗斯转脸堵死中国两条路,中方反应出乎意料

052D一到手,俄罗斯转脸堵死中国两条路,中方反应出乎意料

星辰故事屋
2024-04-17 09:00:48
动真格了!台当局对准福建莆田“开炮”,蔡正元:简直是无法无天

动真格了!台当局对准福建莆田“开炮”,蔡正元:简直是无法无天

车马点兵V
2024-04-15 15:41:10
黑人明明不是很帅,为何能让众多女子追求?网友:他们有先天优势

黑人明明不是很帅,为何能让众多女子追求?网友:他们有先天优势

世态言凉
2024-04-15 16:41:13
2024-04-18 16:14:44
量子位
量子位
追踪人工智能动态
9294文章数 175234关注度
往期回顾 全部

科技要闻

售罄毫无悬念!华为Pura70来了,最贵10999

头条要闻

媒体:以在中东遇双重失败 是否反击伊朗要看美脸色

头条要闻

媒体:以在中东遇双重失败 是否反击伊朗要看美脸色

体育要闻

感谢季后赛,让我们看到杨瀚森的真实水平

娱乐要闻

《酱园弄》官宣!赵丽颖等配角上热搜

财经要闻

重大违法强制退市!今年首例

汽车要闻

元UP中配130kW动力!比亚迪这次不抠门

态度原创

健康
家居
时尚
本地
艺术

这2种水果可降低高血压死亡风险

家居要闻

黑域奢境 光影与色彩创造空间专属记忆

建议中年男人:冲锋衣尽量别穿“北面、骆驼”,换成这3种更高级

本地新闻

春色满城关不住|千阳春日限定美景上线了!

艺术要闻

艺术名画|波兰当代艺术家威廉·萨斯纳尔的绘画作品

无障碍浏览 进入关怀版