网易首页 > 网易号 > 正文 申请入驻

港大阿里「视觉AI任意门」,一键向场景中无缝传送物体

0
分享至

克雷西 发自 凹非寺
量子位 | 公众号 QbitAI

点两下鼠标,就能把物体无缝「传送」到照片场景中,光线角度和透视也能自动适应。

阿里和港大的这个AI版「任意门」,实现了零样本的图像嵌入。

有了它,网购衣服也可以直接看上身效果了。

因为功能和任意门十分相似,所以研发团队给它起的名字就叫AnyDoor。

AnyDoor一次能够传送多个物体。

不仅如此,它还能移动图像里的已有物品。

有网友看了之后赞叹到,或许接下来就会进化到(把物体传入到)视频了。

零样本生成逼真效果

相对于已有的类似模型,AnyDoor具有零样本操作能力,无需针对具体物品调整模型。

除了这些需要进行参数调节的模型之外,AnyDoor相对于其他Reference类模型也更为准确。

实际上,其他的Reference类模型只能做到保持语义一致性。

通俗地说,如果要传送的物体是一只猫,其他模型只能保证结果中也有一只猫,但相似度无法保证。

我们不妨把AnyDoor的效果放大看看,是不是看不出什么破绽?

用户评价的结果也证实,AnyDoor在质量和准确度方面表现均优于现有模型(满分4分)。

而对于已有图像中物体的移动、换位,甚至改变姿态,AnyDoor也能出色完成。

那么,AnyDoor是如何实现这些功能的呢?

工作原理

要想实现物体的传送,首先就要对其进行提取。

不过在将包含目标物体的图像送入提取器之前,AnyDoor首先会对其进行背景消除。

然后,AnyDoor会进行自监督式的物体提取并转换成token。

这一步使用的编码器是以目前最好的自监督模型DINO-V2为基础设计的。

为了适应角度和光线的变化,除了提取物品的整体特征,还需要额外提取细节信息。

这一步中,为了避免过度约束,团队设计了一种用高频图表示特征信息的方式。

将目标图像与Sobel算子等高通滤波器进行卷积,可以得到含高频详情的图像。

同时,AnyDoor利用Hadamard对图像中的RGB色彩信息进行提取。

结合这些信息和过滤边缘信息的遮罩,得到了只含高频细节的HF-Map。

最后一步就是将这些信息进行注入。

利用获取到的token,AnyDoor通过文生图模型对图像进行合成。

具体来说,AnyDoor使用的是带有ControlNet的Stable Diffusion。

AnyDoor的工作流程大致就是这样。而在训练方面,也有一些特殊的策略。

尽管AnyDoor针对的是静态图像,但有一部分用于训练的数据是从视频当中提取出来的。

对于同一物体,视频当中可以提取出包含不同背景的图像。

将物体与背景分离后标注配对,就形成了AnyDoor的训练数据。

不过虽然视频数据有利于学习,但还存在质量问题需要解决。

于是团队设计了自适应时间步采样策略,在不同时刻分别采集变化和细节信息。

通过消融实验结果可以看出,随着这些策略的加入,CLIP和DINO评分均逐渐升高。

团队简介

论文的第一作者是香港大学博士生陈汐(Xi Chen),他曾经是阿里巴巴集团算法工程师。

陈汐的导师Hengshuang Zhao是本文的通讯作者,研究领域包括机器视觉、机器学习等。

此外,阿里方面还有来自达摩院、菜鸟集团的研究人员也参与了这一项目。

论文地址:
https://arxiv.org/abs/2307.09481

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
国产C919成功飞背后,日本却发出灵魂拷问:谁卡住了我们的脖子?

国产C919成功飞背后,日本却发出灵魂拷问:谁卡住了我们的脖子?

商事集营
2023-11-24 11:54:07
全球首例,上海地铁2号线开启“双卡双待”新模式

全球首例,上海地铁2号线开启“双卡双待”新模式

文汇报
2024-02-26 20:43:04
降本增效,公积金从12%调到5%,各大公司新妙招

降本增效,公积金从12%调到5%,各大公司新妙招

迈里英鹤
2024-02-26 10:38:45
非常好奇:曾经风靡一时的8848钛金高端手机,怎么突然不见了?

非常好奇:曾经风靡一时的8848钛金高端手机,怎么突然不见了?

杂谈哥闲谈
2024-02-21 23:42:12
普京:如果乌克兰加入北约,北约甚至都“来不及眨眼”就会被摧毁

普京:如果乌克兰加入北约,北约甚至都“来不及眨眼”就会被摧毁

娱宙观
2024-02-26 12:44:31
马斯克公开像人一样走路的机器人视频,两天内点击量达7500万次

马斯克公开像人一样走路的机器人视频,两天内点击量达7500万次

AI商业论
2024-02-26 10:18:02
美海警在太平洋登中国渔船“检查”,我海警对等反制,将有例可依

美海警在太平洋登中国渔船“检查”,我海警对等反制,将有例可依

书房点兵
2024-02-27 15:38:45
甘肃网红“杨老二”去世 亲哥哥回应:他在社火表演时被人灌酒,躺床上休息再没醒来

甘肃网红“杨老二”去世 亲哥哥回应:他在社火表演时被人灌酒,躺床上休息再没醒来

红星新闻
2024-02-22 16:40:24
夫妻生活时流出来的水,到底多少才正常?医生告诉你答案

夫妻生活时流出来的水,到底多少才正常?医生告诉你答案

小徐谈感情
2024-02-01 10:28:01
网友说这就是真实的北京史家小学,看得我大半夜汗流浃背

网友说这就是真实的北京史家小学,看得我大半夜汗流浃背

新动察
2023-11-27 09:55:38
知情人曝“春山学”调查结果:有人丢工作还涉嫌违法,影响巨大

知情人曝“春山学”调查结果:有人丢工作还涉嫌违法,影响巨大

萌神木木
2024-02-26 12:36:35
大变脸!该国叫嚣与中国作战!压力给到美国,俄罗斯乐了

大变脸!该国叫嚣与中国作战!压力给到美国,俄罗斯乐了

人间六月天
2024-02-27 14:25:56
今晚,等待一个机会!

今晚,等待一个机会!

娱乐圈的大爆炸
2024-02-27 21:30:43
收评:突发利好,这个方向彻底火了!大盘逼空上行,明天还能涨?

收评:突发利好,这个方向彻底火了!大盘逼空上行,明天还能涨?

青鸟白鸽
2024-02-27 16:27:57
红酒的“保质期”有多长?过期10年还能喝吗?喝了30年,才搞明白

红酒的“保质期”有多长?过期10年还能喝吗?喝了30年,才搞明白

一杯黑咖啡
2024-02-24 03:25:34
华春莹宣布:这国总统将访华

华春莹宣布:这国总统将访华

环球时报新闻
2024-02-26 16:48:43
副省长陈怀宇、张新,领新职

副省长陈怀宇、张新,领新职

政知新媒体
2024-02-26 21:41:04
七国领导人发表挺乌声明,却指责中国;是他们害了乌克兰

七国领导人发表挺乌声明,却指责中国;是他们害了乌克兰

火星方阵
2024-02-25 22:48:45
中美直飞往返航班再现增长!美游客来华旅游签证申请已简化

中美直飞往返航班再现增长!美游客来华旅游签证申请已简化

南方都市报
2024-02-27 11:41:14
蔡斌被质疑,世界排名被王宝泉超近100名,姚笛王云璐3人也引热议

蔡斌被质疑,世界排名被王宝泉超近100名,姚笛王云璐3人也引热议

阿信点评
2024-01-20 21:38:37
2024-02-28 00:12:49
量子位
量子位
追踪人工智能动态
9095文章数 174952关注度
往期回顾 全部

科技要闻

字节等待一鸣惊人

头条要闻

房屋起火致两幼儿烧伤昏迷 孩子父亲:正变卖房子

头条要闻

房屋起火致两幼儿烧伤昏迷 孩子父亲:正变卖房子

体育要闻

中超俱乐部寒冬未尽,“无名”出征

娱乐要闻

顶流被曝私生活不干净!矛头直指鹿晗

财经要闻

许家印前妻丁玉梅向其次子追讨逾10亿港元

汽车要闻

60+功能升级 星途星纪元ES首次OTA推送

态度原创

房产
艺术
本地
时尚
公开课

房产要闻

胆真大!海府大院高调开盘,27万㎡超猛放量,吹风价敢到2万5/㎡!

艺术要闻

一座城市的美,有多少是被设计出来的?

本地新闻

寻年味 过大年|妆艺大游行华丽落幕 新加坡总理李显龙现场送祝福

米兰时装周,给上班的年轻人一个爱美的勇气

公开课

何为人生第一等事?

无障碍浏览 进入关怀版