网易首页 > 网易号 > 正文 申请入驻

小红书开源InstanceAssemble:让AI精准还原复杂图像排版

0
分享至

IT之家 12 月 26 日消息,小红书携手复旦大学,联合推出布局控制生成(Layout-to-Image)领域的突破性方案 InstanceAssemble,通过创新“实例组装注意力”机制,实现了从简单到复杂、稀疏到密集布局的精准图像生成,相关成果已被 NeurIPS 2025 收录。

AI 绘画技术近年来快速发展,从最初的“文字生成图像”(Text-to-Image)逐步迈向“布局控制生成”(Layout-to-Image),后者会根据用户给定的空间布局约束(如边界框 Bounding Boxes、分割掩码 Masks 或骨架图)生成与之对应的图像。

“布局控制生成”技术的难点之一,就是如何让 AI 精确按照用户指定的位置和内容生成图像,面临布局对齐不准、语义脱节或计算成本过高的问题。

而复旦大学与小红书联合发布的 InstanceAssemble 新技术,成功实现了对图像中每个物体的精准布局控制,标志着 AI 绘画进入“可精准构图”的新阶段。

该技术基于当前主流的扩散变换器架构,创新性地提出了“实例拼装注意力”机制。用户只需提供每个物体的边界框位置和内容描述,AI 就能在对应位置生成符合语义的图像内容。无论是简单的几个物体,还是密集复杂的场景,InstanceAssemble 都能保持高精度的布局对齐和语义一致性。

值得一提的是,该技术还采用轻量级适配方式降低使用门槛,无需重新训练整个模型,仅通过约 7100 万个参数(约 3.46% 额外参数),就能适配 Stable Diffusion3-Medium 模型,而适配 Flux.1 模型更是低至 0.84%。

实验中,InstanceAssemble 在包含 90 万个实例的密集布局数据集上表现优异,大幅超越了现有方法。

研究团队为能更准确地衡量布局与图像的匹配程度,还创建了包含 5000 张图像和 90000 个实例的“Denselayout”基准测试集,以及全新的“Layout Grounding Score”(LGS)评估指标。

实验表明,InstanceAssemble 在各种布局条件下均表现优异,即使在训练时仅使用稀疏布局(≤10 个实例)的情况下,也能在密集布局(≥10 个实例)上保持稳健性能。

这项技术已开源,代码和预训练模型可在 GitHub 获取,为设计、广告和内容创作等领域的应用提供了强大支持。

IT之家附上参考地址

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
勇士消息:库里复出时间曝光,浓眉有望加盟,战绿军出场更新

勇士消息:库里复出时间曝光,浓眉有望加盟,战绿军出场更新

冷月小风风
2026-11-21 11:05:13
高市内阁的第二块骨牌,也要倒了

高市内阁的第二块骨牌,也要倒了

天真无牙
2026-11-20 17:54:51
千万年薪也留不住她?罗福莉与雷军没谈拢,或从小米出走创业

千万年薪也留不住她?罗福莉与雷军没谈拢,或从小米出走创业

歪歌社团
2026-11-21 07:09:05
湖南出现历史上最荒唐法官!判男方净身出户,然后跟拿到全部资产的女方结婚

湖南出现历史上最荒唐法官!判男方净身出户,然后跟拿到全部资产的女方结婚

爆角追踪
2025-11-23 11:25:00
全崩了!一夜之间集体暴跌;近30万人爆仓

全崩了!一夜之间集体暴跌;近30万人爆仓

叮当当科技
2026-11-21 15:00:22
百亿豪门夫妇正式开撕,发声明互相指责,两人疑未离婚就有新欢

百亿豪门夫妇正式开撕,发声明互相指责,两人疑未离婚就有新欢

开开森森
2026-11-21 09:48:22
知情人士:美方要求乌明年1月初与俄达成和平协议

知情人士:美方要求乌明年1月初与俄达成和平协议

界面新闻
2026-11-21 08:00:30
许家印昔日555万宾利现身! 曾挂粤A98888:如今成了婚车

许家印昔日555万宾利现身! 曾挂粤A98888:如今成了婚车

华庭讲美食
2026-11-20 06:46:02
“股神”落幕!淘股吧选手138万本金斩获1425%收益,账户冲高至1541万,如今大幅回撤仅剩91万

“股神”落幕!淘股吧选手138万本金斩获1425%收益,账户冲高至1541万,如今大幅回撤仅剩91万

火山詩话
2026-11-21 08:07:08
深圳街头贴身护墨西哥总统的女警徐瑾,网传年薪百万其实是误会

深圳街头贴身护墨西哥总统的女警徐瑾,网传年薪百万其实是误会

娱乐的硬糖吖
2026-11-20 05:28:23
谢霆锋这算官宣吗?满屏都是霍汶希

谢霆锋这算官宣吗?满屏都是霍汶希

喜欢历史的阿繁
2026-11-19 08:59:07
1988年,他喝醉了,把家里23岁的小保姆错认成自己的妻子。保姆没作声,第二天,保姆表示自己什么也不要。

1988年,他喝醉了,把家里23岁的小保姆错认成自己的妻子。保姆没作声,第二天,保姆表示自己什么也不要。

回京历史梦
2026-11-19 09:21:15
局势反转,美国突然反水,宣布对乌新立场,欧盟:这一天终究来了

局势反转,美国突然反水,宣布对乌新立场,欧盟:这一天终究来了

浯江孤舟
2026-11-20 15:18:35
36岁奥斯卡影后当众掀衣秀假体:我是完整C杯

36岁奥斯卡影后当众掀衣秀假体:我是完整C杯

时光慢旅人
2026-11-20 11:03:53
官媒发文,锐评赵本山新歌,言辞犀利,句句都说到了年轻人心坎上

官媒发文,锐评赵本山新歌,言辞犀利,句句都说到了年轻人心坎上

霁寒飘雪
2026-11-21 07:31:21
75岁张纪中的妻子回应会不会改嫁,称“我老公再活30年,我75岁了,嫁给谁呀”

75岁张纪中的妻子回应会不会改嫁,称“我老公再活30年,我75岁了,嫁给谁呀”

韩小娱
2026-11-20 16:45:15
杨瀚森9投5中、卡尔森打中锋百回合只得84分,为何上场的是他?

杨瀚森9投5中、卡尔森打中锋百回合只得84分,为何上场的是他?

暗香暗香
2026-11-20 16:26:11
兵败如山倒?国产新能源或已经证明:中国根本不需要二线豪华品牌

兵败如山倒?国产新能源或已经证明:中国根本不需要二线豪华品牌

浩渺青史
2026-11-21 03:59:39
轰51+6+6!登顶历史第一,阿特金森预言成真,哈登也彻底清醒了

轰51+6+6!登顶历史第一,阿特金森预言成真,哈登也彻底清醒了

体育火锅T
2026-11-21 12:51:57
俄怒射117枚导弹以牙还牙!欧称:乌克兰严冬再冷,也吓不退欧洲

俄怒射117枚导弹以牙还牙!欧称:乌克兰严冬再冷,也吓不退欧洲

军机Nova
2026-11-21 00:55:32
2026-11-21 16:12:49
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
380615文章数 607743关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

特朗普亚洲行后举行记者会 为与普京的"朋友"关系辩护

头条要闻

特朗普亚洲行后举行记者会 为与普京的"朋友"关系辩护

体育要闻

伦德伯格撞墙的力度真不轻

娱乐要闻

虞书欣擦边自拍、霸凌同事、媒体点名?

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

房产
时尚
游戏
本地
数码

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

今年冬天流行“大+小”穿法,时髦又显瘦!

野兽先生全新挑战:在GTA6抢到多少钱就给多少钱!

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

数码要闻

高驰VERTIX 4运动手表曝光:1.47英寸AMOLED屏幕

无障碍浏览 进入关怀版