网易首页 > 网易号 > 正文 申请入驻

对标GPT-4o和香蕉!浙大开源ContextGen:布局身份协同新SOTA

0
分享至

新智元报道

编辑:LRST

【新智元导读】浙江大学ReLER团队开源ContextGen框架,攻克多实例图像生成中布局与身份协同控制难题。基于Diffusion Transformer架构,通过双重注意力机制,实现布局精准锚定与身份高保真隔离,在基准测试中超越开源SOTA模型,对标GPT-4o等闭源系统,为定制化AI图像生成带来新突破。

在定制化AI图像生成领域,多实例图像生成(MIG)面临一个关键的协同控制挑战:精确布局控制和多主体身份保真的同步实现。

现有方法往往只能达成二者之一,少数能兼顾的方法在性能上也存在显著不足。

为解决这一布局与身份的协同控制瓶颈,浙江大学ReLER团队提出了ContextGen框架,首次在Diffusion Transformer (DiT) 架构内部,通过双重上下文注意力机制实现了架构级的分层解耦控制。

ContextGen在基准测试上,身份保持能力超越SOTA开源模型,并成功对标了GPT-4o和Nano-Banana等强大的闭源系统,实现了在复杂定制化控制方面实现了关键突破。

论文地址:https://arxiv.org/abs/2510.11000

代码地址:https://github.com/nenhang/ContextGen

行业痛点

多实例生成中的「协同控制挑战」

当前MIG模型在实际应用中,主要表现出在布局精准度与身份保真度协同控制上的挑战:

  1. 宏观布局难以固化:即使模型显式提供了布局控制功能,生成的多个实例也难以精确地锚定到用户指定的空间位置,属性泄露和实例遗失现象频发,导致生成图像的构图混乱且不符合预期。

  2. 身份细节极易丢失:目前很多模型都支持多主体定制化,但主体数量增加时,身份细节丢失的概率会显著上升,生成结果往往无法忠实还原每个实例的独特身份特征。

ContextGen的核心突破在于:它利用注意力机制控制的上下文学习,实现了对这两个问题的协同解决,并在多个关键基准上达到了新的SOTA水平。

核心机制

布局锚定与身份隔离

ContextGen框架基于DiT架构构建,将所有输入整合成一个统一的Token序列T,创新在于在DiT模块中嵌入了两个功能不同的「注意力核」。

宏观布局控制模块

上下文布局锚定 (Contextual Layout Anchoring, CLA)机制是DiT网络的「布局控制器」,负责全局结构和构图:

机制:该模块采用的注意力掩码MCLA允许查询Token q与所有文本、图像和布局Token进行广泛通信。

效果:通过在DiT模块的前置和后置层建立宏观约束,确保生成的实例能够鲁棒且精确地遵循用户指定的布局要求。这种图像层面的宏观布局引导更适配于现有的DiT上下文学习机制,简单而有效地提升了布局控制的准确性。

微观身份隔离模块

身份一致性注意力 (Instance Consistency Attention, ICA)机制是解决多主体身份混淆与丢失的「身份隔离器」:

机制:采用隔离式的注意力掩码MICA,强制限制位于实例n边界框Bn内的查询Token q,只能关注其自身区域Bn、文本T以及对应的参考图像Rn

效果:这一设计在DiT模块的中间层,切断了不同实例身份Token之间的交叉通信,它为每个实例创造了一个「注意力孤岛」,从机制上保障了多主体身份信息的高保真隔离注入,这一机制在应对实例重叠、压缩等复杂场景时,能有效缓解身份信息丢失问题,同时在上下文变长时,也能维持鲁棒的身份保真度。

辅助优化与数据基石

DPO强化学习:引入直接偏好优化 (DPO),解决了监督微调可能导致的布局僵硬复制问题,从而增强了生成图像的多样性和自然度。

IMIG-100K数据集:团队同步发布了IMIG-100K,首个包含详细布局与身份标注的、含有不同难度层级的、大规模高质量多实例合成数据集。

实验结果

开源SOTA,对标闭源巨头

ContextGen的性能突破,体现在布局精度和身份保持两个维度:

布局精度提升:在COCO-MIG基准上,空间准确性(mIoU) 实现了+5.9%提升,验证了ContextGen在精确构图上的领先性。

身份保持的突破:在LAMICBench++身份保持测试中,ContextGen的在较多主体下的身份保真度(IDS) 比肩甚至超越了GPT-4o和Nano-Banana等闭源模型。这一关键结果证明了ContextGen在复杂多主体场景中,对细节的保真还原能力。

定性结果清晰显示,ContextGen也能还原细粒度的面部特征,也能灵活融合不同风格的参考图像,同时还能遵循用户的布局设计要求。

前端支持

用户友好界面

团队还开发了一个简单的前端界面,用户可以上传自己的参考图像,方便地设计布局,从而定制化生成多实例图像。

结语

ContextGen框架通过在DiT架构中引入CLA和ICA双核注意力机制,创新性地实现了宏观布局和微观身份信息的架构级分层解耦。

这一工作不仅为多实例生成提供了SOTA解决方案,成功突破了布局与身份的协同控制瓶颈,也为DiT等基础扩散模型在高度定制化AIGC任务中的应用开辟了新的技术路径。

作者简介

本工作由浙江大学ReLER团队完成,其中第一作者是浙江大学计算机科学与技术学院本科生许瑞航,通讯作者为浙江大学求是讲席教授杨易老师。ReLER团队长期致力于人工智能领域的前沿研究,包括但不限于生成模型、多模态学习、AI+X等方向。

参考资料:

https://arxiv.org/abs/2510.11000

秒追ASI

⭐点赞、转发、在看一键三连⭐

点亮星标,锁定新智元极速推送!

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
正式加盟,林书豪,开工了!……

正式加盟,林书豪,开工了!……

体育新角度
2026-11-16 16:27:11
重庆扩容已箭在弦上!两地激烈比拼,谁能率先撤县设区?

重庆扩容已箭在弦上!两地激烈比拼,谁能率先撤县设区?

水泥土的搞笑
2026-11-16 14:51:37
热搜霸榜三天了!日本希望安排“中日会谈”,被中方拒绝

热搜霸榜三天了!日本希望安排“中日会谈”,被中方拒绝

这里是东京
2026-11-15 17:18:08
打起来了,5年来最大规模!乌克兰不宣而战,出动1200架无人机

打起来了,5年来最大规模!乌克兰不宣而战,出动1200架无人机

巷北楠猫本尊
2026-11-16 15:15:06
ICE加州逮捕亚裔人数一年暴增10倍!“华人第一站”丁胖子广场不再热闹,南加华人区究竟藏着多少无证移民?

ICE加州逮捕亚裔人数一年暴增10倍!“华人第一站”丁胖子广场不再热闹,南加华人区究竟藏着多少无证移民?

纽约时间
2026-11-16 05:01:56
房价大局已定?大家注意了,不出意外,房价可能迎来大行情?网友兴奋道:坐等房子再翻番,退休生活全靠它了

房价大局已定?大家注意了,不出意外,房价可能迎来大行情?网友兴奋道:坐等房子再翻番,退休生活全靠它了

专业聊房君
2026-11-15 16:44:42
《谷雨》七大美女各有风情:李小冉气场足,王鸥港风美人,张雪迎我见犹怜

《谷雨》七大美女各有风情:李小冉气场足,王鸥港风美人,张雪迎我见犹怜

露珠聊影视
2026-11-14 21:14:32
关起门来的聚众淫乱,是怎么案发的?

关起门来的聚众淫乱,是怎么案发的?

北京郑律师
2026-11-14 16:02:15
家里兔子怀孕,一口气生了27只!!妹子天塌了:别再生了我害怕

家里兔子怀孕,一口气生了27只!!妹子天塌了:别再生了我害怕

铲屎官阿伟
2026-11-10 18:40:10
钻石姐索要体检报告!

钻石姐索要体检报告!

八卦疯叔
2026-11-11 10:28:18
黑龙江省17-19日东部中到大雪、局地暴雪

黑龙江省17-19日东部中到大雪、局地暴雪

环球网资讯
2026-11-16 14:07:05
新中国成立后,我国至今未破的大案、要案有哪些?

新中国成立后,我国至今未破的大案、要案有哪些?

文史达观
2026-11-13 09:21:34
火箭147-119大胜奇才 球员评价:4人满分,6人及格,2人低迷

火箭147-119大胜奇才 球员评价:4人满分,6人及格,2人低迷

篮球资讯达人
2026-11-16 10:43:21
“这颜值,放艺术生里也是顶级了!”家长晒素颜大一女儿哭鼻子,院校揭晓网友都慕了

“这颜值,放艺术生里也是顶级了!”家长晒素颜大一女儿哭鼻子,院校揭晓网友都慕了

妍妍教育日记
2026-09-14 20:51:56
今日重要赛事!11月16日,央视CCTV5、CCTV5+节目表

今日重要赛事!11月16日,央视CCTV5、CCTV5+节目表

薇说体育
2026-11-16 10:49:49
“蛋白吃得多,病就生得少”,4种高蛋白食物,男女老少都该常吃

“蛋白吃得多,病就生得少”,4种高蛋白食物,男女老少都该常吃

花小厨
2026-11-16 10:05:10
睡眠藏着肺癌信号?夜里 5 种反常表现,尽早查肺

睡眠藏着肺癌信号?夜里 5 种反常表现,尽早查肺

猫大夫医学科普
2026-11-16 06:48:23
6天5个涨停板!股民:妖王不讲武德!

6天5个涨停板!股民:妖王不讲武德!

数据挖掘分析
2026-11-16 15:18:33
最容易和异性发生关系的女人,大多有这两个特征,很准

最容易和异性发生关系的女人,大多有这两个特征,很准

皓皓情感说
2026-11-16 07:52:58
“已经确定女儿考不上高中了”,家长在线求助,网友:存个18w给她吧

“已经确定女儿考不上高中了”,家长在线求助,网友:存个18w给她吧

熙熙说教
2026-11-05 14:45:22
2026-11-16 17:20:49
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16694文章数 67237关注度
往期回顾 全部

科技要闻

历史头一回!马斯克用"筷子"夹住太空飞船

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

体育要闻

NBA开赛最大惊喜,是他们?

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

本地
旅游
亲子
手机
公开课

本地新闻

乌兰察布:以前种土豆,现在种Token

旅游要闻

秋假遛娃剑门关,全程17000步,6个小时,喜提废腿体验!

亲子要闻

宝宝气人但是聪明的4个行为

手机要闻

鞠婧祎代言 荣耀700系列四款高颜值配色公布:全系标配原生AI背屏

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版