网易首页 > 网易号 > 正文 申请入驻

浙大提出ContextGen,实现布局锚定多实例生成新SOTA

0
分享至

随着扩散模型(Diffusion Models)的迭代演进,图像生成已经日臻成熟。然而,在多实例图像生成(Multi-Instance Image Generation, MIG)这一有着大量用户场景的关键领域,现有的方法仍面临核心瓶颈:如何同时实现对多个对象的空间布局控制(Layout Control)以及身份特征的良好保持(Identity Preservation)。

主流方法往往无法做到两全其美:依赖文本和布局引导(Layout-to-Image)的模型往往难以实现高度的实例定制化,且实例遗漏、属性泄露的问题时有发生;而主流的主体驱动(Subject-driven)方法在主体数量增加时,面临着严重的身份混淆和细节丢失的问题。

ContextGen 与主流 SOTA 的对比示例,以及 ContextGen 的使用例

为解决这一制约高度定制化图像生成的难题,浙江大学 ReLER 团队发布 ContextGen,一个新型的基于Diffusion Transformer (DiT)的框架,旨在通过上下文学习,可靠地完成图像引导的多实例生成任务!

  • 论文地址:https://arxiv.org/abs/2510.11000
  • 项目地址:https://nenhang.github.io/ContextGen
  • 开源代码:https://github.com/nenhang/ContextGen
  • 开源模型:https://huggingface.co/ruihangxu/ContextGen

ContextGen 提出了全新的上下文生成范式,通过整合布局图像和多张参考图像,将布局控制与身份保持的挑战转化为统一的上下文建模问题。

双核驱动:实现布局与身份的双重保真

ContextGen 的双重核心机制,共同作用于统一的上下文 Token 序列上:

ContextGen 框架结构概览

上下文布局锚定(Contextual Layout Anchoring, CLA)

CLA 机制聚焦于全局上下文的引导,接受用户设计(或者模型自动拼合)的布局图像作为输入,以提供精确的全局布局控制和初步的身份信息。它通过在 DiT 模块的前置层和后置层部署自注意力机制,确保文本、待生成图像和布局图像三者进行充分注意力交互,对整体图像结构进行有效控制。

身份一致性注意力(Identity Consistency Attention, ICA)

ICA 机制聚焦细粒度的身份注入,利用原始高保真度的参考图像,将身份信息注入到其对应的目标位置,从而保障多个实例的身份一致性。它被部署到 DiT 模块的中间层,通过一个隔离式的注意力掩码,将参考图像的 Token 与对应待去噪区域的 Token 建立连接,旨在缓解重叠或者压缩导致的细节丢失问题,并在图像序列增长时保证身份信息的稳定注入。

这种的层次化的双重注意力策略,有效地让框架兼具了宏观的布局控制和精细的实例级身份保持。此外,ContextGen 还采用了增强的位置索引策略,系统性地区分和组织统一 Token 序列中多图像之间的关系。

数据基石:大规模详细标注的多实例数据集

针对当前领域高质量训练数据稀缺的现状,团队同时推出了IMIG-100K 数据集。这是首个为图像引导的多实例生成任务设计的大规模、具备不同难度层级、提供详细布局和身份标注的合成数据集,其构建流程代码也已经开源,支持用户根据自身需求生成定制化数据集。

IMIG-100K 数据集概览

IMIG-100K 的布局、身份标注

性能优化:DPO 强化学习解放创造力

团队在训练过程中发现,仅仅使用监督微调容易使得模型过度参考布局图像,导致生成的图像缺乏多样性和灵活性。为此,在监督微调之外,ContextGen 还引入了基于偏好优化(DPO)的强化学习阶段。该阶段将布局图像作为非偏好输入,鼓励模型不僵硬复制布局内容,生成更具创意和多样性的图像。

DPO 微调过程示例

实验验证:对标闭源模型,树立性能标杆

在广泛的定量和定性评估中,ContextGen 展现出卓越的 SOTA 性能。

身份保持:比肩闭源巨头

在LAMICBench++基准测试中,ContextGen 不仅超越了所有开源模型(平均得分提升+1.3%),更在身份一致性上比肩了一些闭源的商业巨头,在多实例的复杂场景中,ContextGen 在人物身份保持 (IDS) 和物体特征保持 (IPS) 上甚至可以和 GPT-4o 和 Nano Banana 一较高下。

LAMICBench++ 基准的定量对比

LAMICBench++ 基准的定性对比1

LAMICBench++ 基准的定性对比2

布局与属性控制:准确率大幅提升

在COCO-MIG上,ContextGen 在实例级成功率 (I-SR) 上提升+3.3%,空间准确性 (mIoU) 提升+5.9%。 在LayoutSAM-Eval中,ContextGen 在颜色、材质等属性的正确率上也超过了现有的模型。

COCO-MIG 和 LayoutSAM-Eval 基准的定量比较

COCO-MIG 基准的定性比较

LayoutSam-Eval 基准的定性比较

这些结果充分证明了 ContextGen 在多实例图像生成任务中的强大能力,成功实现了对布局和身份的双重精确控制。

前端支持:便捷的用户交互

为了方便用户体验,在项目中团队增加了一个简单易用的前端界面,支持用户上传参考图像、以文本的形式添加新素材、通过拖拽方便地设计布局,生成多实例图像。

ContextGen 前端交互界面

展望与未来

ContextGen 通过带有双重注意力的上下文机制,为高度可控的多实例生成提供了一个强大且可行的 DiT 框架。ReLER 团队进一步提出,如何更智能地理解用户的文本意图与多模态参考,仍然是一个值得深入探索的课题。未来,团队计划进一步优化模型架构,提升生成效率,并探索更多样化的用户交互方式,以满足更广泛的应用需求。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
1胜15负!NBA最烂球队!打破58年队史纪录

1胜15负!NBA最烂球队!打破58年队史纪录

篮球教学论坛
2026-11-22 00:39:59
俄方称克里米亚大桥铁路运输已全面恢复

俄方称克里米亚大桥铁路运输已全面恢复

每日经济新闻
2026-11-21 19:12:52
马科斯万万没想到!亲手送杜特尔特去海牙,如今美国却要拆ICC!

马科斯万万没想到!亲手送杜特尔特去海牙,如今美国却要拆ICC!

唠叨说历史
2026-11-18 09:46:20
女子借120万网贷不还,7家催债公司查到信息后面色大变:这地没法去

女子借120万网贷不还,7家催债公司查到信息后面色大变:这地没法去

罪案洞察者
2025-08-04 10:56:06
宋朝的“经略相公”到底是多大官?放到今天相当于啥职位?

宋朝的“经略相公”到底是多大官?放到今天相当于啥职位?

爆史君带你读历史
2026-11-21 17:50:51
又一名电诈头目落网!这回更让人震惊,竟然不是大家熟悉的缅北

又一名电诈头目落网!这回更让人震惊,竟然不是大家熟悉的缅北

人生录
2026-11-02 09:08:26
重磅预警!高盛“恐慌指数”逼近最大值:美股下周恐还有一波大规模抛售

重磅预警!高盛“恐慌指数”逼近最大值:美股下周恐还有一波大规模抛售

财联社
2026-11-21 13:56:13
禁止全部中方外交官入境,不准中国统一,这个国家比美国还嚣张?

禁止全部中方外交官入境,不准中国统一,这个国家比美国还嚣张?

触摸史迹
2026-11-22 00:16:56
魏德尔说大国谈判桌上已经没欧洲了,欧洲同时得罪中美俄,翻遍通讯录发现没朋友

魏德尔说大国谈判桌上已经没欧洲了,欧洲同时得罪中美俄,翻遍通讯录发现没朋友

雪饼说
2026-11-21 11:33:29
两代台湾媒体人来到深圳,一位感动不已,另一位开始替台北着急

两代台湾媒体人来到深圳,一位感动不已,另一位开始替台北着急

芳芳历史烩
2026-11-21 10:24:39
“失散20年双胞胎认亲”被质疑是剧本,最新DNA鉴定结果:两人是亲姐妹;同在深圳生活,已约定过年互相上门走亲戚

“失散20年双胞胎认亲”被质疑是剧本,最新DNA鉴定结果:两人是亲姐妹;同在深圳生活,已约定过年互相上门走亲戚

极目新闻
2026-11-21 19:27:16
薄一波的夫人胡明,她有多美?1960年的留影,眉目清秀,灵气温婉

薄一波的夫人胡明,她有多美?1960年的留影,眉目清秀,灵气温婉

乡野小珥
2026-11-17 14:39:45
翻墙通报密集落地,多所高校划出了红线!

翻墙通报密集落地,多所高校划出了红线!

言叔财经视角
2026-11-18 14:21:40
尴尬!葡萄牙媒体:C罗主动想给球迷签名,但没人要!

尴尬!葡萄牙媒体:C罗主动想给球迷签名,但没人要!

罗吹终结者
2026-11-21 15:21:57
美联储,新消息!特朗普表态

美联储,新消息!特朗普表态

证券时报
2026-11-21 21:48:03
5-1!意甲劲旅豪取4连胜,超越国米,升到第2,只与榜首相差2分

5-1!意甲劲旅豪取4连胜,超越国米,升到第2,只与榜首相差2分

足球狗说
2026-11-22 02:49:36
中央政法委下死命令!严厉查处这些行为,一起都不放过!

中央政法委下死命令!严厉查处这些行为,一起都不放过!

职场资深秘书
2026-11-21 16:13:08
官方透露:江苏这条高铁已纳入国家规划!正线全长129.1公里

官方透露:江苏这条高铁已纳入国家规划!正线全长129.1公里

交建动态
2026-11-21 20:26:39
A股:已经不必等开盘了,下周11月23日-11月27日,将要这样走

A股:已经不必等开盘了,下周11月23日-11月27日,将要这样走

云鹏叙事
2026-11-21 13:01:14
从35亿跌到7亿,“新能源一哥”跌落神坛!几十万基民被坑惨!

从35亿跌到7亿,“新能源一哥”跌落神坛!几十万基民被坑惨!

青眼财经
2026-10-03 08:00:44
2026-11-22 03:03:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14525文章数 142762关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

手机
健康
本地
公开课
军事航空

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

医生眼里"很伤腰"的椅子,很多人天天坐

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版