网易首页 > 网易号 > 正文 申请入驻

锁定角色,「多主体」也可控!个性化文生图,给你PS般交互体验

0
分享至

新智元报道

编辑:LRST

【新智元导读】LayerComposer革新了个性化图像生成,让用户像在Photoshop里一样自由操控元素位置、大小,解决传统方法交互性与多主体扩展难题,实现更自然、高效的创作,推动个性化生成迈向主动交互新阶段。

大型扩散模型(如 Stable Diffusion)让我们能够从文字生成高保真的图像。但当用户希望「生成我和我的朋友们在不同场景中的照片」时,现有的个性化生成方法(如 DreamBooth、IP-Adapter)仍面临两个根本问题:

  1. 缺乏交互性:无法自由控制人物的空间位置、大小与关系。

  2. 难以扩展到多主体:每多一个人,内存和算力就线性增长。

LayerComposer的目标,就是要打破这两大限制,让用户可以直观地控制在哪里放置什么样的元素,进行可控且高效的个性化生成。

项目地址:https://snap-research.github.io/layercomposer/

论文地址:https://arxiv.org/abs/2510.20820

「一张由雪人和三位女孩组成的合照」—— 你可以像在Photoshop里一样,放置、缩放、锁定角色,然后让模型完成剩下的工作。

LayerComposer的三大设计

分层画布(Layered Canvas)

每个人物、物体或背景都放在独立的RGBA层中(包含透明通道的图片),这样可以:

  • 避免人物遮挡导致的信息丢失;

  • 通过透明裁剪(Transparent Latent Pruning)显著降低计算量;

  • 支持任意数量的主体组合。

类似于在Photoshop里,每一层就是一个独立的角色,随意移动、缩放或删除。

锁定机制(Locking Mechanism)

每一层都可以选择「锁定(Lock)」或「解锁(Unlock)」:

  • 锁定层 → 模型必须高保真地保留该层,仅允许细微的光照调整;

  • 解锁层 → 模型可以根据文字描述自由生成姿态、表情或交互。

你可以锁定背景,让人物随提示变化,也可以锁定一个角色姿势,生成其他人围绕他互动。

这种「可选保真度」让 LayerComposer 比以往方法更接近人类的创作流程。

模型–数据共设计(Model–Data Co-Design)

LayerComposer的锁定机制无需修改网络结构。

研究人员通过「位置嵌入」(positional embedding)与「数据采样策略」共同实现:

  • 锁定层共享相同的空间编码;

  • 解锁层使用独立的编码,以避免重叠混淆。

这种轻量化设计,可以在现有扩散模型(如 FLUX Kontext)上直接适配。

实验结果

多主体、高保真、强可控

四人场景(4P)

在四人同框的任务中,LayerComposer的生成质量显著优于 FLUX Kontext、Qwen-Image-Edit、Gemini 2.5 Flash Image等模型,能在存在遮挡的情况下保持人物结构完整,并忠实地还原每个人物。

双人交互(2P)

在需要两人互动的场景(如「一起吃饭」、「握手」)中,LayerComposer能生成自然的姿态与空间关系,不再出现「复制粘贴」或「少人」的问题,用户偏好达到83.3%,远超OmniGen2等最新模型。

单人个性化(1P)

即使只生成单人肖像,LayerComposer仍展示出优越的表现:

在保持身份一致的同时,能灵活生成不同表情与动作(如笑、闭眼、吃饭等),避免「贴脸」效果。

消融实验

锁定与分层的作用

锁定机制(Locking Mechanism)

为了展示锁定机制的效果,研究人员逐步对每一层输入进行锁定。

被锁定的层会保留该人物的姿态——模型只会在此基础上进行「外延绘制」(outpainting)和轻微的细节光照调整。

需要强调的是,这与「掩膜推理(masked inference)」不同:在掩膜推理中,被遮挡的区域完全不会被更新。

另外,在实验设置中,未锁定的层会根据已锁定的内容和整体场景上下文灵活调整,从而实现自然的协调与融合。

分层画布(Layered Canvas)

如果不使用分层画布,模型就只能在训练中以单张拼贴图像(collage)作为条件输入,如图中 「Inputs」 一列所示。

可以看到,在「w/o layered canvas」(无分层画布)的结果中,由于拼贴重叠造成的遮挡,会导致信息缺失。

例如,左边女子圣诞帽上的球被遮挡后在生成结果中完全消失。

相比之下,提出的分层画布能够显式地处理遮挡问题,从而避免此类伪影(artifacts)和细节丢失。

通过在Layered Cavas中调整每一个subject在各自layer的位置,LayerComposer支持直观的空间布局调控。

总结

LayerComposer让多主体个性化生成从「被动输入」迈向「主动创作」。

用户不再只是输入文本,而是真正参与到构图过程中。

从DreamBooth到LayerComposer,个性化生成,终于有了交互的灵魂。

未来展望

尽管LayerComposer带来了交互式个性化的新范式,但仍存在一些挑战。

在需要「复杂物理推理」(如「坐在输入图片椅子上」)的场景中可能失败。

未来,研究人员计划让LayerComposer支持更强的理解能力和更多模态,以促进人机协同创作:

  • 结合大语言与视觉模型(VLMs)的理解能力,实现语义级别的自动布局与构图建议;

  • 支持视频级别的分层个性化,让交互式创作从静态图像走向动态场景;

  • 探索生成与编辑的统一界面,让用户在同一画布上无缝地修改、添加与再生成内容。

这种以「分层画布」为核心的交互式个性化范式,将成为下一代生成式创作工具的重要方向。

参考资料:

https://arxiv.org/abs/2510.20820

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
比亚迪App崩了,无法链接车辆!门店回应…

比亚迪App崩了,无法链接车辆!门店回应…

北京商报
2026-11-17 17:40:03
利好来了!刚刚,全线拉升!英伟达,重大发布

利好来了!刚刚,全线拉升!英伟达,重大发布

证券时报
2026-11-18 07:54:37
中国客机在温州瑞安坠毁,造成机上61人全部遇难,真是历史事件

中国客机在温州瑞安坠毁,造成机上61人全部遇难,真是历史事件

健康快乐丁
2025-08-05 16:01:39
“没人活得比我更爽了!”女孩炫耀从小玩到大,网友:毕业薪资多少?她沉默了

“没人活得比我更爽了!”女孩炫耀从小玩到大,网友:毕业薪资多少?她沉默了

蝴蝶花雨话教育
2026-11-18 00:05:17
肿瘤科医生:不容易得癌的人,一般都有4种“特质”,你占了几个

肿瘤科医生:不容易得癌的人,一般都有4种“特质”,你占了几个

39健康网
2026-11-18 17:24:06
不可思议!刘欢安葬后网友发文感慨,墓穴售价数十万,每年另缴5%管护费,担忧千年后无人续费,期盼其墓园纳入文保体系、专人管护

不可思议!刘欢安葬后网友发文感慨,墓穴售价数十万,每年另缴5%管护费,担忧千年后无人续费,期盼其墓园纳入文保体系、专人管护

火山詩话
2026-11-16 06:48:40
银行 R2 理财都开始大面积亏损,自求多福吧

银行 R2 理财都开始大面积亏损,自求多福吧

干货收并购
2026-11-18 09:55:12
姚笛分享近况,住大房子连凳子都是LV的,但并不开心焦虑到躯体化

姚笛分享近况,住大房子连凳子都是LV的,但并不开心焦虑到躯体化

八怪娱
2026-11-18 09:29:26
严查!中央开始对机关事业单位大整顿!这几类人要倒霉了

严查!中央开始对机关事业单位大整顿!这几类人要倒霉了

职场资深秘书
2026-11-18 16:03:57
上海交大解剖241名糖尿病逝者,发现患糖尿病的人,有这5个共性

上海交大解剖241名糖尿病逝者,发现患糖尿病的人,有这5个共性

刘哥谈体育
2026-11-18 16:18:45
美国卡住C919发动机后,世界才发现,中国造出了一台更好的

美国卡住C919发动机后,世界才发现,中国造出了一台更好的

混沌录
2026-11-17 19:43:30
77岁被骗光积蓄,83岁公开告诉媒体自己仍有性生活、91岁近乎全裸地登上杂志封面,双腿修长迷人!传奇"超模"卡门用一生证明:年龄只是数字

77岁被骗光积蓄,83岁公开告诉媒体自己仍有性生活、91岁近乎全裸地登上杂志封面,双腿修长迷人!传奇"超模"卡门用一生证明:年龄只是数字

回京历史梦
2026-11-17 14:24:26
交锋15连胜!尼克斯逆转猛龙 布伦森31分关键3+1唐斯16+16+8

交锋15连胜!尼克斯逆转猛龙 布伦森31分关键3+1唐斯16+16+8

醉卧浮生
2026-11-18 10:57:07
被骂“滚回中国”后,华人家庭谢绝“当面道歉”!“没有必要,希望她自己想想为什么”

被骂“滚回中国”后,华人家庭谢绝“当面道歉”!“没有必要,希望她自己想想为什么”

发现新西兰
2026-11-16 11:23:23
这下彻底佩服了!​黄仁勋的情人黄乐,​手上戴的手镯,我特意去查了一下它的价格,真是贫穷限制了我的想象!

这下彻底佩服了!​黄仁勋的情人黄乐,​手上戴的手镯,我特意去查了一下它的价格,真是贫穷限制了我的想象!

财经要参
2026-11-15 12:00:05
麦丹准绝杀!开拓者惜败森林狼遭双杀,多苏姆30分利拉德25+5

麦丹准绝杀!开拓者惜败森林狼遭双杀,多苏姆30分利拉德25+5

湖人崛起
2026-11-18 11:38:46
突发!大反转!黄仁勋,传来新消息!

突发!大反转!黄仁勋,传来新消息!

财经要参
2026-11-18 07:30:05
毛主席气场最强的一张照片,仅凭一个抽烟动作就无人能比!

毛主席气场最强的一张照片,仅凭一个抽烟动作就无人能比!

微野谈写作
2026-11-18 10:55:09
特朗普抵达深圳,车队车前插中美两国国旗,中方战机在上空拉起彩烟;特朗普坐上专属座驾隔窗挥手

特朗普抵达深圳,车队车前插中美两国国旗,中方战机在上空拉起彩烟;特朗普坐上专属座驾隔窗挥手

极目新闻
2026-11-18 17:51:45
“妈妈,我是不是智商不行”,杭州重高男生快急哭:期中连考9门,一门扣掉几十分,落差大到“怀疑人生”

“妈妈,我是不是智商不行”,杭州重高男生快急哭:期中连考9门,一门扣掉几十分,落差大到“怀疑人生”

极目新闻
2026-11-16 11:21:01
2026-11-18 19:35:00
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16711文章数 67239关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

房产
数码
家居
健康
军事航空

房产要闻

6.6亿!海口卖地!

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

家居要闻

2026建博会(广州) 公装联探展交流活动

情绪真能让健康人"伤心至死"?

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版