网易首页 > 网易号 > 正文 申请入驻

让扩散模型「可解释」不再降质,开启图片编辑新思路

0
分享至

来源:市场资讯

(来源:机器之心Pro)


过去三年,扩散模型席卷图像生成领域。以 DiT (Diffusion Transformer) 为代表的新一代架构不断刷新图像质量的极限,让模型愈发接近真实世界的视觉规律。

然而,与 LLM 可解释性研究的蓬勃发展相对,扩散模型内部的语义结构、时间规律以及因果路径仍然像被深深封住的「黑箱」。研究者可以凭直觉优化架构,但外界无法真正理解扩散模型在生成过程中的「思考方式」。

更棘手的是,已有的可解释性尝试往往伴随着明显的性能下降:特征分解、激活分析、插值扰动……无论采用哪种方法,只要试图将扩散模型拆开来看,生成质量就会显著劣化。这让「可解释扩散模型」在很长一段时间里被视为不切实际的小众方向。

在这样的背景下,香港中文大学 MMLab 与上海人工智能实验室的研究团队提出了一个不同的观点:扩散模型作为当今视觉世界最重要的生成器,其内部机制不应永远处于不可见状态;可解释性也不应该以牺牲生成质量为代价。

基于这一理念,他们提出了被 AAAI 2026 接收的TIDE (Temporal-Aware Sparse Autoencoders)—— 首个真正意义上面向扩散 Transformer 的时序稀疏自编码器框架。


TIDE:

让「时序」成为扩散可解释性的核心

以往的可解释方法大多忽视了扩散过程最大的特点:生成是一个随时间展开的渐进式构造过程。早期步骤决定物体形状和布局,中期步骤塑造语义和结构,后期步骤填充材质与细节。如果忽略这条时间线,扩散模型看起来就像一团混乱的噪声与特征。TIDE 的突破在于,它不是「硬拆」一个静态特征,而是让模型自己在时间维度上对齐语义:

同一个因子会在不同时间步中保持一致的语义轨迹,最终形成一个可读、可控、稳固的「时间语义剖面」。

也正是在这样的时序框架下,扩散模型内部原本模糊的过程第一次被清晰呈现出来:粗结构从噪声中浮现、语义逐渐成型、纹理被不断润色……模型的「思考流」沿着时间轴被完整雕刻出来。

更重要的是,这一切并不会破坏原模型的生成能力。TIDE 的稀疏自编码器在特征空间进行无损重构,扩散轨迹保持稳定,模型几乎感受不到被「观察」的存在。同时在 scaling latent 维度时,也优于原有 vanilla SAE 方法。


TIDE 架构与训练

在 Stable Diffusion XL、PixArt-α、Flux 等主流扩散框架上,TIDE 将扩散特征分解为具有可控语义的因子:

负责轮廓的因子、负责物体姿态的因子、负责材质纹理的因子……甚至可以捕捉到跨时间的概念演化。基于这些因子,研究团队构建出一种全新的图像编辑方式:编辑不再依赖繁琐的提示语或反复调参,而是可以沿着清晰的语义方向直接操控扩散过程。例如:


这些编辑操作完全基于 TIDE 生成的语义因子完成,意味着未来扩散模型有望出现一种全新的「因子级编辑器」,具备高度可控性与透明性。

与此同时,TIDE 对模型生成质量的影响几乎可以忽略不计。FID、sFID 变化小于 0.1%,噪声预测轨迹保持稳定,实现了真正意义上的「可解释而不降质」。

TIDE 的效果

TIDE 在不同设置、不同模型规模以及不同任务维度下的整体表现。无论是在超参数选择、在 DiT 不同层级进行因子学习,还是在 SDXL、FLUX-dev 等主流扩散架构上的泛化能力,TIDE 都表现出高度稳定且持续的优势。

可以看到,TIDE 在几乎不增加 FID 代价的前提下,显著提升了 AlignScore 中的语义绑定(颜色、形状、纹理)以及跨区域关系理解(空间与非空间关系),其中多处指标在表中以绿色标记为最优表现。

此外,在安全性评测部分,TIDE 相比多个现有方法大幅降低了攻击成功率,显示出更稳健的特征理解能力。整体来看,这幅表格清楚证明:TIDE 不仅带来了高质量、可解释的语义因子,还在保持生成质量的同时,提升了模型的结构理解、关系推理与安全性,成为一种真正可泛化、可落地的可解释扩散框架。


TIDE 的意义:

补齐扩散模型的「理解」能力

扩散模型已经成为现代视觉生成系统的核心支柱,但它们的内部机制一直缺乏系统、透明的解释路径。TIDE 的出现不仅提供了首个真正实用的可解释性方案,更重要的是,它让研究者第一次能够沿着「时间」这条线索观察扩散模型内部的语义结构。


这种理解能力将直接影响未来的多个方向:

TIDE 不仅是一个方法,更是一种新的研究范式:扩散模型并非不可解释,只是缺少一个合适的视角。

未来展望

研究团队表示,当前 TIDE 已成功验证了时序稀疏自编码器框架的有效性,但可解释扩散模型的潜力远未被完全发掘。未来的工作将进一步:

随着更多研究者的加入,扩散模型的「黑箱壁垒」正逐渐被揭开,而 TIDE 或许是这一转变具有代表性的第一步。


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
香港餐厅收内地客“天价”小费?港人怒批:香港结业潮是有原因的

香港餐厅收内地客“天价”小费?港人怒批:香港结业潮是有原因的

朝子亥
2026-01-06 11:35:03
田朴珺删光王石合影,王石:每晚最难熬是等她回家,不知道回不回

田朴珺删光王石合影,王石:每晚最难熬是等她回家,不知道回不回

眉眼动人
2026-01-04 11:41:23
孙红雷和妻子王骏迪逛街,比老婆矮显娇小,55岁不服老打扮很招摇

孙红雷和妻子王骏迪逛街,比老婆矮显娇小,55岁不服老打扮很招摇

八怪娱
2026-01-06 10:12:25
委内瑞拉副总统吓坏了?电话里向鲁比奥表忠:将全力满足美国要求

委内瑞拉副总统吓坏了?电话里向鲁比奥表忠:将全力满足美国要求

蓝色海边
2026-01-06 13:11:20
2026 日本高中学费全免,定住外中国籍小孩和留学生除外!专家:助长排外主义!

2026 日本高中学费全免,定住外中国籍小孩和留学生除外!专家:助长排外主义!

东京在线
2026-01-04 20:20:35
丝绒绿与灰雾:一层肌肤的辩证

丝绒绿与灰雾:一层肌肤的辩证

疾跑的小蜗牛
2026-01-05 23:50:45
29岁渐冻症女孩“重生”,吃了蔡磊团队研发药物2年,“这个药用在我身上有用,病情没再发展”

29岁渐冻症女孩“重生”,吃了蔡磊团队研发药物2年,“这个药用在我身上有用,病情没再发展”

观威海
2026-01-02 10:14:04
一路走好!2026年刚过3天,5位名人接连去世,最年轻的仅25岁

一路走好!2026年刚过3天,5位名人接连去世,最年轻的仅25岁

豆哥记录
2026-01-05 19:55:20
疑点太多!南博陈超当年被立刻枪决,更像是为了掩盖什么

疑点太多!南博陈超当年被立刻枪决,更像是为了掩盖什么

天气观察站
2025-12-30 19:10:01
曝光!同仁堂怒了!责令总经理辞职,管理层全部停职

曝光!同仁堂怒了!责令总经理辞职,管理层全部停职

花小猫的美食日常
2026-01-06 11:12:55
大帝越来越支不住了,川普或希望再扛扛,把格陵兰加拿大搞差不多

大帝越来越支不住了,川普或希望再扛扛,把格陵兰加拿大搞差不多

邵旭峰域
2026-01-06 12:02:57
中东国家都意识到了,就算中国高端武器再多,也没办法保护他们!

中东国家都意识到了,就算中国高端武器再多,也没办法保护他们!

近史博览
2026-01-05 20:40:01
古人指出北平建都有巨大弊端,毛主席也犹豫,一高人帮他下定决心

古人指出北平建都有巨大弊端,毛主席也犹豫,一高人帮他下定决心

鹤羽说个事
2026-01-03 11:17:57
言承旭公开恋情,晒合照引热议,粉丝直呼终于等到你

言承旭公开恋情,晒合照引热议,粉丝直呼终于等到你

今古深日报
2026-01-06 10:38:49
西部排行乱了!火箭升至西部第3,杜兰特绝杀,湖人排名下跌

西部排行乱了!火箭升至西部第3,杜兰特绝杀,湖人排名下跌

郝小小看体育
2026-01-06 11:46:40
中东国家都意识到了:就算中国高端武器再多,也没办法保护他们

中东国家都意识到了:就算中国高端武器再多,也没办法保护他们

芳芳历史烩
2026-01-04 20:48:24
曼联换帅大热曝光!昔日死忠回归,穆帅成备选,高层道歉错怪了他

曼联换帅大热曝光!昔日死忠回归,穆帅成备选,高层道歉错怪了他

阿泰希特
2026-01-06 10:56:43
死神降临!杜兰特3分绝杀太阳,创59年纪录!一战彻底看清4个现实

死神降临!杜兰特3分绝杀太阳,创59年纪录!一战彻底看清4个现实

毒舌NBA
2026-01-06 11:47:13
秃鹫的盛宴?西藏天葬之谜:西藏为啥会实行天葬不实行土葬?

秃鹫的盛宴?西藏天葬之谜:西藏为啥会实行天葬不实行土葬?

向航说
2026-01-06 00:55:03
教育部下了硬指令,私立幼儿园老板们慌了,估计吃安眠药都睡不着

教育部下了硬指令,私立幼儿园老板们慌了,估计吃安眠药都睡不着

今朝牛马
2026-01-02 21:04:49
2026-01-06 15:48:49
新浪财经 incentive-icons
新浪财经
新浪财经是一家创建于1999年8月的财经平台
1925676文章数 5176关注度
往期回顾 全部

科技要闻

速看!黄仁勋万字实录:甩出"物理AI"王牌

头条要闻

委专家:马杜罗戴着镣铐受审 新的政治现实在委已出现

头条要闻

委专家:马杜罗戴着镣铐受审 新的政治现实在委已出现

体育要闻

从NBA最菜首发控卫,到NBA最强乔治

娱乐要闻

朱媛媛遗作《小城大事》定档1月10日

财经要闻

丁一凡:中美进入相对稳定的竞争共存期

汽车要闻

让智驾能看懂真实世界 英伟达发布开源Alpamayo平台

态度原创

时尚
教育
游戏
房产
健康

推广|| 她们新年状态大开挂?原来悄悄做了这笔“美丽投资”

教育要闻

高中英语怎么样快速提分,初中完形一般错2个,进入高中错6个打底

《秋叶原迷踪》9月17日发售 真人出演都市传说

房产要闻

爆发!三亚开年超千亩城更计划曝光,香港城砸下100亿!

这些新疗法,让化疗不再那么痛苦

无障碍浏览 进入关怀版