网易首页 > 网易号 > 正文 申请入驻

让扩散模型「可解释」不再降质,开启图片编辑新思路

0
分享至

过去三年,扩散模型席卷图像生成领域。以 DiT (Diffusion Transformer) 为代表的新一代架构不断刷新图像质量的极限,让模型愈发接近真实世界的视觉规律。

然而,与 LLM 可解释性研究的蓬勃发展相对,扩散模型内部的语义结构、时间规律以及因果路径仍然像被深深封住的「黑箱」。研究者可以凭直觉优化架构,但外界无法真正理解扩散模型在生成过程中的「思考方式」。

更棘手的是,已有的可解释性尝试往往伴随着明显的性能下降:特征分解、激活分析、插值扰动……无论采用哪种方法,只要试图将扩散模型拆开来看,生成质量就会显著劣化。这让「可解释扩散模型」在很长一段时间里被视为不切实际的小众方向。

在这样的背景下,香港中文大学 MMLab 与上海人工智能实验室的研究团队提出了一个不同的观点:扩散模型作为当今视觉世界最重要的生成器,其内部机制不应永远处于不可见状态;可解释性也不应该以牺牲生成质量为代价。

基于这一理念,他们提出了被 AAAI 2026 接收的TIDE (Temporal-Aware Sparse Autoencoders)—— 首个真正意义上面向扩散 Transformer 的时序稀疏自编码器框架。

  • 论文标题:TIDE: Temporal-Aware Sparse Autoencoders for Interpretable Diffusion Transformers in Image Generation
  • 论文链接:
  • https://arxiv.org/pdf/2503.07050

TIDE:

让「时序」成为扩散可解释性的核心

以往的可解释方法大多忽视了扩散过程最大的特点:生成是一个随时间展开的渐进式构造过程。早期步骤决定物体形状和布局,中期步骤塑造语义和结构,后期步骤填充材质与细节。如果忽略这条时间线,扩散模型看起来就像一团混乱的噪声与特征。TIDE 的突破在于,它不是「硬拆」一个静态特征,而是让模型自己在时间维度上对齐语义:

同一个因子会在不同时间步中保持一致的语义轨迹,最终形成一个可读、可控、稳固的「时间语义剖面」。

也正是在这样的时序框架下,扩散模型内部原本模糊的过程第一次被清晰呈现出来:粗结构从噪声中浮现、语义逐渐成型、纹理被不断润色……模型的「思考流」沿着时间轴被完整雕刻出来。

更重要的是,这一切并不会破坏原模型的生成能力。TIDE 的稀疏自编码器在特征空间进行无损重构,扩散轨迹保持稳定,模型几乎感受不到被「观察」的存在。同时在 scaling latent 维度时,也优于原有 vanilla SAE 方法。

TIDE 架构与训练

在 Stable Diffusion XL、PixArt-α、Flux 等主流扩散框架上,TIDE 将扩散特征分解为具有可控语义的因子:

负责轮廓的因子、负责物体姿态的因子、负责材质纹理的因子……甚至可以捕捉到跨时间的概念演化。基于这些因子,研究团队构建出一种全新的图像编辑方式:编辑不再依赖繁琐的提示语或反复调参,而是可以沿着清晰的语义方向直接操控扩散过程。例如:

  • 提升纹理细节而不改变全局结构
  • 调整物体姿态但保持背景一致
  • 加强某类语义而不干扰其它部分

这些编辑操作完全基于 TIDE 生成的语义因子完成,意味着未来扩散模型有望出现一种全新的「因子级编辑器」,具备高度可控性与透明性。

与此同时,TIDE 对模型生成质量的影响几乎可以忽略不计。FID、sFID 变化小于 0.1%,噪声预测轨迹保持稳定,实现了真正意义上的「可解释而不降质」。

TIDE 的效果

TIDE 在不同设置、不同模型规模以及不同任务维度下的整体表现。无论是在超参数选择、在 DiT 不同层级进行因子学习,还是在 SDXL、FLUX-dev 等主流扩散架构上的泛化能力,TIDE 都表现出高度稳定且持续的优势。

可以看到,TIDE 在几乎不增加 FID 代价的前提下,显著提升了 AlignScore 中的语义绑定(颜色、形状、纹理)以及跨区域关系理解(空间与非空间关系),其中多处指标在表中以绿色标记为最优表现。

此外,在安全性评测部分,TIDE 相比多个现有方法大幅降低了攻击成功率,显示出更稳健的特征理解能力。整体来看,这幅表格清楚证明:TIDE 不仅带来了高质量、可解释的语义因子,还在保持生成质量的同时,提升了模型的结构理解、关系推理与安全性,成为一种真正可泛化、可落地的可解释扩散框架。

TIDE 的意义:

补齐扩散模型的「理解」能力

扩散模型已经成为现代视觉生成系统的核心支柱,但它们的内部机制一直缺乏系统、透明的解释路径。TIDE 的出现不仅提供了首个真正实用的可解释性方案,更重要的是,它让研究者第一次能够沿着「时间」这条线索观察扩散模型内部的语义结构。

这种理解能力将直接影响未来的多个方向:

  • 更可控、更稳健的扩散编辑系统
  • 统一理解——生成模型的因子级桥接
  • 扩散模型的因果与语义理论研究
  • 新一代透明、可信的视觉生成系统

TIDE 不仅是一个方法,更是一种新的研究范式:扩散模型并非不可解释,只是缺少一个合适的视角。

未来展望

研究团队表示,当前 TIDE 已成功验证了时序稀疏自编码器框架的有效性,但可解释扩散模型的潜力远未被完全发掘。未来的工作将进一步:

  • 扩展更大规模、更精细的时序字典
  • 探索跨模态共享的语义因子
  • 结合 LLM-SAE 构建统一解释空间
  • 将因子级编辑推向产品化工具

随着更多研究者的加入,扩散模型的「黑箱壁垒」正逐渐被揭开,而 TIDE 或许是这一转变具有代表性的第一步。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
联合国各打五十大板:美国犯战争罪、伊朗犯反人类!中方一锤定音

联合国各打五十大板:美国犯战争罪、伊朗犯反人类!中方一锤定音

国际法大视野
2026-09-17 22:50:04
见过世面的人终会领悟:性格越善良的人,被人做局后越容易废在报复上;能让对方畏惧你的,从不是以牙还牙,而是这两种别人学不来的能力

见过世面的人终会领悟:性格越善良的人,被人做局后越容易废在报复上;能让对方畏惧你的,从不是以牙还牙,而是这两种别人学不来的能力

心理观察局
2026-07-22 07:01:07
演员牛莉:我这辈子最正确的决定,就是当年嫁给了一个退伍军人

演员牛莉:我这辈子最正确的决定,就是当年嫁给了一个退伍军人

飘飘然的娱乐汇
2026-09-18 18:54:04
乐基儿年轻时真漂亮,看曾志伟的眼神就知道了

乐基儿年轻时真漂亮,看曾志伟的眼神就知道了

娱你同欢
2026-09-13 20:22:17
不可思议!一张照片突然刷屏:潮汕一位26岁母亲,骑着小小的电动自行车,车上挤着六个孩子

不可思议!一张照片突然刷屏:潮汕一位26岁母亲,骑着小小的电动自行车,车上挤着六个孩子

火山詩话
2026-09-17 11:43:37
替补登场2分钟就吃红牌,主帅:他让所有人失望了

替补登场2分钟就吃红牌,主帅:他让所有人失望了

绿茵狂热者
2026-09-18 00:41:45
美驻墨西哥使馆以“墨西哥万岁,中国制造”调侃墨西哥国庆,中使馆发表严正声明

美驻墨西哥使馆以“墨西哥万岁,中国制造”调侃墨西哥国庆,中使馆发表严正声明

界面新闻
2026-09-18 07:25:53
美丽的御姐:那不是气场,是我在路径中为你留下的固定节拍

美丽的御姐:那不是气场,是我在路径中为你留下的固定节拍

疾跑的小蜗牛
2026-08-23 19:29:43
全红婵蜕变!减肥成功颜值大变,万千网友盼她早日回归跳台

全红婵蜕变!减肥成功颜值大变,万千网友盼她早日回归跳台

大中国
2026-09-18 13:35:33
福康安的翡翠鼻烟壶,当年文物商店2万元卖出,如今保守估价550万

福康安的翡翠鼻烟壶,当年文物商店2万元卖出,如今保守估价550万

收藏大视界
2026-09-15 23:14:50
何小鹏:我和王凤英经常争执 吃饭的时候我哄一哄就好了

何小鹏:我和王凤英经常争执 吃饭的时候我哄一哄就好了

快科技
2026-09-18 08:54:07
沉默45年,中国终于迎来第二轮“严打”!目标改变总体战正式打响

沉默45年,中国终于迎来第二轮“严打”!目标改变总体战正式打响

闻识
2026-05-04 08:59:03
郭士强赛后发声

郭士强赛后发声

政知新媒体
2026-09-18 23:55:55
俄罗斯将欧尚、雀巢和乐华梅兰在俄罗斯的资产国有化

俄罗斯将欧尚、雀巢和乐华梅兰在俄罗斯的资产国有化

山河路口
2026-09-18 19:37:24
俄罗斯以为中国没得选?想卖高价气,中国转身签下美国20年长约

俄罗斯以为中国没得选?想卖高价气,中国转身签下美国20年长约

青春染指红颜梦
2026-09-18 06:41:49
今夜,大逆转!再来一个利好,科技股集体猛涨

今夜,大逆转!再来一个利好,科技股集体猛涨

中国基金报
2026-09-18 01:13:01
中国男篮19分输日本男篮,中国男足0-7日本男足,哪场失利更惨?

中国男篮19分输日本男篮,中国男足0-7日本男足,哪场失利更惨?

念洲
2026-09-18 20:46:37
不会演别尬演,央剧《交锋》唯一败笔,换掉他,这部剧近乎完美

不会演别尬演,央剧《交锋》唯一败笔,换掉他,这部剧近乎完美

娱瓜酱
2026-09-17 14:24:26
沈伯洋民调领先蒋万安近30%?沈伯洋罕见表态今年双城论坛

沈伯洋民调领先蒋万安近30%?沈伯洋罕见表态今年双城论坛

DS北风
2026-09-18 13:34:03
蒋万安遭围攻,岛内批恶质选举

蒋万安遭围攻,岛内批恶质选举

环球网资讯
2026-09-18 06:54:38
2026-09-19 01:04:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14023文章数 142733关注度
往期回顾 全部

科技要闻

直击iPhone 18新机发售:黄牛加价不如前代

头条要闻

俄杜马选举拉夫罗夫"意外"登顶名单 梅德韦杰夫被拿下

头条要闻

俄杜马选举拉夫罗夫"意外"登顶名单 梅德韦杰夫被拿下

体育要闻

好吧,中国男篮辛苦了

娱乐要闻

陈思诚 佟丽娅不想让儿子知道两人离婚

财经要闻

研发0.25亿理财26亿,敷尔佳豪赌三类器械

汽车要闻

纯电/插混双动力+五座/六座双布局 海狮08应该怎么选?

态度原创

教育
艺术
数码
公开课
军事航空

教育要闻

注意:今日开始,推免系统开放注册!

艺术要闻

刘炜画了幅《我的风景》,1840万!

数码要闻

Realforce静电容键盘GX1 Plus皮卡丘版亮相TGS2026

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

中方反对在安理会强推恢复对伊朗制裁

无障碍浏览 进入关怀版