网易首页 > 网易号 > 正文 申请入驻

让扩散模型「可解释」不再降质,开启图片编辑新思路

0
分享至

过去三年,扩散模型席卷图像生成领域。以 DiT (Diffusion Transformer) 为代表的新一代架构不断刷新图像质量的极限,让模型愈发接近真实世界的视觉规律。

然而,与 LLM 可解释性研究的蓬勃发展相对,扩散模型内部的语义结构、时间规律以及因果路径仍然像被深深封住的「黑箱」。研究者可以凭直觉优化架构,但外界无法真正理解扩散模型在生成过程中的「思考方式」。

更棘手的是,已有的可解释性尝试往往伴随着明显的性能下降:特征分解、激活分析、插值扰动……无论采用哪种方法,只要试图将扩散模型拆开来看,生成质量就会显著劣化。这让「可解释扩散模型」在很长一段时间里被视为不切实际的小众方向。

在这样的背景下,香港中文大学 MMLab 与上海人工智能实验室的研究团队提出了一个不同的观点:扩散模型作为当今视觉世界最重要的生成器,其内部机制不应永远处于不可见状态;可解释性也不应该以牺牲生成质量为代价。

基于这一理念,他们提出了被 AAAI 2026 接收的TIDE (Temporal-Aware Sparse Autoencoders)—— 首个真正意义上面向扩散 Transformer 的时序稀疏自编码器框架。

  • 论文标题:TIDE: Temporal-Aware Sparse Autoencoders for Interpretable Diffusion Transformers in Image Generation
  • 论文链接:
  • https://arxiv.org/pdf/2503.07050

TIDE:

让「时序」成为扩散可解释性的核心

以往的可解释方法大多忽视了扩散过程最大的特点:生成是一个随时间展开的渐进式构造过程。早期步骤决定物体形状和布局,中期步骤塑造语义和结构,后期步骤填充材质与细节。如果忽略这条时间线,扩散模型看起来就像一团混乱的噪声与特征。TIDE 的突破在于,它不是「硬拆」一个静态特征,而是让模型自己在时间维度上对齐语义:

同一个因子会在不同时间步中保持一致的语义轨迹,最终形成一个可读、可控、稳固的「时间语义剖面」。

也正是在这样的时序框架下,扩散模型内部原本模糊的过程第一次被清晰呈现出来:粗结构从噪声中浮现、语义逐渐成型、纹理被不断润色……模型的「思考流」沿着时间轴被完整雕刻出来。

更重要的是,这一切并不会破坏原模型的生成能力。TIDE 的稀疏自编码器在特征空间进行无损重构,扩散轨迹保持稳定,模型几乎感受不到被「观察」的存在。同时在 scaling latent 维度时,也优于原有 vanilla SAE 方法。

TIDE 架构与训练

在 Stable Diffusion XL、PixArt-α、Flux 等主流扩散框架上,TIDE 将扩散特征分解为具有可控语义的因子:

负责轮廓的因子、负责物体姿态的因子、负责材质纹理的因子……甚至可以捕捉到跨时间的概念演化。基于这些因子,研究团队构建出一种全新的图像编辑方式:编辑不再依赖繁琐的提示语或反复调参,而是可以沿着清晰的语义方向直接操控扩散过程。例如:

  • 提升纹理细节而不改变全局结构
  • 调整物体姿态但保持背景一致
  • 加强某类语义而不干扰其它部分

这些编辑操作完全基于 TIDE 生成的语义因子完成,意味着未来扩散模型有望出现一种全新的「因子级编辑器」,具备高度可控性与透明性。

与此同时,TIDE 对模型生成质量的影响几乎可以忽略不计。FID、sFID 变化小于 0.1%,噪声预测轨迹保持稳定,实现了真正意义上的「可解释而不降质」。

TIDE 的效果

TIDE 在不同设置、不同模型规模以及不同任务维度下的整体表现。无论是在超参数选择、在 DiT 不同层级进行因子学习,还是在 SDXL、FLUX-dev 等主流扩散架构上的泛化能力,TIDE 都表现出高度稳定且持续的优势。

可以看到,TIDE 在几乎不增加 FID 代价的前提下,显著提升了 AlignScore 中的语义绑定(颜色、形状、纹理)以及跨区域关系理解(空间与非空间关系),其中多处指标在表中以绿色标记为最优表现。

此外,在安全性评测部分,TIDE 相比多个现有方法大幅降低了攻击成功率,显示出更稳健的特征理解能力。整体来看,这幅表格清楚证明:TIDE 不仅带来了高质量、可解释的语义因子,还在保持生成质量的同时,提升了模型的结构理解、关系推理与安全性,成为一种真正可泛化、可落地的可解释扩散框架。

TIDE 的意义:

补齐扩散模型的「理解」能力

扩散模型已经成为现代视觉生成系统的核心支柱,但它们的内部机制一直缺乏系统、透明的解释路径。TIDE 的出现不仅提供了首个真正实用的可解释性方案,更重要的是,它让研究者第一次能够沿着「时间」这条线索观察扩散模型内部的语义结构。

这种理解能力将直接影响未来的多个方向:

  • 更可控、更稳健的扩散编辑系统
  • 统一理解——生成模型的因子级桥接
  • 扩散模型的因果与语义理论研究
  • 新一代透明、可信的视觉生成系统

TIDE 不仅是一个方法,更是一种新的研究范式:扩散模型并非不可解释,只是缺少一个合适的视角。

未来展望

研究团队表示,当前 TIDE 已成功验证了时序稀疏自编码器框架的有效性,但可解释扩散模型的潜力远未被完全发掘。未来的工作将进一步:

  • 扩展更大规模、更精细的时序字典
  • 探索跨模态共享的语义因子
  • 结合 LLM-SAE 构建统一解释空间
  • 将因子级编辑推向产品化工具

随着更多研究者的加入,扩散模型的「黑箱壁垒」正逐渐被揭开,而 TIDE 或许是这一转变具有代表性的第一步。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
48小时内近6万非法移民冲入西班牙飞地

48小时内近6万非法移民冲入西班牙飞地

看看新闻Knews
2026-08-01 01:03:47
一场空袭,炸没了上万中国商家的全部身家

一场空袭,炸没了上万中国商家的全部身家

辉哥说动漫
2026-07-31 02:15:46
“动车6:43走,进站门咋7点才开?”旅客称因车站告知不清致车票作废起诉汉口站,武汉铁路运输法院已受理

“动车6:43走,进站门咋7点才开?”旅客称因车站告知不清致车票作废起诉汉口站,武汉铁路运输法院已受理

大风新闻
2026-07-31 17:37:06
沙特宣布:与科威特、巴林、卡塔尔、巴基斯坦、土耳其、埃及、约旦等13国组建联盟

沙特宣布:与科威特、巴林、卡塔尔、巴基斯坦、土耳其、埃及、约旦等13国组建联盟

鲁中晨报
2026-07-31 12:14:07
连云港失火被困坠楼母女家属发声,3岁女儿去世,丈夫被骂抛弃家人,消防被指太业余

连云港失火被困坠楼母女家属发声,3岁女儿去世,丈夫被骂抛弃家人,消防被指太业余

Mr王的饭后茶
2026-07-31 20:59:38
0-2不敌亚洲联队!足球小将遭球迷狂批:全是开大脚 没裁判得输0-4

0-2不敌亚洲联队!足球小将遭球迷狂批:全是开大脚 没裁判得输0-4

风过乡
2026-08-01 06:22:38
湖北宝妈电梯打人后续,“全网社死”仅开胃菜,最可怜的是孩子

湖北宝妈电梯打人后续,“全网社死”仅开胃菜,最可怜的是孩子

寒士之言本尊
2026-07-31 15:14:53
特斯拉拆不掉中国制造

特斯拉拆不掉中国制造

界面新闻
2026-07-31 23:55:06
中国女子泰国被群殴全面失控!泰网民持续辱华,旅游局也下场拱火

中国女子泰国被群殴全面失控!泰网民持续辱华,旅游局也下场拱火

天天热点见闻
2026-07-31 10:18:07
丢人丢到国外了!49岁中国奥运冠军严重违规被查,官方:他已辞职

丢人丢到国外了!49岁中国奥运冠军严重违规被查,官方:他已辞职

二疯说球
2026-07-31 10:14:55
中国电信、中国移动、中国联通:8月1日起,第三方互联网渠道不再提供号卡办理服务

中国电信、中国移动、中国联通:8月1日起,第三方互联网渠道不再提供号卡办理服务

南方都市报
2026-07-31 20:01:13
中国女排迎来4大王牌归队,重构战术体系,14人最强阵冲击亚锦赛

中国女排迎来4大王牌归队,重构战术体系,14人最强阵冲击亚锦赛

米果说识
2026-07-31 16:43:51
年赚348亿,却没人聊它?网易,国内互联网最安静的印钞机

年赚348亿,却没人聊它?网易,国内互联网最安静的印钞机

罗sir财话
2026-07-31 20:55:43
马斯克拿下豆包,震惊行业!

马斯克拿下豆包,震惊行业!

互联网品牌官
2026-07-31 19:58:05
1954年,毛泽东警卫突然被调走,主席:你要的照片,我附在信封里

1954年,毛泽东警卫突然被调走,主席:你要的照片,我附在信封里

大运河时空
2026-07-31 07:25:03
大批企退老人发声!认可多缴多得,唯独接受不了这一种差距

大批企退老人发声!认可多缴多得,唯独接受不了这一种差距

荷兰豆爱健康
2026-08-01 00:56:12
肠子都悔青了!李权哲高铁占座事件后续来了,商务解约、平台限流

肠子都悔青了!李权哲高铁占座事件后续来了,商务解约、平台限流

天天热点见闻
2026-07-31 14:02:32
“竹知了”的事,越来越离谱了!

“竹知了”的事,越来越离谱了!

麦杰逊
2026-07-31 15:15:00
姆巴佩与超美女友豪华游艇之旅被拍!两人超绝身材展现在镜头前

姆巴佩与超美女友豪华游艇之旅被拍!两人超绝身材展现在镜头前

Emily说个球
2026-07-31 23:43:01
进入灭亡倒计时?韩国或将成为世界上,首个自然消失的国家

进入灭亡倒计时?韩国或将成为世界上,首个自然消失的国家

混沌录
2026-07-31 23:11:13
2026-08-01 09:08:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
13650文章数 142710关注度
往期回顾 全部

科技要闻

DeepSeek又更新了,这次梁文锋没放大招

头条要闻

少年捐日军罪证遭“销户”威胁 警方最新回应

头条要闻

少年捐日军罪证遭“销户”威胁 警方最新回应

体育要闻

欧足联掀桌!因凡蒂诺这次真玩大了?

娱乐要闻

百花奖影帝影后即将决出

财经要闻

华强北显卡涨价潮 有显卡一周暴涨4000元

汽车要闻

听劝!换回机械门把手,这才是碳基生物该开的车!

态度原创

本地
手机
亲子
旅游
公开课

本地新闻

神仙也“蓉”漂,哪吒与八仙,皆是成都出品!

手机要闻

2nm芯片+存储成本太恐怖!苹果要涨价了:iPhone 18 Pro系列上调300美元

亲子要闻

卵巢早衰还可以自然怀孕吗?fsh值高吃什么可以降低食物?

旅游要闻

探宝上博·因AI而生㊽曲水园图卷

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版