像素空间扩散模型的偏心练习：让部分特征偷懒，反而画得更好

你有没有想过一个问题：如果一支画家团队画同一张画，每个人都必须从头画到尾、反复修改每一笔，会发生什么？

大概率是,所有人的笔触会变得差不多，谁也没法专心把某个局部画到极致。而如果换一种分工方式，让有些人只负责打底稿定结构、定了之后就不再改动，另一些人反复雕琢细节，会不会画得更好？

这篇论文讨论的正是AI绘画模型里一个类似的分工问题。它的名字叫Persistence Forcing，中文可以理解为"持续性强制"，研究的是像素空间的扩散模型该怎么组织内部的计算资源。

先说说难点在哪。

现在做图像生成的AI模型,主流分两条路。一条是在"潜空间"里操作,先用一个编码器把图片压缩成一堆抽象数字,再在这堆数字上做生成,最后解码回图片,DiT、Stable Diffusion这类模型走的都是这条路。

扩散模型：一种通过逐步去除噪声来生成图像的AI模型，训练时让模型学会从加了噪声的图片中恢复出干净图片，生成时反复调用模型把随机噪声一步步"擦"成清晰图像。

另一条路更直接,叫像素空间扩散,不用编码器压缩,直接在原始像素上做生成。这条路的好处是省掉了一个可能引入信息损失的中间环节,坏处是难度陡增,因为原始像素维度极高,模型必须自己扛起组织视觉信息的全部工作,既要管住整张图的大结构(这是一只猫还是一只狗),又要管住每一根毛发的纹理细节。

DiT：Diffusion Transformer,一种用Transformer架构做扩散模型骨干网络的设计,由Peebles和Xie在2023年提出,后来成为这个领域的主流基座架构。

而现在的像素空间扩散模型,不管是这篇论文用作基线的JiT,还是同类的PixelFlow、DiP、PixelDiT,内部计算方式基本都遵循同一套逻辑:整个隐藏特征,不管里面装的是全局轮廓信息还是局部纹理信息,统统被送进每一层Transformer模块里反复加工,加工次数完全一致。研究者管这个叫"均匀细化"。

这就好比一家出版社要求编辑对一本书的每一页,不管是目录页还是正文的核心章节,都要过同样次数的校对流程。目录页其实翻两遍就够了,内容早早就定型了,可流程非要它陪着正文一起被反复修改十几次。这不是错,只是浪费,而这种浪费在像素空间扩散模型里表现得更明显,因为要处理的信息量本身就大得离谱。

研究者的直觉是:自然图像天生就是分层次组织的。大轮廓可以用很紧凑的信息表示,你闭着眼睛想一头狮子,脑子里先冒出来的是轮廓和大致颜色,而不是每根毛发的走向。细节纹理才需要更丰富的表示。这个想法其实不新,早在1983年Burt和Adelson提出拉普拉斯金字塔的时候,视觉科学家就在琢磨类似的多层次表示问题。但把这个直觉真正落地到像素空间扩散模型的内部计算结构里,这篇论文算是第一批尝试者。

那当时最强的像素空间扩散模型表现如何?论文里给出的对照基准是JiT,在ImageNet 256×256分辨率的类别条件生成任务上,JiT-H(参数量953M,也就是接近10亿参数的"巨大号"模型)训练600轮之后,FID能做到1.86。

FID：Fréchet Inception Distance,衡量生成图片和真实图片分布相似度的指标,数值越低说明生成的图片越接近真实照片的统计特性。

而同期最强的潜空间扩散模型比如DDT-XL/2,FID能做到1.26,Internal Guidance甚至做到1.07。可以看到,像素空间扩散在这个阶段整体还是落后于潜空间路线的,这也是为什么大家想尽办法去优化像素空间模型的内部结构,毕竟省掉编码器解码器这个中间环节本身是有价值的,只是性能还没追上来。

那怎么办?让部分特征偷懒试试

研究者做的第一件事很简单:把原本所有层宽度一致的Transformer,改成宽度忽宽忽窄的结构。

具体来说,假设隐藏表示总共有D个维度,原来每一层的Transformer模块都会处理全部D个维度。现在改成第l层只处理前dl个维度,dl小于D,剩下的维度被这一层直接跳过,原封不动地传递到下一层,等到后面某一层宽度重新变大的时候,这些被跳过的维度才会重新参与计算。

这样一来,每个特征维度被"真正加工"的次数就不一样了。研究者给这个加工次数起了个名字,叫细化预算,用符号R表示。如果某个维度在12层网络里被激活了12次,它的细化预算R就是12,如果只被激活了2次,R就是2。论文里用的是一种"收缩再扩张"的宽度调度方式,先把宽度收窄再逐步放大,这样能让不同维度获得从2到12不等的一整个跨度的细化预算,同时被跳过的维度还有机会在后面重新被激活。

为了确保这个改动本身不是靠"偷偷加参数"取胜,研究者还专门做了参数量对齐,让改造后的模型和原始JiT模型的注意力与MLP参数总量基本一致,这样后面看到的效果提升就不能归结为模型变大了。

这就好比一个装修公司要重新分配工人排班,有的师傅每天都上工地(细化预算高),有的师傅一周就来两次(细化预算低),但整个团队的总工时预算是不变的,只是分配方式变了。如果不这么分配,让所有师傅每天都满负荷上工地干同样的活,那可能就是原来那种"均匀细化"的状态,谁都没法专精,活也干不出差异化的效果。

结果出人意料地清晰:偷懒的特征,自己学会了"看大局"

这一步实验做完之后,研究者发现了一个让人挺意外的现象。

他们把最终生成图片的RGB预测结果,按照不同细化预算的特征组拆开来看,也就是把每一组特征对最终画面的贡献单独可视化出来。结果发现,细化预算低的那组特征,画出来的东西主要是物体的大致轮廓和整体结构,颜色、形状、姿态都比较完整,但细节是模糊的。细化预算越高的那组特征,画出来的内容就越偏向纹理、边缘、局部残差这些高频细节。

而在原来那种所有特征细化预算都一样的均匀细化模型里,这种规律完全不存在,各组特征的贡献看起来杂乱无序,没有明显的分工。

研究者把细化预算低、专门保留全局结构的这一组特征叫做持久特征,而那些反复被加工、越往后越专注局部细节的特征叫做活跃特征。

持久特征：在网络深度中只被少数几层Transformer模块真正更新、大部分时候被跳过不参与计算的特征维度,倾向于保留全局粗略结构。

活跃特征：在网络的每一层都被反复更新的特征维度,倾向于逐渐专精于局部高频细节。

这个发现之所以让人意外,是因为研究者并没有明确告诉模型"你负责画轮廓,你负责画细节"。整个训练过程中,唯一的干预就是给不同特征维度安排了不同的加工次数,分工是模型自己在训练里"演化"出来的。这有点像给一个团队制定不同的会议频率,却没规定谁该干什么活,结果开会少的那批人自己摸索出了负责定方向、开会多的那批人自己摸索出了负责抠细节,最后团队自发形成了合理的分工。

研究者进一步用频域分析验证了这个发现。他们测量了不同细化预算特征组对最终画面贡献的"频谱重心",简单理解就是这组特征贡献的内容主要集中在低频(粗糙轮廓)还是高频(精细纹理)。结果显示,细化预算从2到6的特征组,频谱重心明显偏低,主要贡献低频信息,而细化预算8以上的特征组,频谱重心显著抬升,更多贡献高频信息。而且这个规律在不同的扩散时间步(也就是从纯噪声到清晰图片的整个生成过程的不同阶段)上都保持一致,不是偶然出现在某个特定时刻。

研究者还做了一个更细致的追踪实验,专门看一组持久特征在网络深度方向上到底经历了什么。他们发现,一个只在第1层和第12层被更新、中间全程被跳过的持久特征组,在第一次更新之后就已经呈现出清晰的物体大致结构,而且这个结构在中间那些被跳过的层里几乎原封不动地保持稳定,直到最后重新参与计算才被进一步细化。相比之下,活跃特征组的中间表示则一直在变化,大部分时候看起来是残差和高频噪声,只有到网络后段才逐渐显现出可辨认的局部结构。

这说明持久特征的全局结构信息形成得很早,而且稳定,不是靠最后一层"临时抱佛脚"补出来的。

但这里有个反转:光分工不够,还得让偷懒的和干活的互相说话

如果这篇论文写到这里就结束了,那大概只能算个有趣的观察。但研究者接下来做了一个关键性的对照实验,结果让人有点意外。

他们训练了一个参数量对齐的异构细化模型,和原始的均匀细化JiT模型比较生成质量。结果是,异构细化模型的FID并没有变好,甚至在某些训练阶段还略微变差了一点。训练100轮的时候,均匀细化模型FID是42.1,异构细化模型是42.7,训练200轮之后,均匀细化是33.1,异构细化是33.8。

这个结果说明,单纯把不同特征分配不同细化预算,虽然能让模型自发演化出全局-局部的分工,但这种分工本身并不会自动带来更好的生成效果。

原因其实不难想:在最初的异构细化设计里,持久特征确实被保留下来了,但保留下来之后,它们只是被动地"待在那里",没有被明确地利用起来去帮助活跃特征的持续加工。这就像一个团队里已经有人早早把大方向定好了,写在了笔记本上,可这本笔记没人拿出来给正在抠细节的同事看,大家各干各的。方向是定了,但没有真正传递出去发挥作用。

于是研究者提出了第二个关键设计:让持久特征持续给活跃特征"打电话"

具体的做法是,在每一层Transformer模块里,持久特征不再是安静地绕过这一层就完事了,而是会被拿出来,经过归一化处理之后,通过一个专门的映射,变成一种"逐token的调制信号",叠加到原本的时间步和类别调制信号上,一起去指导活跃特征在这一层的更新。

调制：在Transformer模块里通过缩放和偏移操作来调整特征表示的一种机制,常见形式是AdaLN,即自适应层归一化,通常由时间步和类别标签驱动,这里额外加入了一个由持久特征驱动的逐token调制项。

低秩：一种参数化技巧,用两个小矩阵的乘积代替一个大矩阵来做映射,能大幅减少额外增加的参数量,同时保留足够的表达能力。

研究者用一个低秩瓶颈来实现这个映射,瓶颈的维度r在基础模型和大号模型上分别设成128和192。这个设计的考虑是,持久特征本身携带的信息偏粗糙、偏全局,不需要用一个很复杂的映射网络去处理它,一个轻量级的低秩投影就够用了。

这一步的意义,拿实际场景类比会更清楚。假设一个建筑工地上,总设计师已经把结构图定好了,贴在了每个工人随手能看到的墙上,施工的时候大家随时能瞥一眼图纸校对自己在干的活对不上对。如果没有这块墙,设计图就锁在总设计师的抽屉里,施工队各干各的,细节做得再精细,也可能和大结构脱节,返工的概率大大增加。这个"贴在墙上随时能看"的设计,就是持久特征持续调制活跃特征这个机制存在的价值,它让局部细节的雕琢始终有一个稳定的全局参照,而不是盲目地各自发挥。

论文的实验数据也验证了这一点。在只有异构细化、没有持久到活跃的显式条件传递时,FID是42.71(不加CFG的情况下)。加上这个条件传递机制之后,FID降到了40.35,配合CFG的时候则从8.02降到7.19。

CFG：Classifier-Free Guidance,分类器自由引导,一种在扩散模型采样阶段增强生成效果的常用技巧,通过对比"有类别条件"和"无类别条件"两种预测结果,把两者的差异放大来强化生成图片和指定类别的匹配程度。

进一步的采样技巧:从内部结构里"榨"出一个新的引导信号

有了持久特征到活跃特征的显式条件传递机制之后,研究者又想到一层。既然这个条件传递是可以开关的,那能不能利用"开"和"关"两种状态下模型预测结果的差异,构造出一种新的采样引导信号?

他们在训练阶段,随机地(概率0.1)把这个持久条件传递通道整体关闭,这样同一个模型就能学会在有和没有持久条件的情况下都给出合理预测。到了采样阶段,把两种情况下的预测结果做对比,差异部分就构成了一种全新的引导方向,研究者管它叫持久性引导。

持久性引导：Persistence Guidance,简称PG,通过对比"启用持久特征条件"和"禁用持久特征条件"两种情况下模型的预测差异,构造出一个用于采样阶段的引导信号,用来强化生成图片和模型内部已经建立起来的全局结构之间的一致性。

这个信号和CFG的性质不太一样。CFG是靠外部输入的类别标签(比如"这是一只猫")去引导生成方向,而PG完全不依赖外部标签,它是从模型内部自己已经形成的持久结构表示里榨取出来的引导方向。两者来源不同,理论上应该能捕捉到不同的、互补的信息。

论文里做了实验来验证这个"互补"是不是真的,不是研究者自己脑补出来的。他们固定住一个训练好的模型,只在采样阶段调整CFG和PG的强度组合。结果显示,在CFG强度分别设成2.8、3.0、3.2这三种不同水平下,适度加入PG(强度大约在3左右)都能稳定地把FID再压低一截。如果PG只是变相地增强了CFG本身的效果,那这种改善应该在CFG已经调到最优的时候消失,但实验结果没有出现这种情况,说明PG提供的确实是一个额外的、独立的改进方向。

从可视化效果上看也印证了这个判断,PG主要强化的是画面整体结构的连贯性,而CFG主要强化的是画面和指定类别之间的语义一致性。两者叠加起来用,能让语义细化的过程始终锚定在一个已经建立好的结构框架里,不容易跑偏。

不过PG也不是越强越好。实验发现如果PG强度设得过大,效果又会掉回去,说明持久结构信息的作用是"提供参考",不是"强行主导",一旦力道过头,反而会限制住活跃特征该有的自由发挥空间。

最终效果:参数没多花多少,FID却实打实降了

把上面这三层设计,异构细化、持久到活跃的条件传递、持久性引导,叠加在一起,就构成了完整的Persistence Forcing方法,论文简称PerF。

在ImageNet 256×256分辨率的类别条件生成任务上,PerF在三个模型规模上都稳定超过了对应的JiT基线。基础规模的PerF-B把FID从3.66降到2.81,大规模的PerF-L把FID从2.36降到1.91,巨大规模的PerF-H把FID从1.86降到1.63。换算成相对改善幅度,分别是大约23%、19%、12%,规模越大改善幅度略微收窄,这也符合常理,毕竟基线本身已经越来越强,再往下压的空间自然更小。

而且这个改善不是靠牺牲多样性换来的。论文特别提到,PerF在三个规模上的recall(可以理解成生成结果覆盖真实数据分布的广度)都有提升,而precision(可以理解成单张图片的逼真程度)基本保持不变。这说明改善是"既要又要"式的整体提升,不是拿一头换另一头。

在ImageNet 512×512的高分辨率生成任务上,PerF-H/32把JiT-H/32的FID从1.94降到1.76,Inception Score从309.1提升到335.3,recall从0.61提升到0.64。这说明这套方法不是只在256分辨率上凑巧管用,换到更高分辨率依然稳定生效。

额外增加的参数量控制得很克制,各个规模下都低于5%,单次前向计算的FLOPs增幅大约在3%到5%之间。也就是说,这个改善基本是靠"重新组织已有计算资源"换来的,不是靠堆更多参数硬拼出来的。

论文还专门做了一系列消融实验来排除干扰因素。比如把收缩再扩张的宽度调度方案换成不同的瓶颈位置(早期瓶颈、中间瓶颈、后期瓶颈、更靠后的瓶颈),发现四种方案的FID差距很小,都在40到41.35之间,而且都稳定优于均匀细化的基线,说明这套方法对具体的宽度调度参数不算敏感,不需要精细调参才能生效。再比如把低秩瓶颈的维度r从32一路调到256,发现r越大效果越好,尤其在PG强度较高的时候更明显,但考虑到参数量的增长,论文最终选了128作为默认值,算是效果和成本之间的一个折中点。

论文也检验了这套方法和另一种常见技巧REPA的相互作用。

REPA：Representation Alignment,一种让扩散模型的中间特征去对齐预训练视觉模型(比如DINO)特征的训练技巧,目的是帮助扩散模型更早学到有意义的视觉表示。

实验发现,如果把REPA只应用在训练的前100轮,效果最好,FID能压到2.81,而如果把REPA用满整个600轮的训练周期,效果反而不如完全不用REPA,分别是3.38和3.10。这个现象和最近其他研究里观察到的"REPA用久了会拖后腿"的结论是一致的,说明表示对齐这种手段更适合在训练早期帮模型"起步",到了后期继续硬拽着特征去贴近预训练模型的表示反而可能限制模型自己该学的东西。

这套方法出现之后,同期和后续的一些工作也在探索类似的方向。比如PixelDiT把全局的patch级建模和局部的pixel级细化拆成两套独立的Transformer来分别处理,DeCo则是沿着频率维度把生成过程拆解成低频语义建模和高频细节生成两部分,这些工作和PerF的出发点是相通的,都是想办法让粗略结构和精细细节各自得到合适的对待,只不过PerF选择的路径更"轻",它不是从架构层面硬性划分出两条独立的处理流水线,而是让这种分工在一个统一的骨干网络内部自然演化出来,再显式地把这种演化出来的分工利用起来。