HiRAE：给AI"看图"的能力做一次深度体检

2014年之后的十年里，AI生成图片这件事经历了一场悄悄的路线之争。

一开始，大家用的是那种从头到尾专门训练的编码解码器，图片进去，压缩成一串数字，再从数字还原回图片。这套系统自己既懂"看"也懂"画"。但最近两三年，一个新流派冒了出来：干脆借用那些专门为图像理解训练出来的模型，比如DINOv3这种，让它来负责"看"，只训练一个轻量的解码器负责"画"。这就是本文要讲的主角所在的技术谱系，叫做表征自编码器（Representation Autoencoder，简称RAE）。

这个思路听起来挺聪明。毕竟那些图像理解模型已经在海量数据上学到了非常丰富的语义信息，直接拿来用，省了很多训练成本。但问题也随之而来，而且这个问题相当棘手。

被丢掉的细节，去哪儿找回来

图像理解模型的设计初衷是分类、检测这类任务，它关心的是"这是不是一只猫"，而不是"这只猫身上有几根毛"。所以这些模型的最后一层输出，会把很多细枝末节的视觉信息给抽象掉，只留下高度浓缩的语义特征。

这就导致一个直接后果：用这种特征重建出来的图片，往往在整体结构上没问题，但局部细节会失真。文字变模糊、纹理变粗糙、颜色发生轻微偏移。论文里有个很直观的例子，一个游泳圈上印着"FIGOS"的字样，用RAEv2这个前代方法重建出来，那几个字母肉眼可辨认但边缘发虚；换成本文提出的HiRAE-24，字母轮廓清晰得多。

那问题来了，既然最后一层信息不够用，为什么不用浅层的？

浅层特征*：指图像理解模型（比如DINOv3）靠近输入端的那几层网络输出，这些层保留了更多细节纹理，但语义信息比较原始。深层特征则相反，语义抽象程度高，但细节被压缩掉了。

确实有人这么干过，也确实有效果，但这里藏着一个不容易注意到的坑：这些浅层特征到底该怎么用，是个技术活儿。

如果你直接把浅层特征和深层特征简单拼在一起，或者按照固定比例混合，效果往往不稳定。前作DecQ做过实验：让浅层特征参与得越多，或者增加更多"细节查询"，重建质量确实上去了，但生成质量反而变差了。这就出现了一个两难：你想要的是重建又准又能生成又好，可现有方法似乎只能顾一头。

这背后的道理其实不难理解。生成模型要学习的是这些特征所构成的整个分布，如果这个分布因为强行融合浅层细节而变得乱七八糟、难以捉摸，那生成模型学起来就费劲，生成出来的东西质量自然打折扣。

生成模型*：这里特指扩散模型（Diffusion Model），一种通过反复去噪的过程从随机噪声中生成图片的AI模型。它需要在一个由表征自编码器提供的"隐空间"里完成学习和采样。

这就好比你想给一份文件做摘要，摘要写得太简略，读者抓不住细节；但如果你把原文所有的批注、草稿、修改痕迹全部堆进摘要里，虽然信息一个没少，但读者反而看得云里雾里，抓不住重点。真正难的不是"要不要保留细节"，而是"怎么把细节整理进一个仍然清晰、仍然好懂的结构里"。

现有的解决方案，要么靠人工挑选到底用哪几层（费时费力，还得反复试错），要么把融合和解码分成两个独立阶段训练（增加了训练复杂度）。这篇论文提出的HiRAE，想解决的正是这个问题：能不能设计一套机制，让模型自己学会怎么融合全部24层的信息，同时还能联合训练融合模块和解码器，一步到位？

分组、限额、留住最深层的主心骨

HiRAE的核心设计，说起来其实挺朴素，但细节里全是讲究。

首先，它不是随便挑几层用，而是把DINOv3-L编码器的全部24层都纳入进来，按深度分成三组：浅层组（第0到7层）、中层组（第8到15层）、深层组（第16到23层）。每一层都配一个专属的"专家"网络（其实就是一个小型多层感知机），负责把这层的原始特征转换成适合融合的形式。

专家网络（Expert）*：本文中指对每一层特征单独进行变换处理的小型神经网络模块，24层各自配一个，互不共享参数。

光有专家网络还不够，还得决定每个空间位置该听哪一层的"意见"更多。这里用了一个路由机制，根据最深层的特征，在每个图像块的位置上算出一组权重，决定每一层的贡献比例有多大。

关键的设计在后面：这个论文没有把所有层的贡献直接加到最深层特征上，而是引入了一套"残差预算"机制。具体说，浅层组、中层组、深层组各自形成一个修正量，这个修正量在加进最终结果之前，会被严格限制大小，浅层组只能占最深层特征范数的2.5%，中层组7.5%，深层组15%，三者加起来封顶25%。

这个数字不是拍脑袋定的。论文的逻辑是这样：浅层特征包含的细节最丰富，但同时也最容易和语义信息"打架"，如果放开了让它随便改动最深层特征，融合后的空间就会变得难以预测，生成模型学起来就困难。所以给它最紧的预算，外加最强的随机丢弃概率（训练时有一半的浅层残差会被直接置零）。深层组本身和主干最接近，改动起来风险小，预算就给得松一些。

残差预算（Residual Budget）*：指对每个深度分组的特征修正量设置一个基于范数的硬性上限，修正量超过这个限额就会被按比例缩小，防止某一组信息过度主导最终的融合结果。

这套机制换一个说法，其实很像给团队里不同资历的成员分配发言权重。公司开会决策，实习生（浅层特征）提的意见细致但容易偏题，你不能完全不听，但也不能让他一票否决；资深顾问（深层特征）的意见稳妥可靠，是决策的主心骨，但也可能因为太宏观而漏掉一些执行细节；中层管理者（中层特征）介于两者之间。如果不做这种分级限权，让所有人的意见等量齐观地混在一起投票，最后拍出来的方案很可能是四不像，既没有细节支撑，也没有清晰的主线。这就是为什么不能简单粗暴地把三组特征一视同仁地叠加，必须按深度给出不同的信任额度。

如果不做这个限制会怎样？论文里做了对照实验，把残差正则化整个撤掉，重建的表现（用rFID衡量，数值越低越好）暴涨到0.023，看起来像是"重建质量爆表"，但配套的生成质量却直接崩掉，20个训练周期后的引导生成FID从2.242飙到7.905，六表征距离指标从2.533飙到14.722。这说明单纯追求重建像素级还原，会把隐空间搞得面目全非，生成模型根本没法在这种混乱的分布上正常工作。

联合训练，不再分阶段单独适配

除了残差预算，HiRAE还改掉了前代方法DRoRAE的一个训练习惯。

DRoRAE的做法是先单独训练融合模块（这时候解码器是冻结的），等融合模块训好了，再去调整解码器。这种分阶段的策略听起来稳妥，但意味着两个模块之间缺乏"磨合期"，融合模块学出来的特征分布未必是解码器最喜欢的样子。

HiRAE干脆把这道工序省了，融合模块和解码器从一开始就一起训练，编码器全程冻结不动。这样做的好处是，融合出来的特征形态可以随着解码器的反馈实时调整，两边互相适应，不用分两步走。

这个改动看起来简单，但背后的取舍值得琢磨。就像装修房子，如果先把水电全部铺好定型，再去考虑家具怎么摆放，很可能发现某个插座的位置正好被沙发挡住了，返工成本很高。如果水电施工和家具布局设计从一开始就同步沟通，虽然协调工作量大一点,但最终能避免大量后期改造。HiRAE选择的就是"同步设计"这条路，用一次性联合训练换取了更好的适配度，省掉了单独的融合适配阶段。

数据说话：重建质量提升三成，生成质量不掉队

理论说了这么多，实际效果如何？

论文在ImageNet-256数据集上做了系统评测。核心指标是rFID（reconstruction FID，重建保真度，数值越低表示重建图片和原图越接近）。

FID（Fréchet Inception Distance）*：一种衡量两组图片在特征空间中分布差异的指标，常用来评估生成或重建图片与真实图片的相似程度，数值越小说明越接近。

结果显示，在保持相同的16×16×1024隐空间形状、相同的DINOv3-L冻结编码器的前提下，HiRAE-24把rFID从RAEv2的0.299降到了0.209，相对降低了约30%。

| 指标 | RAEv2 | HiRAE-24 |

| rFID ↓ | 0.299 | **0.209** |

| PSNR (dB) ↑ | 22.667 | **26.377** |

| LPIPS ↓ | 0.074 | **0.043** |

在配套的5000张匹配图像子集上，PSNR（峰值信噪比，衡量像素级还原精度）从22.667提升到26.377分贝，LPIPS（一种衡量感知相似度的指标，越低越好）从0.074降到0.043。这两个指标一个偏像素层面，一个偏人眼感知层面，同时改善说明这不是单一维度的取巧提升。

更重要的是生成质量没有因此受损。在引导生成设置下，训练80个周期后，HiRAE-24的gFID（生成图像的FID）是1.038，比RAEv2的1.060还要略低一点，Inception Score（衡量生成图片多样性和清晰度的指标）也从255.300涨到了257.823。

| 系统 | 训练周期 | 引导gFID ↓ | IS ↑ |

| RAEv2 | 80 | 1.060 | 255.300 |

| **HiRAE-24** | 80 | **1.038** | **257.823** |

这组数据回答了开头提出的那个两难问题：重建质量和生成质量真的可以同时兼顾，而不是非此即彼的取舍。

文本生成图片这一块，HiRAE同样交出了正向答案。论文在JourneyDB和BLIP3o数据集上做了预训练，又在BLIP3o-60k上做了微调（SFT）。用GenEval、DPG-Bench、GenAI-Bench三个衡量文本图像对齐程度的基准测试来看：

| 阶段 | 模型 | GenEval ↑ | DPG-Bench ↑ | GenAI-Bench ↑ |

| 预训练后 | RAEv2 | 56.42 | 81.22 | 67.02 |

| 预训练后 | **HiRAE-24** | **60.94** | **82.73** | **68.08** |

| 微调后 | RAEv2 | 84.86 | 84.90 | 71.69 |

| 微调后 | **HiRAE-24** | **87.70** | **86.35** | **72.66** |

微调之后GenEval分数从84.86涨到87.70，涨了将近3分。这个提升幅度在这类基准测试里不算小数目。

不同融合方式的正面较量

论文还专门做了一组对比实验，直接把DRoRAE风格的融合方式搬到HiRAE同样的24层全深度设置下做比较。

结果挺有意思：DRoRAE风格的融合在重建指标上表现更极端，rFID只有0.065，比HiRAE-24的0.209还低。但一看生成指标，DRoRAE风格的引导gFID是1.551，而HiRAE-24是1.038，差距明显。六表征距离指标（FD6r）上HiRAE-24是1.856，DRoRAE风格是3.375。

| 融合方式 | rFID ↓ | 引导gFID ↓ | FD6r ↓ |

| RAEv2 + DRoRAE风格 | **0.065** | 1.551 | 3.375 |

| **HiRAE-24** | 0.209 | **1.038** | **1.856** |

这个对比结果传递出一个挺重要的信息：光看重建分数高不高，不能判断一个融合方案对生成任务好不好。这就好比考试只看笔试成绩，却忽略了面试和实操表现，如果只用笔试分数来选拔人才，很可能选出一个"背题很强但实际操作生疏"的人。重建FID衡量的是"能不能把图片原样画出来"，但生成任务需要的是"这个隐空间的分布好不好学"，两者不是一回事，HiRAE的残差预算机制恰恰是在为后者做优化，而不只是为了刷低rFID这一个数字。

深挖隐空间：细节多了，但没有乱套

除了性能数字，论文还做了一系列颇为细致的分析，试图搞清楚融合之后的隐空间到底发生了什么变化。

一个核心发现是：融合操作确实增加了空间上的变化多样性，但基本保留了原有的类别组织结构。

论文用了一种叫PHATE的降维可视化方法，把500张图片的特征投影到二维平面上观察聚类情况。结果显示，在原始特征空间里，同类图片的十近邻同类比例，RAEv2是74.454%，HiRAE-24是79.536%，而HiRAE-24内部从深层锚点（79.634%）到融合后（79.536%）几乎没什么变化。这说明融合过程虽然往特征里加了很多细节，但没有把原来"这张图属于哪个类别"的语义结构给打乱。

与此同时，空间有效秩（一种衡量特征在空间维度上分布复杂程度的指标）从深层锚点的130.360涨到融合后的154.893，这说明空间上的细节确实变丰富了，但对应的空间相关性结构（用CKA指标衡量）依然保持在0.985这样的高水平，说明这种丰富不是"乱涨"，而是"有序地增加"。

CKA（Centered Kernel Alignment）*：一种衡量两组神经网络特征之间结构相似程度的指标，数值越接近1，说明两组特征的内部关系模式越相似。

这个结果打消了一个隐藏的顾虑：万一融合把原本清晰的语义结构给搅乱了呢？数据表明并没有。这就好比给一份结构清晰的文档加了很多批注和脚注，文档的章节骨架没有变，但每一页承载的信息量确实丰富了不少。

另一个值得关注的发现是解码敏感性。研究者对隐空间做了三种扰动（高斯噪声、低频扰动、高频扰动），测量扰动之后重建图片的LPIPS变化。结果显示，在相同的扰动强度下，HiRAE-24产生的输出变化只有RAEv2的21%到22%。换句话说，HiRAE学出来的隐空间对噪声的抵抗力更强，稍微有点扰动，解码出来的图片依然相对稳定,而RAEv2的隐空间在同样的扰动下变化幅度要大得多。

这个特性对实际应用挺关键。扩散模型在生成过程中本质上就是不断处理带噪声的隐空间表示，如果这个隐空间天生对噪声就很敏感，那生成过程的每一步都可能引入额外误差，误差层层累积，最终图片质量就会打折扣。HiRAE的隐空间更加"皮实"，某种程度上也解释了为什么它在生成任务上没有因为塞进更多细节而掉链子。

消融实验：每一处设计都不是摆设

论文做的消融实验也挺扎实，值得单独说一说。

在专家输入方式上，对比了用24个逐层专家（每层单独处理）和7个"深度模式专家"（先做深度方向的离散余弦变换压缩再处理）两种方案。结果显示，逐层专家的表现全面占优，说明保留每一层的原始信息比先压缩再处理更有利。

在深度分组数量上，论文对比了分成两组、三组、四组三种方案。三组的引导gFID表现最好（28.354），比两组（29.385）和四组（31.321）都要低，同时rFID也维持在合理水平。这个结果支撑了论文最终选择三组的设计决定。

| 分组数 | rFID ↓ | 引导gFID ↓ |

| 2组 | **3.293** | 29.385 |

| 3组 | 3.363 | **28.354** |

| 4组 | 3.457 | 31.321 |

论文还做了一个挺细致的实验，把三个深度组分别单独移除，看重建质量的下降幅度。结果是，移除深层组造成的LPIPS损失最大（147.750×10?），中层组次之（54.111×10?），浅层组最小（5.650×10?）。同时，针对频率成分的分析发现，浅层组更擅长处理高频细节（比如纹理边缘），深层组更擅长处理低频信息（比如大范围的色彩和结构），这些发现进一步印证了"分组分工"这个设计思路是有实际依据的，而不是凭空想象出来的结构。

纹理越丰富，提升越明显

论文还有一个挺有意思的发现，按照原图纹理的丰富程度把测试图片分成四个等级（用Sobel梯度强度衡量），观察HiRAE-24相对RAEv2的提升幅度。

结果显示，纹理最丰富的那组图片，LPIPS绝对提升幅度最大（39.478×10?），纹理最简单的那组提升幅度最小（22.420×10?）。这个趋势非常符合直觉：图片细节越多，浅层特征能提供的额外信息也就越有价值，HiRAE从中获得的收益自然也越大。相应地，移除浅层残差组对纹理丰富图片造成的伤害（6.869×10?）也明显大于纹理简单图片（4.276×10?）。

这个结果从另一个角度证实了论文的核心逻辑：细节信息确实存在于浅层特征里，而且能不能有效利用这些信息，直接决定了重建质量在复杂场景下的表现上限。

Q&A

Q1：HiRAE和RAEv2最主要的区别是什么？

A：RAEv2用固定方式聚合选定的几个编码器层，没有学习机制；HiRAE用可学习的融合模块处理全部24层，并加入了深度分组的残差预算控制，让重建质量提升同时保持生成能力，重建FID相对降低了约30%。

Q2：为什么不能简单地把浅层特征和深层特征直接叠加使用？

A：直接叠加会让隐空间分布变得混乱难以建模，实验显示不加约束地融合会让重建指标看起来很好但生成质量严重崩溃，引导生成FID从2.242飙升到7.905，所以需要用分组残差预算来控制每部分的贡献比例。

Q3：HiRAE-24在文本生成图片任务上表现如何？

A：在GenEval、DPG-Bench、GenAI-Bench三个基准上，HiRAE-24在预训练和微调阶段都超过RAEv2，微调后GenEval从84.86提升到87.70，提升幅度接近3分。