刚刚，谢赛宁团队放出第二代表征自编码器

编辑｜Panda

AI 图像生成通常遵循「能力越强、代价越高」的铁律；与此同时，学界却在悄悄质疑另一个更根本的浪费：传统 VAE 对图像语义几乎一无所知，而 DINOv2、SigLIP 等视觉编码器早已从数亿张图片中习得了丰富的视觉常识。图像生成模型，真的需要从零开始「发明」对图像的理解吗？

2025 年 10 月，纽约大学谢赛宁团队提出了「表征自编码器（Representation Autoencoder，RAE）」框架，首次系统性地将预训练视觉编码器引入扩散模型的潜在空间。参阅我们的报道《VAE 时代终结？谢赛宁团队「RAE」登场，表征自编码器或成 DiT 训练新基石》。

这项成果在学界引发强烈反响，但同时也暴露出三个阻碍实用落地的核心问题：重建质量不如专用 VAE、无法配合传统引导机制、训练收敛极慢。

五个月后，同一团队携手 Adobe Research 与澳大利亚国立大学，带来了全面改进的RAEv2

• 论文标题：Improved Baselines with Representation Autoencoders
• 论文地址：https://arxiv.org/abs/2605.18324v1
• 项目页面：https://raev2.github.io

为什么 VAE 是瓶颈？

要理解这项工作的意义，先要理解 VAE 是什么，以及它为什么开始成为瓶颈。

想象一家大型图书馆。图书馆的索引系统（VAE 编码器）负责将每一本书压缩成一张卡片，存入一个巨大的卡片柜（潜在空间）。扩散模型在这个卡片柜里工作：从一堆杂乱的卡片出发，一步步「去噪」，最终还原出一张清晰的卡片，再由解码器将卡片还原成完整的书。

问题在于传统的索引卡片（VAE 潜在空间）记录的是书的物理特征，比如厚度、颜色、字体大小。但模型真正需要的，是书的内容和含义。扩散模型每次从噪声出发，都要自己重新学会「这是一只猫」、「这是一棵树」，效率极低。

预训练视觉编码器（DINOv2 等）则截然不同。它们的索引卡片记录的是语义：这本书讲的是什么主题、出现了哪些人物、场景的空间结构如何。如果扩散模型能在这样的潜在空间里工作，就相当于站在了巨人的肩膀上，不需要重复学习「视觉常识」。

RAE 正是这样的系统：以预训练编码器为图书馆的索引系统，训练一个解码器来还原图像。但第一代 RAE 的问题，是这套索引卡片只记录了「书的最后一章摘要」，丢失了大量中间层的细节信息。

三个洞察，一次系统性升级

RAEv2 的工作核心是三个独立但相互支撑的技术洞察。

洞察一：最后一层不是全部。

原始 RAE 直接使用视觉编码器最后一层的输出作为潜在表征。但预训练编码器的知识并非只集中在最后一层 —— 就像一个专家的完整知识体系，不只存在于他最后的结论里，也分布在他的推理过程中。

RAEv2 提出了一个极其简洁的解法：将编码器最后 K 层的特征直接相加，作为潜在表征。这个操作不引入任何新参数，不需要额外训练数据（比如文字或人脸），却让图像重建质量产生了质的飞跃。当 K 从 1（原始 RAE）增加到 23（全部层）时，重建误差（rFID）从 0.60 骤降至 0.18，峰值信噪比从 18.93 dB 提升至 27.03 dB。

洞察二：RAE 和 REPA 其实是互补的，不是竞争关系。

这是整篇论文最出人意料的发现。

学界此前普遍认为：既然 RAE 已经把预训练编码器的特征直接用作潜在空间，就没必要再用 REPA（表征对齐损失，将同一批编码器特征蒸馏到扩散模型的中间层）—— 那不是多此一举，让同一个信号走两条路吗？

研究团队横跨 27 种视觉编码器进行了大规模实验，结果令人惊讶：无论哪种编码器，REPA 和 RAE 同时使用时，效果都优于单独使用任一方。

更有趣的是，两者改善的是不同维度。RAE 提供的是「全局语义」，比如模型知道图里有只猫；REPA 提供的是「空间结构」，比如模型知道猫在图像左上角、眼睛在鼻子上方。前者对应语义信息（用线性探针准确率 LP 衡量），后者对应空间自相似性（用 LDS 衡量）。在 27 个编码器的相关性分析中，这一互补机制得到了严格统计验证，皮尔逊相关系数分别达到 -0.81（RAE 依赖 LP）和 -0.89（REPA 依赖 LDS）。

这一发现还解释了为什么更强的编码器 DINOv3-L，在第一代 RAE 里反而表现不如 DINOv2-B；因为原始 RAE 只利用了语义维度，而 DINOv3-L 的优势恰恰在于两个维度都强，RAE+REPA 才能充分发挥它的潜力。

洞察三：「引导」其实一直藏在模型里。

这是最优雅的一个技术贡献。

图像生成模型在推理时，通常需要一种叫做「引导」（Guidance）的机制来提升图像质量 —— 本质是让模型在「有条件」和「无条件」两个状态之间做差值，从而强化目标特征。原始 RAE 无法使用标准的分类器自由引导（CFG），只能训练一个额外的「弱版扩散模型」来充当引导基线（AutoGuidance），这不仅增加了训练成本，推理时也需要额外一次前向计算。

RAEv2 观察到一个关键性质：REPA 在 RAE 框架下，本质上是在做「x 预测」（预测干净的图像表征），而 REPA 头只能访问模型的浅层特征，天然是一个「更弱的版本」。将主模型输出也改写为 x 预测格式，就可以直接用 REPA 头作为引导基线。这样就无需额外训练任何模型，无需额外前向计算，引导完全「免费」。

RAEv2 的表现如何？

三个洞察组合在一起，形成了 RAEv2，带来了可量化的全面改进。

在图像生成质量（ImageNet-256，以 gFID 衡量，越低越好）上，RAEv2 在仅 80 个训练 epoch 后达到 1.06。

以 FDr₆这一更严格的评估指标衡量，RAEv2 以 80 epoch 达到 2.17，超越了原始 RAE 的最佳成绩 3.26—— 后者需要十倍训练时长且依赖后处理。

研究团队为此引入了一个新的效率指标：EPFID@k，即「达到无引导 gFID ≤ k 所需的训练 epoch 数」。这个指标的意义在于：绝对 gFID 数值的微小差异在实际应用中几乎感知不到，但训练效率的差异直接决定了谁能更快迭代、更低成本实验。

RAE 的 EPFID@2 为 177 epoch，RAEv2 将其压缩到了 35 epoch—— 收敛速度超过 5 倍，若与早期方法比较则达 10 倍以上。

在计算成本上，RAEv2 保持与第一代 RAE 完全相同的 189 GFLOPs，而 FLUX.1 等顶级商业模型需要 448 GFLOPs。以不到一半的算力，达到超越所有同类系统的生成质量。这是 RAEv2 最直接的工程价值。

在重建质量上，尽管只在 ImageNet 上训练，RAEv2 的还原效果已可与 FLUX VAE、SDXL-VAE 等在大规模多样化数据集上训练的专有模型相媲美。

超越图像分类：更广的适用性

RAEv2 并未局限于 ImageNet 实验。论文还验证了其在两个方向上的泛化能力。

在文本生图方向，使用 SigLIP-2 作为编码器的 RAEv2，在文本生图基准上展现出与 ImageNet 实验一致的改进趋势，收敛速度显著快于基于 VAE 的对比方法。

在导航世界模型方向 —— 即 AI 通过视觉预测未来帧的任务场景 ——RAEv2 同样带来了一致的性能提升，证明这一框架并非专为图像生成设计的特殊技巧，而是具有跨任务通用性的基础方法。

一个更大的赌注

RAEv2 所指向的不只是「更快的图像生成」。

在传统的图像 AI 体系里，「理解图像」和「生成图像」是两条平行的轨道：前者用 DINOv2、CLIP 等判别式模型，后者用 Stable Diffusion、FLUX 等生成式模型，两者共享的只有训练数据，而非知识体系。

RAE 框架的核心赌注是把这两条轨道合并。如果生成模型直接在视觉理解模型的语义空间里工作，那理解和生成就共享同一套「视觉语言」，未来的统一多模态模型将具备直接在生成的图像潜在表征上进行推理的能力。

从一个单纯的「更快收敛」的工程改进出发，RAEv2 不经意间指向了一个更宏观的问题：下一代多模态 AI 是否应当从根本上统一「看」与「画」的底层表征？

这个问题，也许比 gFID 数字本身更值得关注。