V-RAE：把「看懂视频」的能力带入生成，重新思考视频模型的潜空间

近日，新加坡国立大学 Minghui Guo 与牛津大学 Shengqiong Wu、Hao Fei 在论文《V-RAE: Rethinking Video Latent Spaces for Generation》中提出视频表征自编码器V-RAE。该方法以冻结的视觉基础模型为编码器，通过轻量级时间池化压缩视频特征，并将具有丰富语义和时间连续性的表征直接用于视频重建、生成与未来预测。

当视频生成模型不断变大、数据和算力持续增长时，人们往往关注更强的生成骨干和更长的训练，却容易忽视一个更基础的问题：生成模型究竟在什么样的空间里学习？

主流视频生成系统通常先用 VAE 把原始视频压缩为潜在表示（latent），再由扩散或自回归模型学习这些表示的分布。这个 latent space 就像视频生成的“隐形地基”：它决定模型需要学习什么，也影响训练难度、收敛速度和最终质量。传统视频 VAE 大多以像素重建为核心，擅长保留纹理、色彩和局部细节；然而，“能够准确还原真实视频”，并不等于“容易生成全新视频”。

近期，Representation Autoencoder（RAE）在图像生成中的探索开始重新思考这一“地基”应该如何构建。与传统 VAE 从像素重建目标中学习 latent 不同，RAE 直接利用预训练视觉模型已经学到的高层 representation 作为生成空间，让生成模型从一个具有更丰富语义结构的 latent space 出发。

这也自然带来了一个新的问题：这一思路能否从图像进一步扩展到视频？预训练视觉 representation 是否也能成为有效的视频生成 latent？

视频相比图像又带来了新的挑战：除了空间语义，还需要建模动作、时间动态和跨帧依赖，同时逐帧视觉 representation 中存在大量时间冗余。因此，我们在V-RAE（Video Representation Autoencoder）中系统验证了 representation-based latent 在视频上的可行性，并进一步研究了什么样的 latent space 才真正适合视频生成。

视频链接：https://mp.weixin.qq.com/s/UooTIGEjUYPOre0QyHPKPQ

将 RAE 从 Image 扩展到 Video

V-RAE 以冻结的视觉基础模型作为编码器，系统研究了DINOv3、SigLIP2、EUPE 和 V-JEPA 2.1四种具有不同预训练范式的视觉 representation。

这里的关键并不是将这些 representation 作为额外监督，而是直接让它们成为生成模型所工作的 latent space。编码器保持冻结，只学习后续的时间压缩模块与视频解码器，从而尽可能保留基础模型原本已经形成的语义结构。

但从图像走向视频，一个直接的问题是：视频 representation 太“长”了。

逐帧编码虽然可以保留丰富信息，但也意味着 latent token 数量随视频长度快速增长，生成成本难以接受；而简单地在时间维度做平均或粗粒度压缩，又容易丢掉动作信息和跨帧关系。

因此，V-RAE 引入了一个轻量级的temporal attention pooling模块，对连续帧的 representation 进行内容自适应聚合，在实现4× temporal compression的同时尽量保留语义与动态信息。随后，再通过带有 3D RoPE 的时空 Transformer decoder 将压缩后的 representation 重建回连续视频。

这一设计让我们能够在相似的 latent budget 下，真正公平地比较：传统 reconstruction-oriented VAE latent，与 pretrained representation-based latent，究竟哪一种更适合视频生成？

Representation-based latent 在视频上同样成立

实验首先回答了最基本的问题：RAE 的核心思想能否延伸到视频？

答案是肯定的。

尽管这些 representation 并不是围绕 pixel reconstruction 学习得到的，V-RAE 依然能够实现很强的视频重建性能。

在Kinetics-600上，V-RAE 达到2.13 rFVD，相比所评测的大规模预训练视频 VAE 中的最佳结果 3.58 进一步降低；在 UCF101 上，其重建性能也与最强 VAE baseline 接近。

更明显的差别来自 latent 本身包含的信息。

在 UCF101 的语义 probing 中，V-RAE latent 最高达到90.92%的准确率，而所评测传统 VAE latent 的最高结果只有30.83%。在更强调时序理解的 Something-Something V2 上，V-RAE 也达到72.91%。

这说明，即使经过时间压缩，pretrained representation 中已经形成的物体、动作以及跨帧关系仍能够被较好地保留下来。

但真正重要的问题并不是它“包含更多语义”，而是：这些语义是否真的会让视频生成变得更容易？

更有结构的 latent，确实更容易生成

为了回答这个问题，我们进一步固定生成骨干、latent token 数量以及训练设置，只改变底层 autoencoder 所定义的 latent space。

结果显示，四种 V-RAE representation 在 UCF101 和 Kinetics-600 上均带来了更好的 downstream generation performance。

最佳模型分别达到117.86 gFVD（UCF101）和19.16 gFVD（K600）。更值得关注的是训练效率：在 UCF101 上，V-RAE 大约只需要3 万次更新，就能够达到传统 VAE 约15 万次更新的生成水平；在 K600 上，最高观察到约6× faster convergence。

这一结果说明，representation-based latent 的价值并不只是“保存了更多信息”。

更关键的是，它实际上改变了生成器需要解决的问题。

在传统 reconstruction-oriented latent 中，生成模型仍需要从这些以像素恢复为目标组织起来的编码中，重新发现物体、动作与场景结构；而在 pretrained representation space 中，这些高层结构已经被显式组织出来，生成模型可以更加直接地学习：视觉状态如何随时间发生变化。

而在这一系列实验中，我们也观察到了一个更有意思、并且尤其值得在视频生成中重新思考的现象。

Good Reconstruction ≠ Good Generation

我们习惯用 reconstruction quality 来衡量一个 autoencoder 的好坏。

但对于生成而言，这个判断标准可能并不充分。

在实验中，不同 autoencoder 的rFVD 与最终 generation quality 之间只有较弱相关性。在 UCF101 上，二者的相关系数仅为0.200；在 K600 上也只有0.473。

换句话说：一个 latent space 可以非常擅长重建真实视频，但仍然可能是一个很难生成的空间。

为什么？

因为 reconstruction 只测试了 decoder 能否还原真实 encoder 输出的 latent。

但生成模型在实际预测时，不可能每次都精确落在真实数据对应的 latent trajectory 上。它预测出来的表示总会存在一定误差。

如果 latent space 本身不够平滑，那么即便只是很小的偏离，在解码后也可能被放大，最终表现为视频中的鬼影、闪烁、结构漂移或者不自然运动。

因此，一个真正面向 generation 的 latent space，不仅应该回答：“真实视频能不能被准确编码和重建？”

还应该回答：“当预测结果稍微偏离真实 latent 时，这个空间是否依然稳定？”

tFVD：从 reconstruction quality 到 generative utility

基于这一观察，我们进一步提出tFVD。

其基本思想很简单：在时间上相邻的 latent 之间进行局部插值，主动构造一些轻微偏离真实 encoding trajectory的 latent，再观察这些表示能否被 decoder 还原成自然、连续的视频。

这样，我们真正测试的不再只是 autoencoder 对真实数据点的 reconstruction ability，而是 latent space 的：temporal smoothness，以及 decoder 对 generation error 的 robustness。

结果显示，这一指标与实际 downstream generation performance 的关系明显更强。

tFVD 与 generation quality 的相关系数在UCF101 和 K600 上分别达到 0.621 和 0.919，显著高于传统 reconstruction metric。

这一结果也给出了一个更一般性的启示：对于视频生成，一个好的 latent space 不仅应该准确表示已经发生的视频，还应该让不同视觉状态之间形成连续、平滑、可预测的结构。

换句话说，我们不应该只关心 latent 是否reconstructable，还应该关心它是否generatable。

从视频生成进一步走向未来预测

如果 representation-based latent 真正学习的是更有结构的“视觉状态”，那么它的价值也不应该只体现在 unconditional video generation 上。

因此，我们进一步将其放到future video prediction中进行验证。

在 Cityscapes 上，采用完全相同的预测架构和训练预算，V-RAE 将 gFID 从传统 VAE 的15.02 降至 11.52，并将 gFVD 从144.47 降至 111.36。

其中一个非常有意思的现象是：V-RAE 的 reconstruction rFVD 实际上更差，但 future prediction 却明显更好。

这再次验证了前面的发现——对 predictive/generative modeling 来说，好的 reconstruction 并不是最终目的。

相比准确恢复每一个像素，一个更有语义、更平滑、更容易预测的 latent state space，可能才是模型理解并预测动态世界更合适的接口。

在这样的 representation space 中，同一个 latent interface 可以同时连接：视觉理解 → 状态预测 → 视频生成 → 像素解码。

生成模型学习的不再仅仅是“像素怎样随时间变化”，而更接近于学习视觉状态之间如何发生转移。

重新思考视频生成的“地基”

因此，V-RAE 的意义并不只是简单地把 image RAE 搬到 video。

我们首先系统验证了：pretrained representation-based latent paradigm 同样可以有效扩展到视频。

而更重要的是，视频这一更加复杂的 setting 进一步暴露出了 latent space 设计中一些此前容易被忽视的问题：

• 视频 representation 需要处理独有的temporal redundancy
• semantic representation 可以在压缩后依然保留丰富的object、action 与 temporal structure
• 更有结构的 latent 可以带来更好的生成质量和最高约6× faster convergence
• reconstruction quality 并不能充分预测 generative quality
• latent space 的temporal smoothness 和 prediction robustness对视频生成十分关键；
• representation-based latent 的优势还能够进一步迁移到future video prediction

这些结果共同指向一个更根本的问题：我们应该如何评价和设计一个真正面向生成的 latent space？

过去，autoencoder 更多被视为一个压缩与重建模块。

但从生成模型的角度来看，它其实定义了整个学习问题的“坐标系”。

一个好的视频 latent space，不应该只追求把过去重建得更准确，也应该让未来更容易被生成和预测。

• 论文：https://arxiv.org/abs/2608.13556
• 项目主页：https://v-rae.github.io
• 代码：https://github.com/V-RAE/V-RAE
• 模型：https://huggingface.co/Guomh0707/V-RAE-Models

作者介绍

• Minghui Guo（郭鸣辉），新加坡国立大学在读研究生，V-RAE 论文第一作者，研究关注多模态基模、视觉表征学习和视频生成方向。
• Shengqiong Wu（吴胜琼），牛津大学计算机科学系博士后，博士毕业于新加坡国立大学，研究方向包括多模态基础模型、智能体、视觉生成与空间智能。
• Hao Fei（费豪），牛津大学计算机科学系及大数据研究所高级博士后，研究聚焦多模态大模型、视频智能与世界建模。成果发表于 ICML、NeurIPS、ICLR、CVPR 等重要会议，曾获 WAIC Bright Star、Rising Star，并连续入选全球前 2% 科学家榜单。