视频世界模型终于不「失忆」了！Meta提出World-T³：把记忆写进参数，单卡20.6FPS实时生成

近两年，视频世界模型（video world model）成为生成式 AI 最受关注的方向之一。只需给定一张参考图和一段场景描述，模型就能根据用户输入的相机位姿或控制指令，逐帧生成出一个可以自由漫游的虚拟世界。但当交互从几秒钟拉长到几十秒，一个尴尬的问题就暴露出来：模型会失忆。自回归视频扩散模型在局部总能保持连贯，可一旦之前看到的画面滑出了注意力上下文窗口，模型就只能依靠生成先验重新脑补。

最近，来自 Meta Reality Labs、伊利诺伊大学芝加哥分校和布朗大学的研究团队提出了 World-T³（Test-Time Training）。World-T³ 是一个相机可控的视频世界模型，它在生成过程中通过测试时训练，把滑出上下文窗口的历史观测按相机位姿写进一组专用的快速权重（fast weights）；当相机回到曾经到过的位置，模型再以位姿为钥匙，把当时的场景特征读出来。

在一个包含 120 段「去程 + 原路返回」轨迹的长时重访基准上，World-T³ 把重访 PSNR 从最强基线的 13.52 dB 提升到 18.31 dB，把绝对旋转误差从 3.344° 降到 1.075°。与此同时，经过双教师蒸馏的 4 步模型在单张 NVIDIA B200 GPU 上以 1280×704 分辨率跑出 20.6 FPS，生成过程中记忆也在实时更新。与 Matrix-Game 3.0、HY-World 1.5、DreamX-AR、LingBot-Fast、SANA-WM 等视频世界模型相比，4 步的 World-T³ 在全部 6 项重访一致性指标上均排名第一。

当相机回到之前到过的位置时，World-T³ 能忠实还原场景；而现有自回归基线（以 SANA-WM 为例）会遗忘上下文窗口之外的内容，重新合成出不同的场景。

本文共同第一作者为吴俊毅（Junyi Wu）和李泽坤（Zekun Li），该工作完成于两位共同第一作者在 Meta Reality Lab 实习期间，项目负责人为 Meta Reality Lab 资深研究员黄悉偈（Xijie Huang)。吴俊毅（Junyi Wu）现为伊利诺伊大学芝加哥分校计算机科学四年级博士生，研究方向是计算机视觉与具身智能；李泽坤（Zekun Li）现为布朗大学计算机科学四年级博士生，师从 Srinath Sridhar 教授，研究方向为视觉内容生成与多模态学习。

• 论文标题：World-T³: Test-Time Training as Persistent Memory for Real-Time Video World Models
• 论文链接：https://arxiv.org/abs/2610.17434
• 项目主页：https://adreamwu.github.io/World-T3/

World-T³ 方法简介

World-T³ 以预训练的图文到视频模型 Wan2.2-TI2V-5B 为基座，通过三个递进的训练阶段，依次获得相机控制、持久记忆和实时生成能力。

以相机位姿为索引的测试时训练记忆

与把历史帧或 token 越存越多的做法不同，World-T³ 在扩散 Transformer 的每一层都挂载了一个轻量的 TTT 记忆模块。生成过程中，每当一个视频块被挤出上下文窗口，它的「相机位姿 → 画面内容」对应关系就会被写入这组快速权重；生成新的视频块时，模型用目标相机位姿去查询记忆，取回该位置曾经出现过的场景特征。记忆的大小固定，因此无论生成多久，存储和每一步的读写开销都保持恒定。

递归最小二乘写入：只把新信息写进记忆

相机运动通常是平滑的，相邻视频块的位姿高度相似、几乎共线。如果沿用以往 TTT 方法每次做一步梯度更新的写法，记忆会被重复内容反复强化，反而冲淡早先存下的信息。为此，作者们把记忆写入建模为一个带权岭回归问题，并用递归最小二乘（RLS）在线求解：每次写入都先用累计的位姿协方差对新特征做白化，只把与已有记忆不重复的部分写进去。

双教师蒸馏：4 步生成，记忆保留

为了实现实时交互，作者们把需要 50 步采样的自回归模型蒸馏为 4 步生成器。蒸馏时同时使用两位教师：双向注意力教师负责短程画质与运动连贯，带 TTT 记忆的自回归教师负责长程空间一致性，兼顾视觉质量和持久记忆。

World-T³ 生成可视化

先来看最直观的「去程 + 返程」测试：相机沿给定轨迹前进 5 秒，然后原路返回 5 秒。一个真正记住了世界的模型，最后一帧应该和第一帧几乎一致。所有方法使用相同的首帧、文本描述和相机轨迹。

左上为真实视频，右上为 World-T³，下方为 SANA-WM 与 DreamX-AR；底部进度条中的白线为相机掉头的时刻

在更长的生成中，World-T³ 同样能保持记忆。下面是约 30 秒、包含多次近似重访的真实相机轨迹，模型一边生成一边持续更新记忆：

篮球场（3 倍速），从上到下依次为 World-T³、DreamX-AR、SANA-WM。

更多 World-T³ 生成结果如下，同样是 10 秒「去程 + 返程」轨迹，涵盖室内、室外、城市与自然场景：

World-T³ 更多生成结果（2 倍速）。

World-T³ 方法细节

阶段一：双向相机条件教师

第一阶段的目标是让预训练视频模型学会遵循相机的控制。作者们用 Plücker raymap 编码每一帧的相机：对潜空间网格上的每个位置，记录对应射线的方向与矩，构成一个与潜变量对齐的 6 通道相机场。相机场经过嵌入层后，通过 AdaLN 以「缩放 + 平移」的形式注入每一个 DiT 模块。

由于这一阶段使用双向注意力，模型生成每一帧时都能看到整段视频，从而把给定轨迹实现为一段连贯的运动。训练好的双向教师在后续阶段承担两个角色：为第二阶段的自回归模型提供初始化，并在第三阶段的分布匹配蒸馏中提供参考分数。值得一提的是，相同的视角会产生完全相同的射线图，这也为之后基于位姿的记忆检索打下了基础。

相机条件注入：Plücker 射线图通过相机相关的缩放与平移调制每个 DiT 模块。

阶段二：带 TTT 记忆的自回归教师

双向模型无法做实时交互，因此第二阶段要把它改造为块因果（block-causal）的自回归模型，并加入持久记忆。

在上下文设计上，生成第 b 个视频块时，模型只看两部分：第一个生成块作为持续提供信息的 sink，用来稳住整体外观；最近的 K 个干净视频块组成滑动窗口，保证块与块之间的局部连贯。上下文长度固定为 21 个潜帧，每个块的计算量不随生成长度增长。

窗口之外的历史则交给 TTT 记忆。每个 DiT 层都配有一个由两层 MLP 构成的快速权重记忆：第一层 W₁ 固定，负责把位姿键映射到非线性特征空间；第二层读出矩阵 W₂ 在生成过程中持续更新，存储累积的场景表示。一个关键设计是，记忆的 key 只来自相机射线图，value 来自干净（去噪完成）的隐状态，因此读写都与扩散噪声解耦。

当一个视频块被挤出上下文窗口时，它的射线图和隐状态分别经过位姿编码器与内容编码器，得到一对键值，随后被「巩固」进记忆。作者们把这一过程写成如下的带权岭回归问题，并推导出对应的递归最小二乘更新：

记忆巩固的优化目标（上）与递归最小二乘更新规则（下）。

其中 P 是累计位姿特征相关矩阵（加正则项后）的逆。更新方向 Pφ 相当于一个白化预条件器，会削弱已被记忆覆盖方向上的分量，只让真正新颖的残差去更新 W₂。由于 W₁ 固定，这一更新在每一步都给出目标函数的精确最小解，因此最终的记忆状态与观测的先后顺序无关。

读取时，模型以目标块的相机射线图为键做一次前向计算 ，再通过逐通道的门控残差注入该层的隐状态。训练（外循环）时，梯度会穿过递归更新，联合优化键投影、基础读出矩阵、编码器、样本权重和门控参数；部署时，主干和编码器全部冻结，只有 W₂ 和 P 随生成在线演化，每次写入都不需要对扩散 Transformer 做反向传播。

第二阶段：带 TTT 记忆的自回归教师。(a) 锚点块与最近 K 个干净块构成有界上下文，重访的视角可能落在窗口之外；(b) 写入时用递归最小二乘把被淘汰块的键值对巩固进记忆，读取时以目标位姿为键检索记忆特征；(c) 检索到的记忆通过门控残差注入每个 DiT 模块。

阶段三：双教师分布匹配蒸馏

第二阶段的自回归模型每个块需要 50 步采样，难以满足实时交互。第三阶段先通过一致性蒸馏把连续的流匹配离散为 4 步，再用分布匹配蒸馏（DMD）找回多步直接跳跃带来的画质与一致性损失。

与常见的单教师 DMD 不同，World-T³ 把真实数据分数拆成两个互补的来源：第一阶段的双向教师在固定时间窗口内评估画面，保证短程真实感与运动连贯；第二阶段带 TTT 记忆的自回归教师沿长序列评估，保证长程空间一致性。每位教师都配有一个结构相同的 critic 网络，在学生生成的样本上训练。特别地，在计算记忆分数之前，教师与 critic 的记忆都会先在学生自己的生成轨迹上完成写入，因此这一项会直接惩罚学生在自身 rollout 中累积的轨迹漂移和前后不一致。

工程优化：20.6 FPS 实时生成

在不改变模型结构和数值精度的前提下，作者们通过一系列推理优化把端到端速度提升了 3.12 倍：在 4 个去噪步之间复用记忆读取结果和 RoPE 旋转后的上下文键，复用不变的上下文前缀，再结合 torch.compile、FlashAttention-4、cuDNN 9 与 channels-last 布局的 VAE 解码、按卷积形状自动选择最快引擎、后台线程预取噪声等手段。生成一段 30 秒视频的端到端时间从 70.48 秒降到 22.59 秒，每个视频块的耗时从 1855 毫秒降到 589 毫秒。作者们还在算子级和完整生成两个层面验证了加速实现与原实现的数值一致性。

单张 GPU 上稳态视频块的耗时分解：优化前（#1）与优化后（#10）。

实验结果

评测设置。作者们从未参与训练的测试集中构建了 120 段「去程 + 返程」评测片段，每段 10 秒（160 帧，16 FPS，1280×704），相机在第 80 帧掉头原路返回。重访指标对比去程与返程中相机位姿相同的帧对，四组帧对的时间间隔（24–36 个潜帧）全部超过模型 21 个潜帧的上下文窗口，只有真正「记住」了场景的模型才能答对。评测同时报告 DINOv2 语义相似度、与真实视频对比的 PSNR、相机跟随误差（基于 VGGT-Ω 重建轨迹）和 VBench 画质分数。

重访评测集上的主要结果。

重访一致性大幅领先。与重访指标最强的基线 SANA-WM 相比，4 步的 World-T³ 把 DINOv2 特征距离几乎减半（0.0800 → 0.0390），PSNR 提升 4.79 dB（13.52 → 18.31 dB）。逐片段的配对检验显示，World-T³ 在 120 段中的 111 段上语义距离更低、112 段上 PSNR 更高；在其中 96 段上，它同时在这两项指标上超过所有基线。

相机跟随更准确。要准确重访，首先得准确走到指定位置。World-T³ 的绝对旋转误差从 SANA-WM 的 3.344° 降到 1.075°，相机矩阵误差从 0.1200 降到 0.0318。作者们指出，部分基线的相邻帧误差不大，绝对误差却很高，说明存在明显的累积漂移；而 World-T³ 在局部和全局两个尺度上的误差都更低。

画质保持在同一水平。在 7 个维度的 VBench 平均分上，World-T³ 为 74.52，与各基线（72.87–75.32）及真实视频（75.69）处于同一区间。

蒸馏有效保持记忆。从 50 步蒸馏到 4 步后，学生模型的重访 PSNR 稍有提升（16.69 → 18.31 dB），在 120 段中的 91 段上优于教师；四项相机指标与教师相比没有统计显著差异。代价是画质和局部一致性略有下降（VBench 从 75.15 降到 74.52）。

从「生成下一帧」到「维护一个持续存在的世界」，视频世界模型正在跨过一道关键的门槛。World-T³ 给出的答案是：不必把历史越存越多，而是用测试时训练把看过的世界写进模型参数，并用递归最小二乘保证每一次写入新信息。凭借固定大小的参数化记忆和双教师少步蒸馏，World-T³ 在单张 GPU 上同时做到了长时记忆与实时生成。

作者们也指出了当前的局限：模型依赖 VGGT-Ω 等三维基础模型提供相机轨迹，位姿估计误差会影响基于位姿的记忆检索；当生成长度远超训练长度时，画面仍可能出现细节退化。

在世界模型纷纷追求更大规模化的今天，World-T³ 提供了一条兼顾记忆与效率的路径，也希望能为实时、长时程的交互式世界生成带来新的启发。