MBench: 清华x腾讯联合定义视频世界模型的长期记忆能力

随着视频生成技术的发展，模型正在从短视频片段合成，向流式长视频生成演进。然而，仅仅做到视觉上的逼真是不够的。一个功能完备的视频世界模型，必须能够在长时序交互中保持稳定的内部状态，并遵循真实世界的物理定律与逻辑规则。

为了系统化地量化和评估这一核心能力，清华大学与腾讯微信视觉团队推出了MBench—— 一个专门针对流式视频生成模型和世界模型记忆能力的评测基准。

• 项目主页： https://peanutup.github.io/MBench-project/
• 代码仓库： https://github.com/study-overflow/MBench
• 排行榜链接：https://huggingface.co/spaces/study-overflow/MBench_Leaderboard

为什么关注 “记忆能力”？

虽然现有的视频生成技术已经可以合成视觉上可信的视频片段，但在走向长视频生成和功能性的世界模拟时，一个根本性的挑战依然存在：模型必须能够忠实地维持现实世界的视觉特征、语义规则、内在动力学和物理规律，并可靠地支持长时序的预测、推理与交互。如果缺乏这种能力，随着生成时间的延长或交互的增加，视频往往会出现物体和人物视觉特征突变、场景结构崩塌或因果关系错误等现象。

这种从 “视觉合成” 向 “世界建模” 的跨越，本质上需要模型具备长期记忆能力，以维持内部世界状态在长时序和复杂交互中的稳定性与一致性。

然而，当前的视频生成评测基准（如 VBench 等）主要侧重于单次短视频生成的视觉质量、运动连贯性或文本对齐。这些指标能够衡量生成的视频 “看起来真不真”，却忽略了对世界 “持久属性” 保留能力的量化。为了填补这一空白，系统性地衡量模型能否真正记住并模拟物理世界，MBench 首次将视频和世界模型在长时序下的记忆能力作为核心观测对象进行了专项基准测试。

MBench 和主流视频世界模型 benchmark 的比较

MBench 的多维度架构

MBench 基于 1040 个案例，将记忆能力解构为三个互补的核心维度，并进一步细分为 12 个可量化的子维度，涵盖了从静态属性到动态因果的全方位记忆要求：

MBench 的评测维度划分

• 实体一致性 (Entity Consistency)：

实体一致性关注模型保留个体参与者持久身份和属性的能力。包括物体一致性（几何、纹理）和人类一致性（身份特征、外观细节）。简单来说，就是当一个人或物体被遮挡、离开画面再回来时，它的样子、穿着、特征是否保持不变。

• 环境一致性 (Environment Consistency)：

环境一致性衡量模拟场景的稳定性。包括空间一致性（通过极线几何和重投影误差衡量 3D 布局）和渲染一致性（光照与风格的稳定性）。环境一致性考验的是模型对 3D 空间世界的理解能力 —— 当相机移动、旋转再回到原位时，房间的布局、场景的结构是否和之前保持一致；而渲染一致性衡量视频整体上光线的方向和整体的画面风格是否能保持一致。

• 因果一致性 (Causal Consistency)：

因果一致性衡量模型能否记住事件的因果逻辑，分为自演化和交互。这是最高级的记忆能力：例如，当一个物体正在被打碎，而相机移开再转回，地上应该产生相应的碎片；当你通过文本指令模型移动一个物体，模型应该准确执行并记住新的位置，即使物体在当前的画面中已经变得不可见。

针对生成随机性的评分机制：Trigger-Conditioned Scoring

在评估视频模型的记忆能力时，团队发现了一个主要的干扰因素（confound）—— 模型对记忆触发事件的响应能力存在差异。例如，对于文本条件模型，其生成的视频往往无法真正呈现提示词中要求的镜头运动、物体遮挡或动态变化；对于动作驱动的世界模型，也可能存在生成的视频无法正确响应相机运动的现象。这导致模型可能会通过生成静态或保守内容的方式来避开挑战，从而获得虚高的一致性评分。

为此，MBench 引入了触发条件评分（Trigger-Conditioned Scoring）机制，将得分拆解为两个部分：

1.触发覆盖率 (Trigger Coverage, C_trig)：验证模型是否成功执行了记忆挑战事件（如物体出镜再入镜）。

2.记忆可靠度 (Memory Reliability, S_rel)：仅在成功触发挑战的样本上计算一致性得分。

最终的 M-Score 取两者的调和平均数，旨在惩罚通过生成保守 / 静态内容来规避一致性挑战的行为，奖励那些既能模拟动态世界又能保持一致性的模型。

对 14 个主流 SOTA 模型的评测发现

MBench 对 8 个文本驱动模型和 6 个动作驱动模型进行了大规模评测，评测结果表明，目前并不存在单一模型可以在所有维度上都表现出色，记忆能力仍然是流式视频生成和世界模型的普遍瓶颈。

模型分数雷达图

实验评测结果

对实验结果进行分析，还可以得到如下发现：

• 空间与因果能力是主要瓶颈：评测结果显示，多数模型在长时序视角转换下的空间几何还原，以及涉及物理演化的因果逻辑保持上存在显著缺陷，难以找回消失的视图或延续画面外的物理过程。
• 动作驱动模型的 “偏科” 现象：动作条件模型虽然在空间稳定性指标上表现较好，但存在一个普遍的失效模式 —— 即倾向于生成过度静态的场景。这种方式虽然规避了空间坍缩，但模型实际上无法驱动复杂的物理演化。
• 视觉逼真度不等于记忆稳定性：实验证明，能够合成高质量、高保真画面的模型，在长时序记忆维度上不一定占优。这说明单纯的视觉生成指标无法替代对模型内部状态持久性的专项评估，证明了建立记忆能力基准的必要性。

从生成单张图片到合成分钟级视频，视频生成技术已经取得了令人瞩目的进步。然而，要实现能够理解、预测并进行交互的世界模型，并让流式视频生成保持长时一致性，我们仍有很长的路要走。而 “记忆”，正是构建这些核心能力的基石。MBench 揭示了当前主流模型在记忆能力上的真实边界，也为未来的研究指明了方向。

目前，MBench 已全面开源，开源内容包括：完整的 1040 个评测案例数据集、自动化评测代码与工具链、实时更新的公开排行榜，以及详细的技术报告与实验结果。相信在 MBench 的推动下，我们终将迎来能够 “记住世界、理解世界、预测世界” 的下一代视频世界模型。