CVPR 2026｜AI开始会拍电影了：一分钟十镜头，全程不崩剧情

安照崇现为哥本哈根大学博士生，隶属于 Pioneer Centre for Artificial Intelligence 和 ELLIS 项目，导师为 Serge Belongie 教授。他于 2023 年获得苏黎世联邦理工学院（ETH Zurich）计算机科学硕士学位，导师为 Luc Van Gool 教授。他的研究方向主要包括三维理解、视频生成以及多模态模型。

多镜头视频生成是自然世界叙事的重要表达形式，也是视频生成领域中一个挑战性的研究方向。

与单镜头视频不同，多镜头视频并不是简单地把几个片段拼接起来，而是要求模型同时处理两类信息：一类需要在不同镜头之间保持稳定，例如人物身份、环境主体和故事主线；另一类则需要随着叙事自然变化，例如视角切换、动作推进和场景转场。

这一任务通常可以定义为：给定每个 shot 的 prompt，以及一个可选的初始图像作为首帧条件，模型需要生成多个 shot，并同时维持跨 shot 的内容一致性和对每个 shot prompt 的准确遵循。

这意味着，模型必须能够持续维护长程的跨镜头上下文。然而，现有方法大致存在两类局限：一类方法依赖固定窗口，在窗口内同时生成多个 shot，但随着窗口滑动，较早镜头的信息会被丢弃；另一类方法先生成各 shot 关键帧，再以关键帧为条件生成各 shot，但这样限制了 shot 间交互，难以有效传递 shot 内更复杂的叙事细节。

最近，来自 Meta 与 University of Copenhagen 的研究者提出了 OneStory: Coherent Multi-Shot Video Generation with Adaptive Memory（收录于 CVPR 2026）。

论文地址：https://arxiv.org/pdf/2512.07802

这项工作聚焦于一个核心问题：如何在生成多镜头视频时，有效保留长程跨镜头上下文，从而实现更强的叙事一致性。其核心思路，是为多镜头视频生成建立一种全局但紧凑的跨镜头记忆机制。

图 1 OneStory 可生成分钟级、十镜头的长视频故事，在复杂叙事推进过程中保持人物与场景的一致性；同时统一支持 image-to-multi-shot 与 text-to-multi-shot 两种生成设置，并在 out-of-domain 场景中展现出良好的泛化能力。

OneStory 做了什么？

图 2 OneStory 的训练与推理流程示意图。训练阶段，模型以前两个 shot 为条件生成第三个 shot；推理阶段，模型根据输入 caption 按 shot-by-shot 的方式逐步生成多镜头视频。

OneStory 首先将多镜头视频生成重新表述为一个更自然的问题：next-shot generation。也就是说，模型不再一次性生成整段长视频，而是像讲故事一样，基于前面已经生成的镜头，生成下一个镜头（每个镜头同时生成）。这样的设定实现了shot-by-shot的自回归式多镜头生成。

与此同时，OneStory 以预训练的 image-to-video 基础模型作为初始化，因此可以自然继承基础模型本身强大的视觉条件生成能力。通过这样的任务重构，OneStory 的第一个 shot 可以由用户通过使用任一 text-to-video 或 image-to-video 模型得到，而后续 shot 则由 onestory 根据输入的shot prompt 逐步生成。

也正因如此，OneStory 能够在同一个模型中统一支持text-to-multi-shot video和image-to-multi-shot video两种生成方式。

图 3 OneStory 中 Frame Selection 和 Adaptive Conditioner 的结构示意图。两者共同实现了自适应记忆建模，从而支持全局但紧凑的跨镜头上下文表示，用于连贯的叙事生成。

在此基础上，OneStory 设计了两个关键模块。

1. Frame Selection：找到真正相关的历史 memory

并不是所有前序镜头对当前镜头的生成都同等重要。

例如，第 1 个镜头中出现主角，第 2 个镜头切换到配角，第 3 个镜头又回到主角。那么在生成第 3 个镜头时，第 1 个镜头往往比第 2 个镜头更关键。基于这种跨镜头相关性不均等的现象，OneStory 引入了Frame Selection模块，从所有历史镜头中自动挑选出与当前镜头 prompt 在语义上最相关的一些帧，作为当前 shot 生成时的 memory。

这一设计不仅避免了固定窗口滑动带来的遗忘问题，也使模型能够真正构建起全局的跨镜头上下文。

图 4 与以往方法按时间顺序机械分配 patchifier 不同，Adaptive Conditioner 根据内容相关性动态分配不同粒度的 patchifier，从而更高效地利用跨镜头记忆。

2. Adaptive Conditioner：把 memory 压缩成高效条件信息

仅仅 「记住」还不够，如何高效地将这些历史信息输入生成器同样关键。

OneStory 的Adaptive Conditioner会根据 Frame Selection 模块预测的重要性，对选中的历史帧进行自适应patchification：更重要的信息保留更细粒度的表示，不那么关键的信息则被更强地压缩。这样一来，模型就在计算成本可控的前提下，将历史上下文转化为紧凑而有效的条件信号，并直接注入生成过程。

图 5 多 shot 视频数据收集流程

此外，论文没有沿用「整段故事需要一个总脚本，再辅以分镜头定义」的数据构建方式，而是仅保留分镜头 prompt，并将每个镜头写成带有前文指代关系的描述。这样的数据形式更贴近真实的故事讲述逻辑，也让用户的提示控制更加简化。

实验结果

图 6 定性比较结果。OneStory 能够更忠实地遵循 shot-level captions，生成在内容和叙事上更加连贯的多镜头视频。

各实验表明，OneStory 能够在复杂提示不断变化的情况下持续推进叙事，同时保持人物和环境的一致性。论文中也提供了对 OneStory 在复杂叙事场景中的表现分析，包括：

• 外观变化下的人物一致性保持
• 从大全景到局部特写时的空间定位能力
• 人与物体交互发展过程中的叙事延续能力

这些现象说明，OneStory 学到的并不只是表层的视觉连续性，而更接近于一种跨镜头叙事理解能力。

OneStory 的意义是什么？

如果说单镜头视频生成解决的是「把一段画面做出来」，那么多镜头视频生成真正要解决的，就是「把一个故事讲下去」。

OneStory 给出的答案是：不是一味拉长上下文窗口，也不是依赖单张关键帧，而是通过自适应记忆建模，在全局信息建模能力和计算效率之间找到平衡。它让模型在跨镜头生成时，既能够记住过去，又不会被冗余信息淹没。

对于长视频生成和可控世界模型而言，这是一条非常值得关注的方向，因为 OneStory 为视频模型提供了一种有效的自适应 memory 管理机制，也为更长时程、更高一致性的视频生成打开了新的可能。