美团联合南开大学新突破：一个能记住1000帧历史的AI世界模拟器

如果你有一个永不忘记的虚拟向导，能完美记住你在虚拟世界里走过的每一条路、看过的每一个场景，即使你转了几百个弯后又回到原点，它仍然能准确还原你最初看到的那扇窗、那张桌子。南开大学和美团的研究团队在2026年2月刚刚发布的Infinite-World系统，就实现了这个看似不可能的目标。

南开大学联合美团和香港科技大学的研究团队共同完成的成果，一经发布就引起轰动。它解决了AI世界模拟中一个长期困扰研究者的核心难题：如何让虚拟世界保持长时间的连贯性和可控性。

为什么我们需要一个"记忆力超群"的虚拟世界？

在解释Infinite-World的突破之前，我们先来聊聊为什么"记忆力"对虚拟世界如此重要。设想你在玩一个第一人称探索游戏，从客厅走到厨房，再转到卧室，最后又回到客厅。如果游戏的"记忆"不够好，你回到客厅时可能会发现：咦，沙发怎么变颜色了？窗户怎么跑到另一边去了？这种体验会让人瞬间出戏。

传统的AI视频生成模型就面临这样的困境。它们就像一个健忘的画家，只记得最近几秒钟看到的东西，稍微久一点的记忆就模糊了。当你在虚拟世界里转了几圈回到原点时，AI已经"忘记"这里原本长什么样了，只能凭想象重新画一遍，结果当然是面目全非。

更麻烦的是，现有的AI模型主要在游戏引擎等"完美世界"里训练。在这些模拟环境中，每个物体的位置、摄像机的角度都有精确的数字记录，就像有个全知全能的上帝视角。但真实世界的视频可没有这样的"上帝视角"，摄像机会抖动，画面会模糊,估算出来的位置信息充满误差。如何让AI在这种"不完美"的真实世界数据上学会记忆和控制，这就是Infinite-World要解决的核心问题。

研究团队发现，问题的症结在于三个关键障碍。第一是"不准确的指南针"，真实视频的位置信息都是估算出来的，就像一个总是指错方向的指南针，让AI学不会准确响应你的控制指令。第二是"缺少回头路"，网上收集的大多数视频都是"一路向前"的，摄像机很少回到之前拍过的地方，这让AI根本没机会学习如何记住远处的场景。第三是"记忆力的计算成本"，传统方法要么需要那个"不准确的指南针"来寻找历史画面，要么简单粗暴地压缩历史信息导致大量细节丢失，要么就是内存消耗随着时间线性增长最终撑爆电脑。

面对这三座大山，Infinite-World给出了一套创新的解决方案，让AI能在真实世界的"不完美"数据上学会超长记忆和精准控制。

像图书管理员一样整理历史记忆

Infinite-World的第一个创新是设计了一个叫做"分层无姿态记忆压缩器"（HPMC）的系统。这个名字听起来很学术，但它的工作原理其实可以用图书馆管理来类比。

想象你是一个图书管理员，需要整理越来越多的书籍。如果把所有书都堆在桌上，很快就会堆成山，既找不到想要的书，桌子也会被压垮。聪明的图书管理员会怎么做呢？他们会建立一个分层管理系统。

首先是"本地整理"阶段。当新书进来时，管理员会先把它们放在工作台上，快速浏览并记下关键信息，然后把几本相关的书打包成一个专题集合。这就像HPMC对最近的画面做的事情，它用一个时间编码器扫描最近的视频帧，把原本的大量画面压缩成精炼的"摘要"，压缩比是4:1。

但是随着时间推移，即使是这些"摘要"也会越来越多。这时候就需要"全局整理"了。图书管理员会定期把工作台上的专题集合进一步归档：把相关的专题合并，提取最核心的要点，形成更高层次的目录索引。HPMC也是这样，当历史画面的摘要超过一定长度时，它会启动"滑动窗口采样"机制，把历史分成若干个重叠的时间段，对每个时间段先做局部压缩，然后把所有局部压缩的结果再拼接起来做一次全局压缩。

这种分层压缩的巧妙之处在于：无论你在虚拟世界里探索多久，HPMC最终保留的"记忆预算"都是固定的，就像无论图书馆有多少藏书，你的目录索引永远只占一个书架。在Infinite-World的实现中，即使处理超过300帧的历史画面，最终压缩后的记忆只占20个固定单元的空间。这意味着计算成本不会随着探索时间无限增长，电脑内存也不会爆炸。

更重要的是，这个压缩器不是独立工作的，而是和整个AI视频生成系统一起训练。这就好比图书管理员不是按照固定规则死板分类，而是在工作中逐渐学会什么信息最重要、什么可以简化。通过这种联合训练，HPMC学会了自动识别哪些历史画面对未来生成最关键，比如那扇标志性的窗户、那个特殊的家具布局，并重点保留这些信息。

最妙的是，整个过程完全不需要"上帝视角"的位置信息。传统方法需要知道"摄像机在坐标(x,y,z)看向角度θ"这样精确的数据才能检索历史画面，但HPMC完全是数据驱动的，它通过大量训练自己学会了什么画面该记住、什么可以遗忘，不依赖任何外部的位置估算。这就像一个经验丰富的图书管理员，不需要复杂的编号系统，凭借多年积累的经验就能准确找到需要的书。

通过这种分层压缩机制，Infinite-World实现了一个看似矛盾的目标：既能记住超过1000帧的漫长历史，又能将计算成本控制在恒定水平，而且完全不依赖容易出错的位置信息。

给动作指令装上"噪音过滤器"

解决了记忆问题，接下来面临的挑战是如何让AI准确响应用户的控制指令。这个问题在真实世界数据上尤其棘手，因为从视频中估算出来的"摄像机运动"信息充满了噪音和误差。

研究团队设计了一个巧妙的"不确定性感知动作标注"策略。为了理解这个策略，让我们用交通信号灯来类比。

传统的方法像一个只有"红灯"和"绿灯"的简单信号系统：要么判断有运动（绿灯），要么判断没运动（红灯）。但真实世界的摄像机运动往往介于两者之间，可能是轻微的抖动、缓慢的漂移，或者是位置估算的误差。如果把这些模糊情况都硬塞进"红灯"或"绿灯"，就会把AI搞糊涂：它分不清到底是真的该往前走，还是只是摄像机抖了一下。

Infinite-World引入了一个"黄灯"状态，把运动分成三类：明确的"不动"、明确的"动作指令"，以及处于灰色地带的"不确定"。具体怎么判断呢？研究团队设置了两个阈值，就像设置了两条界线。

第一条界线是"噪音底线"τ1，就像规定"移动幅度小于1厘米就当作没动"。如果摄像机位置或角度的变化低于这个底线，那肯定是噪音或抖动，标记为"不动"。第二条界线是"动作触发线"τ2，比如"移动幅度大于5厘米才算真正的动作"。超过这条线的，就明确标记为具体的方向指令：向前、向后、左转、右转等等。

关键创新在于中间的灰色地带，那些既不够小到可以忽略、又不够大到确信是真实动作的信号。传统方法会丢弃这些数据或者强行分类，但Infinite-World选择保留它们，明确标记为"不确定"。这样做的好处是什么呢？

首先，它保留了视频的时间连续性。训练视频模型需要连贯的序列，如果把所有不确定的帧都删掉，视频就变成了一堆不连贯的碎片。其次，它保护了AI的"判断力"，AI在训练时会学到"遇到不确定信号时不要做出确定动作"，而不是把噪音当作真实指令去执行。这就像教孩子"当你听不清别人说什么时，不要瞎猜，而是问清楚"。

这个三分法还体现在具体实现上。研究团队把6自由度的摄像机运动（三个方向的移动+三个角度的旋转）拆分成"平移"和"旋转"两个独立维度，分别应用这套三分逻辑。平移幅度大的映射为W、A、S、D四个方向键，旋转幅度大的映射为左转、右转、抬头、低头。而那些幅度处于中间地带的，就都保留为"不确定"状态。

为了确保动作信号和视频画面精确对齐，研究团队还设计了一个巧妙的时间同步机制。动作编码器使用了两层1D卷积，步长设为2，这样就实现了4倍的时间下采样，恰好和视频压缩后的时间分辨率一致。经过处理的动作信号直接加到视频的隐藏表示上，实现了逐帧的精确匹配。

这套策略让Infinite-World即使在充满噪音的真实世界视频上训练，也能学会精准响应用户指令。当你按下"向前"键，虚拟世界就真的向前移动，而不是因为训练数据中的噪音而胡乱移动。这在后续的实验中得到了验证，Infinite-World的动作响应能力评分达到1.54，几乎追平了在完美数据上训练的HY-World-1.5(1.50分)，这在用真实世界噪音数据训练的模型中是前所未有的成就。

用30分钟"激活"长期记忆

解决了记忆压缩和动作控制的技术问题后，研究团队面临一个新的疑问：到底需要多少数据才能让AI学会长期记忆？是不是得拿海量视频"喂"几个月才行？

为了回答这个问题，研究团队做了一个有趣的"玩具实验"。他们搭建了一个简化版的3D虚拟场景，在这个完全可控的环境里测试AI的记忆能力。实验结果让人大吃一惊，也彻底改变了他们的训练策略设计思路。

第一个发现是"记忆的高效激活"。当训练数据只有10到50个视频序列时，AI就已经能够初步参考历史画面了，虽然效果还不够稳定，但已经显示出记忆的苗头。而当数据量增加到100个序列时，AI的空间记忆能力就基本成熟了，能够准确识别回到之前去过的地方，并正确还原那里的场景布局。研究团队继续把数据量扩大到1000个序列，却发现性能提升微乎其微。

这个结果打破了"数据越多越好"的常规认知。关键不在于训练序列的绝对数量，而在于这些序列的"拓扑密度"，也就是说，重要的是有多少轨迹会重复访问同一个地点，形成"回路"，而不是有多少条完全不同的轨迹。这就像学习认路：走一百条不同的路可能不如反复走同一条路三次有效。

第二个发现更加关键，揭示了长期记忆的"时间窗口限制"。研究团队发现，AI的记忆能力严格受限于训练时见过的最长时间跨度。他们的实验中，模型在训练时最多见过4个时间块（chunk）的历史。当测试时要求它记住6个时间块的历史时，灾难发生了，记忆系统完全崩溃，画面出现严重的错乱和幻觉，之前建立的空间一致性荡然无存。

这就像训练一个人的短期记忆：如果你只练习记住5个数字，突然让你记住10个数字，你的记忆策略就完全失效了。AI也是如此，如果训练时从未见过超过某个时长的序列，它的记忆机制就没有学会处理更长时间跨度的能力。

基于这两个洞察，研究团队设计了一个两阶段的训练策略。第一阶段是"开放域预训练"，使用从互联网收集的大规模真实世界第一人称视频，总时长超过30小时。这个阶段的目标是让AI学习丰富多样的视觉先验知识和局部动态规律。由于网络视频大多是"线性的"（摄像机一路向前，很少回头），这个阶段并不期望AI学会长期记忆，所以训练时历史窗口限制在4个时间块以内。

第二阶段是关键的"记忆激活"。研究团队专门收集了一个30分钟的"回访密集数据集"（RDD）。这个数据集虽然规模很小，但精心设计：每段视频都包含大量的往返轨迹，摄像机会反复回到之前拍摄过的位置，形成密集的"回路"。而且，这些视频的时长都很长，训练时会暴露AI到最多16个时间块的历史，远超预训练阶段的4个。

为了保证数据质量，研究团队使用iPhone 17 Pro的"运动模式"录制这些视频。运动模式能有效减少摄像机抖动和运动模糊，确保提取的位置信息尽可能准确，动作标注尽可能清晰。虽然RDD只有30分钟，远小于预训练的30多小时，但正如玩具实验所揭示的，激活记忆需要的不是数据量，而是轨迹的回访密度和时长。

在RDD上微调时，研究团队还启用了HPMC的"分层压缩"模式，以处理这些超长的历史窗口。最终结果证明了这个策略的有效性：仅用30分钟的精心设计数据，就成功激活了Infinite-World的1000帧长期记忆能力。

这个发现对整个领域都有重要启示：训练长记忆的世界模型，瓶颈不在于堆数据，而在于数据的"时空拓扑结构"，需要长时长、高回访密度的轨迹数据。这也解释了为什么许多现有方法即使在海量数据上训练，也难以实现稳定的长期记忆。

实验验证：数字和体验都在说话

一个AI模型到底好不好，光说不练假把式，得拿真实数据和用户体验来验证。研究团队设计了一套全面的评测体系，从客观指标到主观感受，从短期表现到长期稳定性，多角度检验Infinite-World的实力。

首先是评测基准的构建。为了公平比较，研究团队创建了一个包含100个多样化场景的测试集，覆盖室内、街道、自然和奇幻四大类。他们用大模型Gemini生成100个文本提示词，再用Nanobanana图像生成模型为每个提示词创建一张高质量的初始场景图。然后，为了考察长期交互能力，他们手工设计了10条代表性的长轨迹（每条16个时间块），每个场景随机分配一条轨迹进行模拟。这样就得到了一个标准化的测试床，所有模型都从相同的起点出发，执行相同的动作序列，方便直接对比。

竞争对手的选择也很有代表性。研究团队挑选了四个当前最先进的交互式世界模型：HY-World 1.5，使用视野重叠检索机制实现记忆，在合成和真实数据混合训练；Hunyuan-GameCraft，在AAA游戏视频上优化，追求高保真渲染；Yume 1.5，完全在真实世界数据上训练，使用均匀时间下采样来压缩历史；Matrix-Game 2.0，在大量UE5和GTA5合成数据上训练，强调3D一致性。这四个对手各有所长，有的擅长短期质量，有的侧重记忆机制，有的在完美数据上训练，覆盖了当前技术的不同路线。

客观指标方面，研究团队使用VBench评测套件，重点关注运动平滑度、动态程度和成像质量三个维度。值得注意的是，他们刻意排除了"主体一致性"和"背景一致性"这两个常用指标，因为在场景探索任务中，视角大幅度移动，主体和背景本来就会变化，用这些指标反而会误导评价。

结果显示，Infinite-World在所有VBench维度上都达到最佳或次佳。运动平滑度0.9876，动态程度满分1.0，成像质量0.7159，综合平均分0.8119。虽然Yume 1.5在平均分上略微领先(0.8141)，但这主要是因为它的参数规模大得多（50亿参数对比Infinite-World的13亿）。而且从后续的视觉对比中可以看出，Yume 1.5的高分部分来自于它实际上很少执行复杂的视角转换，它倾向于简单地"向前走"，避开了生成视野外新内容的难题，自然得分会高一些。

更有说服力的是用户研究。研究团队招募了30位计算机视觉或交互媒体背景的志愿者，设计了一个双盲对比网页。每次试验中，系统随机选择两个模型生成的结果并排展示，方法名称和左右位置都是随机的，确保评测公正。由于每个对比需要仔细观看长达几分钟的视频，为防止疲劳影响判断质量，每位参与者只完成10次对比，总共收集了300次高质量的成对比较。

参与者从三个细分维度打分：视觉质量（时间稳定性和美学保真度）、记忆能力（特别是回到之前位置时的场景一致性）、动作响应能力（控制指令的准确性和即时性）。此外还要选出整体更好的一方，用于计算ELO评分，一个借鉴自国际象棋的全局排名系统。

结果令人印象深刻。Infinite-World获得了1719的ELO评分，大幅领先第二名HY-World-1.5的1542分，优势达177分。在细分维度上，记忆一致性排名1.92（越低越好），视觉保真度排名1.67，都是最佳成绩。这证明了HPMC的分层记忆压缩确实有效缓解了千帧级别的误差累积。

最值得关注的是动作响应能力，Infinite-World的排名是1.54，几乎追平HY-World-1.5的1.50。考虑到HY-World-1.5是在有完美标注的合成数据上训练的，而Infinite-World使用的是充满噪音的真实世界视频，能达到同等水平的响应准确度，充分验证了"不确定性感知动作标注"策略的价值。

从视觉对比中也能清楚看到差异。Matrix-Game 2.0虽然每一帧的局部质量很高，但缺乏视野外记忆机制，转过几个弯后就找不着北了。Hunyuan-GameCraft能保持粗略的场景持久性，但细节会逐渐模糊。HY-World-1.5在短期内表现不错，但长时间后会出现重影和结构扭曲。Yume 1.5虽然在真实数据上训练，却受困于运动分布偏差，由于训练视频大多是向前移动，它养成了"无论什么指令都倾向于往前走"的习惯，难以执行复杂的视角变换和回访验证。

相比之下，Infinite-World在数百帧后仍能保持全局地标的准确性，成功实现了其他模型失败的长距离回路闭合。例如在一个室内场景中，摄像机转了几百帧后回到起点，Infinite-World能精确还原最初那扇特征窗户的位置和桌椅的布局，而竞争对手要么把窗户画到了错误位置，要么整个房间结构都变形了。

消融实验：分层压缩的优势

为了进一步分析各模块的贡献，研究团队做了消融实验。他们发现，RDD微调是激活长期空间记忆的主要驱动因素，记忆一致性得分从2.40提升到1.83。有趣的是，RDD微调还显著改善了动作控制（从2.95提升到1.61），因为这些精心录制的回访密集视频本身就有稳定一致的动作模式，帮助AI学习了更流畅的动作响应映射。而不确定性感知动作标注（UAL）在不同训练阶段都带来了持续改进，动作响应得分提升约30%，验证了这个策略确实有效屏蔽了位置估算噪音的干扰。

在计算效率方面，对比实验清楚展示了分层压缩的优势。不压缩的基线方法在超过180帧时就会耗尽80GB显存而崩溃；直接压缩虽然降低了增长速率，但内存占用仍呈线性趋势；而Infinite-World的分层压缩在初期增长后很快达到平台期，稳定在约45GB，即使推理到1300帧以上仍然保持这个水平。这种接近常数的内存占用，是实现千帧级长期模拟的技术基础。

至顶AI实验室洞见

说到底，Infinite-World通过一套完整的技术方案，让AI世界模拟在真实数据上首次达到了1000帧以上的稳定记忆和精准控制。这不仅仅是数字上的突破，更代表了从"合成数据依赖"向"真实世界泛化"的关键一步。无论是自动驾驶的场景模拟、机器人的环境理解，还是虚拟现实的沉浸体验，都需要这样既能长期记忆又能实时响应的智能系统。研究团队的开源承诺也意味着，这些技术突破将惠及更广泛的研究社区，推动整个领域向前发展。

当然，任何技术都有继续改进的空间。研究团队在论文中坦诚指出，尽管Infinite-World在记忆和控制上取得了突破，仍有进一步优化的方向。比如引入自强制机制或改进噪声调度来进一步缓解累积漂移，通过模型蒸馏和扩展到更大规模的骨干网络来提升推理速度和视觉保真度等。但瑕不掩瑜，Infinite-World已经为真实世界的神经模拟器奠定了坚实的基础。

就像研究团队在论文影响声明中所说的，他们既为AI世界模拟的进步感到兴奋，也清醒认识到高保真视频生成技术可能被滥用的风险。如何在技术进步和伦理责任之间找到平衡，是整个领域共同面对的课题。不过，通过将研究成果开源并详细记录技术细节，Infinite-World为社区提供了一个透明、可审查的范例，这本身就是负责任AI研究的重要一步。

论文地址：https://arxiv.org/abs/2602.02393v2

END本文来自至顶AI实验室，一个专注于探索生成式AI前沿技术及其应用的实验室。致力于推动生成式AI在各个领域的创新与突破，挖掘其潜在的应用场景，为企业和个人提供切实可行的解决方案。

Q&A

Q1：Infinite-World能在普通电脑上运行吗？

A：从论文透露的信息看，训练需要16块NVIDIA H800 GPU，推理时稳定在45GB显存，这超出了普通消费级显卡的能力。目前更适合研究机构或云端部署，但随着模型蒸馏和优化技术的应用，未来可能会有更轻量的版本。

Q2：30分钟的RDD数据集会不会太少，限制了模型的泛化能力？

A：这恰恰是研究的关键发现，长期记忆的激活不依赖数据总量，而依赖轨迹的回访密度和时长。30分钟的精心设计数据能有效激活记忆机制，而前期的30多小时预训练已经提供了丰富的视觉泛化能力。两阶段训练策略正是针对不同目标的合理分工。

Q3：Infinite-World会取代游戏引擎吗？

A：短期内不会。游戏引擎提供的是完全可控、物理准确的虚拟世界，而Infinite-World是基于学习的生成模型，更擅长模拟真实世界的视觉风格和动态，但在精确控制和交互逻辑上还有差距。两者更可能是互补关系：游戏引擎生成合成训练数据，世界模型提供自然视觉和内容生成能力。