世界模型学会了"该记住什么"：一场关于记忆取舍的实验

你有没有过这种经历：推理一道题的时候，脑子里突然冒出一个几天前看到的细节，恰好就是解题的关键。但更多时候，你记得的东西派不上用场，而真正有用的信息早就被你忘了。

人工智能的世界模型现在也遇到了一模一样的烦恼。

世界模型，是一类可以根据当前观察和动作预测未来会发生什么的人工智能系统。

它们被用来模拟游戏、导航、机器人操作等各种场景。比如一个智能体在房间里走来走去,世界模型要预测它接下来会看到什么画面。问题是,智能体走得越久,见过的东西就越多,而当前这一帧画面往往只是冰山一角。要准确预测未来,模型经常需要回忆起很久以前看到的某个场景。

这就引出了一个麻烦事：记忆越存越多,到底该翻出哪一段来用?

**一、当"记忆"变成一堆谁都不知道有没有用的旧照片**

目前主流的做法，是给世界模型配一个外部的"相册"，把每一帧历史观察都存起来，需要的时候再翻出来查。这种做法有个专门的说法。

情景记忆：把过去每一个独立的观察单独保存下来，供之后按需调取的记忆机制，和那种把所有信息压缩成一个不断更新的"世界状态"的持久状态记忆是两回事。

但翻相册这件事，说起来简单，做起来全是坑。目前的系统基本靠几条死规则来决定翻哪张：要么看时间，越新的越靠前；要么看位置，和当前视角重叠多的优先；要么看画面相不相似。

这些规则单独拎出来听着都挺合理，可现实场景一复杂就露馅了。论文里举了个例子：在一个拐了个弯的走廊里，按位置找记忆，系统可能选中隔着一堵墙的那张照片，看起来"近"，其实完全看不到你要去的地方。按画面相似度找，又可能被好几段长得差不多的走廊搞混。这时候反而是声音信息更靠谱，因为不同位置传来的回声和方位感是不一样的。

这就好比你让一个新来的助理帮你从文件堆里找一份三年前的合同。如果你只告诉他"找最近修改的那份"，他翻出来的可能是昨天随手改了格式的废稿。如果告诉他"找和这份长得像的"，他可能被封面模板一样的另一份合同骗过去。真正有用的线索往往是案子内容本身，但这恰恰是最难用简单规则描述的。如果死守一条规则不放，你永远会在某些场景里栽跟头，因为没有一条固定标准能应付所有情况。

这篇论文要解决的，正是这个"该相信哪个线索"的问题。研究者给自己提了一个挺尖锐的问题：模型能不能自己学会，什么样的记忆对预测未来有用，以及在拥有多种线索的时候，该相信哪一个？

**二、用"事后诸葛亮"训练"事前预判"**

研究者想出的办法叫做FAR，全称是面向未来的召回。

FAR：Future-Aware Recall的缩写，核心思路是用训练时已知的未来结果去打分，教会模型在推理时（还不知道未来）该相信哪些记忆线索。

这个思路乍一听有点像作弊，训练的时候我已经知道未来会发生什么了，这不就是开卷考试吗？但巧妙之处恰恰在这里：训练阶段确实能看到真实发生的未来，这时候就可以反过来问，如果当时调用了这段记忆，模型预测未来的准确度会提高多少？这个提高的程度，论文里叫做预测效用。

预测效用：衡量一段候选记忆对预测当前查询的未来观察有多大帮助的指标，具体用这段记忆条件下模型预测真实未来的对数似然来衡量，似然越高说明这段记忆越有用。

这就好比期末复习的时候，你手上有去年的考题和答案。你不会直接把答案背下来去考试，而是拿这些题目去反推，哪些知识点是重点，哪些复习资料真正帮你答对了题。等到真正考试的时候，答案你看不到了，但你已经从"事后验证"中学会了哪种复习方法有效，这时候再去复习新内容，就知道该把精力放在哪里。如果没有这个事后验证的过程，你只能凭感觉去猜重点，猜错了也不知道错在哪。

具体到技术实现，FAR用一个叫做似然的数学工具来量化这种"有用程度"。研究者证明了一个命题：预测效用和信息论意义上的"这段记忆到底带来了多少关于未来的新信息"之间存在一个数学上的下界关系。简单说，就是让模型在训练时去对比，调用了某段记忆之后预测准不准，用这个准不准的程度反过来去教一个召回器，让它学会什么样的记忆值得被翻出来。

而这个召回器本身，在真正使用的时候是看不到未来的，必须完全靠训练阶段学到的经验来判断。研究者管这个叫做"保持对未来盲目"，训练时开卷，考试时闭卷，但闭卷考试的答题思路，是从开卷训练里磨出来的。

**三、一个模型，四种线索，自己学会该信谁**

光是让模型学会"记忆有没有用"还不够，因为现实中可用的线索往往不止一种。FAR同时处理了四类线索。

多线索融合：FAR并不只依赖单一的检索标准，而是同时考虑时间、位置姿态、视觉画面、声音这四种可用线索，为每种线索单独打分，再通过一组随查询变化的权重把这些分数融合起来，决定最终该相信哪条线索。

这里最有意思的设计是，这个权重不是固定的，而是随着每一次查询动态变化的。换句话说，面对不同的场景，模型会自己判断这次该多相信视觉画面，还是多相信声音。

论文里有个特别生动的例子。在一个用声音做辅助导航的环境里，智能体正走在走廊里，需要预测走廊深处的场景。按最近时间找记忆，找到的那张照片方向是对的，但看不清远处。按视角重叠度找，找到的还是同一张，因为它恰好和目标视角重叠最多，照样看不清。这时候FAR学会了去看声音线索，找到一张虽然在空间上没那么直接重合，但声音特征和目标位置更吻合的记忆，这张照片恰好没有被走廊拐角挡住视线，预测结果明显更准。

这就像你在陌生城市找一家餐厅，导航软件给你标的是直线距离最近的一个点，但那条路其实被工地围挡死死堵住了。这时候如果你问问路边的人，他们会告诉你声音传来的方向，或者说哪条小路能绕过去。地图上的直线距离是一种线索，但不是唯一正确的线索，有时候反而是最不靠谱的那个。如果系统死认着距离这一个标准，就永远走不出这个死胡同。

论文还做了一个很扎实的量化实验，用来验证这种自适应融合到底值不值。在一个叫SoundSpaces的室内导航环境里，研究者做了两组对照，一组探索时密集扫描周围环境，记忆库比较丰富；另一组只在起点和终点扫描，记忆非常稀疏。实验发现，当记忆丰富时，光靠位置时间信息就够用了，声音带来的提升比较有限。但一旦记忆变得稀疏，返回路程变长，声音这条线索的价值就迅速凸显出来，在画面相似度和感知相似度两个指标上的优势都在随着路程拉长而扩大。这说明模型真的学会了看情况下菜，而不是机械地把所有线索一股脑堆在一起。

**四、世界变了，记忆也得跟着变**

如果说前两部分解决的是"该信哪个线索"，第三个实验场景解决的是一个更棘手的问题：如果世界本身发生了变化，旧的记忆还能用吗？

研究者在AI2-THOR这个可交互家居环境里做了测试。智能体探索的过程中会随手挪动物体，比如把一个西红柿从桌子上拿起来放进冰箱。等它回程再次经过冰箱的时候，画面上冰箱是关着的，但冰箱里到底有没有西红柿，取决于之前是否发生过"放进去"这个动作。

这时候如果检索系统只按姿态匹配，哪怕视角一模一样，取到的记忆也可能是放东西之前的旧状态，模型预测出来的画面就会出错。论文里有个很扎心的例子，对照组的WorldMem系统因为优先选择了视角重叠度高但状态陈旧的记忆，预测出来的画面里西红柿居然还幻觉般地出现在原来的桌子上，而实际上它早就被放进冰箱了。FAR则正确地回忆起那次放置动作，生成的画面里冰箱打开后能看到西红柿在里面。

这个实验还设计了一组特别聪明的对照实验，叫做反事实预测。研究者构造了两条轨迹，当前的观察画面和动作完全一样，都是面对一个关闭的冰箱，执行打开的动作，但两条轨迹之前发生的历史不一样，一条里放过西红柿，一条没有。结果FAR针对两种不同的历史，生成了两种不同但都正确的未来画面，证明预测结果真的是依赖于召回的历史，而不是只看当前这一帧画面。

这就好比两个人问你同一个问题，昨天晚上你有没有锁门。如果你只盯着今天早上门是关着这个事实回答，你永远说不准。真正靠谱的答案，得从你昨晚离开前的记忆里去找，锁没锁，是你当时的动作决定的，不是今天看到的门的状态能告诉你的。一个只认"眼前状态"不认"历史动作"的系统，注定会在这种场景下露馅。

研究者还做了一个更极端的测试，叫做场外动态预测，就是预测一个当前根本看不见的、正在独立移动的第二个智能体接下来会出现在哪儿。按时间或位置检索的系统准确率只有百分之四十左右，而FAR光靠时间位置信息就能做到百分之六十七，加上一个专门针对这个移动智能体设计的观察线索后，准确率直接冲到百分之九十四点五。这组数字的差距相当直观：十次预测里，旧方法能对四次，FAR能对九次多。

**五、拆开来看，每个零件都在出力**

论文还做了一组很细致的消融实验，一步步拆解FAR里每个组件到底贡献了多少。

从一个单纯冻结权重的预训练视觉编码器开始，效果已经比几个基线方法都强。加上一个轻量的适配层去调整查询表示，分数又涨了一截，说明视觉相似度这个线索本身也需要针对预测任务做一些微调，不能直接拿通用的视觉特征来用。再加入元数据线索，用固定权重做简单融合，分数继续提升。最后让融合权重变成可学习的，而不是人为设定的固定值，效果达到最好。

这组实验说明的道理挺朴实：每一步改进单独拿出来看好像都不起眼，但叠加起来差距相当可观。而且最后学出来的自适应权重比人为拍脑袋定的固定权重更好，这也印证了前面那个核心观点，不同线索在不同场景下价值不一样，与其让人去猜一个折中方案，不如让模型自己通过训练去找到最优解。

**写在后面**

读完这篇论文，有一个细节让我反复琢磨：FAR处理记忆的方式，其实暴露了一个被忽略已久的问题，我们一直在教机器"记住"，却很少认真教机器"该记住什么才算有价值"。这两件事听起来接近，实际差别很大。记住是存储能力，判断价值是一种更接近人类直觉的能力，而这种直觉在人类身上往往是靠无数次试错攒出来的经验，不是一条规则能写死的。

另一个让我意外的地方是那个反事实预测实验。研究者没有满足于证明FAR比基线方法分数高，而是设计了一组当前观察完全相同、仅历史不同的对照轨迹，专门去验证模型的预测到底有没有真的用上历史信息，而不是蒙对的。这种验证思路本身挺值得学习，它不是在证明"我做得更好"，而是在证明"我做的这件事确实是我说的那件事"。

这篇论文也留了一些没解决的口子，比如记忆该怎么写入、怎么压缩、什么时候该被遗忘，论文里坦诚地说这些都留给未来的研究。遗忘这件事其实挺耐人寻味的，人类大脑的遗忘很多时候不是bug，而是一种主动的信息筛选机制。如果有一天世界模型也要学会"主动遗忘"，那会是什么样子？

Q&A

Q1：FAR是什么？

A：FAR全称Future-Aware Recall，是一种让世界模型学会判断哪些历史记忆对预测未来有用、并自动决定该相信时间、位置、视觉、声音中哪种检索线索的框架，训练时用真实发生的未来结果打分，推理时则完全不依赖未来信息。

Q2：FAR和WorldMem这类已有方法比起来优势在哪？

A：WorldMem等方法依赖固定规则，比如按最近时间或视角重叠度选记忆，容易在走廊拐角、物体状态变化等复杂场景里选错。FAR通过训练阶段的预测效用打分，学会哪段记忆真正有助于预测，同一类线索下表现也优于手工设计规则，比如在LoopNav数据集上DreamSim误差降低了19%。

Q3：FAR是怎么处理环境状态发生变化导致记忆过时的问题的？

A：在AI2-THOR这类可交互环境里，FAR能结合交互历史而不只是当前画面来判断物体真实状态，比如正确区分冰箱是否放过西红柿，避免像WorldMem那样因为选中状态过时但视角匹配的记忆而产生幻觉预测。