借来的记忆：当一个AI的知识库被安到另一个AI脑子里

你有没有想过这样一个问题：如果一个人脑子里装了一整套百科全书，把这套百科全书拿出来，塞进另一个完全不同的人脑袋里，这个人还能读懂里面的内容吗？

这听起来像科幻小说的桥段。但对于今天的大语言模型来说，这几乎就是研究者们正在认真做的事。

大模型学知识，一直以来只有两条路。第一条路叫检索增强

检索增强*：也就是常说的 RAG（Retrieval-Augmented Generation），简单说就是模型回答问题前，先去外部资料库里翻一翻相关内容，再结合翻到的东西作答。

这条路的好处是知识随时能更新，你想加什么资料就加什么资料。但代价也很明显：每次翻资料都要花时间，塞进上下文的内容越多，模型处理起来就越慢，而且检索到的证据和模型自己的思考方式常常是两张皮，衔接得并不顺畅。

第二条路是参数化方法，说白了就是把知识直接揉进模型的参数里，通过继续预训练或者微调让模型"记住"东西。这样做推理速度快，但麻烦也很大：知识和模型权重死死绑在一起，你想删掉某条信息、想核实模型到底记了什么、想把这份知识搬到另一个模型上，几乎都做不到。

那有没有一种折中方案，既能像检索增强一样把知识存在外面，方便查、方便改，又能像参数化方法一样快速使用，不用每次都临时翻资料？

这篇论文研究的，正是一种叫 Engram 的技术，试图回答这个问题。而他们提出的核心问题更尖锐：这种存在外部的记忆，如果换一个模型来用，还管用吗？

Engram是什么，为什么它处于"中间地带"

要理解这篇论文在讨论什么，得先弄明白 Engram 这套东西长什么样。

Engram*：一种给 Transformer 模型加装的外部条件记忆机制，通过对文本做确定性哈希（不依赖任何学习过程、只靠固定规则计算出唯一地址的映射方式）来检索预先存好的 n-gram（连续几个词组成的片段）向量，再通过一个小型学习模块把这些向量注入到模型的隐藏状态里。

拆开看，Engram 做了三件事，而且这三件事被清楚地分开了。

第一件事是寻址，也就是决定"该去哪个格子里找东西"。这一步靠的是哈希函数，输入一段文本，机械地算出一个地址，全程不需要理解语义，纯粹是计算。

第二件事是存储，就是那张记忆表本身，里面存着提前训练好的向量，相当于一本写满了内容的字典。

第三件事是读取，由一个小小的神经网络模块负责，把从字典里查出来的那条记录，翻译成当前模型能听懂的"语言"，也就是把外部向量映射进模型自己的隐藏空间。

这个三段式的设计,就是整篇论文能立得住的地基。因为正是这个"寻址-存储-读取"的解耦，才让"把记忆表搬家"这件事在理论上变得可能——只要新模型能算出跟旧模型一样的地址，它就有机会读到同一批存好的内容。

这就好比一个大型仓库的管理系统。仓库里的货架按照固定编号排列（寻址），货架上摆着各种货物（存储），取货员根据订单去对应编号的货架把东西搬出来、再按客户能理解的方式包装好交付（读取）。如果这套编号系统是通用的，换一个新来的取货员，只要他懂这套编号规则，照样能把仓库用起来，不需要老取货员在场。但如果编号系统是老取货员自己脑子里的暗号，换个人来，仓库形同虚设。

这也正是论文提出的核心疑问：Engram 里的这张"记忆表"，到底是像通用编号系统一样可以换人使用，还是像老取货员的暗号一样，压根离不开原来的那个模型？

换个模型脑子，记忆还能用吗

论文把这个问题做成了一个明确的实验设计，起了个名字叫跨模型冻结记忆迁移

跨模型冻结记忆迁移*：先用一个"源模型"训练出一张记忆表，然后把这张表冻结起来（也就是不再改动里面任何数值），接到一个完全不同的"目标模型"上，只训练一个轻量级的读取模块去读这张表，源模型和目标模型的骨架都保持不动。

如果冻结后的记忆表挪到新模型上还能提升效果，说明这张表里存的东西是真的有普适价值，不只是配合原模型量身定制的产物。如果挪过去就哑火了，那说明之前看到的所谓"记忆带来的提升"，其实都是原模型自己和记忆表长期磨合出来的默契，换个人就不认了。

为了让这个测试站得住脚，研究者们还得先解决一个基础问题：不同模型用的分词器根本不一样，同一句话在两个模型眼里可能被切成完全不同的碎片，那地址还怎么对得上？

他们的解法是不再用模型专属的 token ID 做哈希的输入，而是把文本先解码还原成人类可读的字符串，再用一套统一的清洗规则处理，比如统一大小写、去掉重音符号、规范化 Unicode 字符，最后再按词的边界切出 n-gram 去做哈希。这样一来，不管是哪个模型的分词器，只要最终解码出的文本一样，算出来的地址就一样。

这就像两个用不同语言写地址的快递员，一个写"北京市朝阳区xx路1号"，一个写"1st, xx Road, Chaoyang, Beijing"。表面上字符完全不同，但只要有一套统一的地址转换规则，把两种写法都转成同一种标准格式，快递最终还是能送到同一栋楼。如果没有这套转换规则，两个快递员各按各的写法找地址，包裹永远送不到同一个收件人手里。

论文里做的第一组大实验，是一个 3×3 的迁移矩阵，用了 Pythia、Qwen3.5、TinyLlama 三个不同家族、不同规模的模型互相搭配当源模型和目标模型。结果是所有九种组合全部有提升，困惑度（衡量模型预测下一个词准确程度的指标，数值越低说明模型对文本的把握越好）相对降低幅度从 1.6% 到 15.7% 不等。最猛的一组是用 Qwen3.5-0.8B 训出的记忆表迁移到 TinyLlama-1.1B 上，降幅达到 15.7%，而且这两个模型架构不同、分词器也不同。

这里有个挺反直觉的发现。按常理猜测，源模型和目标模型如果内部表示越相似，迁移应该越顺畅。但研究者专门做了一个叫 CKA（centered kernel alignment，一种衡量两个神经网络内部表示相似程度的指标）的分析，结果显示 Pythia-160M 和 Pythia-410M 的内部表示相似度高达 0.595，Pythia-160M 和 TinyLlama-1.1B 之间的相似度却低到只有 0.013。可偏偏是这一对相似度最低的组合，迁移增益最大，达到 10.6%的困惑度下降；而那对相似度最高的组合，增益反而只有 1.6%。

这说明什么？说明记忆能不能被成功搬家，跟两个模型脑子长得像不像关系不大，真正决定成败的是接收方那个读取模块能不能把记忆内容翻译明白。这个发现直接把研究的注意力，从"记忆表里存了什么"引向了下一个更关键的问题：读取模块到底有多重要。

读取模块才是真正的胜负手

论文接下来做的一系列实验,几乎是在反复证明同一件事:决定迁移成败的,不是那张被搬运的记忆表,而是负责读取它的那个小模块设计得好不好。

研究者设计了不同复杂程度的读取器进行对比。最简单的版本只在一层注入记忆，用单一分支去读；复杂一点的版本会在两层（比如第2层和第10层）同时注入，并且用四个并行分支从不同角度去读同一份记忆内容。

结果非常清楚。在一个 LLaMA-2-7B 迁移到 Mistral-7B 的问答任务测试中，仅用单层单分支的冻结读取器（也就是完全不训练，直接照搬源模型的读取参数），平均准确率是 33.5，比不用任何记忆的基线 32.1 只高了一点点。但如果换成双层四分支的读取器，平均准确率一下跳到 38.5，涨了将近 5 个百分点。

再拆解细看，从单层读取器换成双层读取器（层数增加），带来的提升最猛：从 34.2 涨到 37.5，涨了 3.3 分。之后再从单分支加到四分支（读取器的"视角"数量增加），又多涨了 1 分，到 38.5。

这组数据背后藏着一个挺朴素的道理:记忆表存的是死的内容,但怎么把这些内容"读活"，是一门手艺活。

这就好比你手里有一本用外语写的珍贵手稿,内容本身价值连城。但如果只找了一个刚学过几句外语的初学者来翻译,他可能只能磕磕巴巴地译出字面意思,原文里的精妙之处根本传达不出来。如果换成一个精通两种语言、还懂得原文历史背景的资深译者，同样一本手稿，翻译出来的信息量能差出好几倍。手稿没变，译者的水平决定了信息能不能真正落地。这也解释了为什么论文反复强调"读取器设计是一阶决定因素"：记忆的价值上限，是由读取它的那把钥匙决定的。

论文还做了一系列对照实验来验证，这个提升到底是不是单纯因为多加了参数。他们设计了一个参数数量完全相同的前馈网络（FFN）模块，替代掉记忆读取的位置，结果这个参数匹配的对照组只达到 34.5 的平均准确率，明显低于真正的记忆读取器的 38.5。更有意思的是，这个 FFN 对照组的困惑度反而是全表里最低的（7.4，比记忆迁移的 8.7 还低），但下游问答表现却差了一大截。

这说明语言模型的困惑度低,不代表下游任务表现就好。就像一个学生考试时能把课本背得滚瓜烂熟,困惑度极低,但真让他解决实际问题时却手足无措。记忆是否"读得懂"，和记忆是否"记得住"，是两回事。

论文里还有一组对照特别扎心：把记忆表里的地址随机打乱（也就是保留同样的内容，但故意让地址和内容对不上），平均准确率直接从 38.5 掉到 32.5，几乎打回了没有记忆的原点。这说明记忆能不能被正确寻址，跟记忆里存的内容本身一样重要，两者缺一不可。

记忆搬家之后，到底在哪些任务上管用

如果你以为记忆迁移是万能灵药，什么任务都能提升，那这篇论文接下来的发现会让你有点意外。

研究者们把测试范围从五个问答基准扩展到六个更广泛的知识密集型任务，包括常识判断（BoolQ）、文本蕴含（RTE）、开放书本问答（OpenBookQA）、科学问答（SciQ）、真实性问答（TruthfulQA）和阅读理解（RACE）。结果发现，提升是有明显选择性的。

在 RTE 上，从 0.8B 到 9B 的四个不同规模目标模型全部提升，涨幅从 0.7 到 3.7 个百分点不等。SciQ 也全线为正，最高涨了 3.7 分。这两个任务的共同点是，它们的答案往往依赖于具体的事实性关联或者证据支持，而这恰好是外部记忆表最擅长提供的东西。

但 TruthfulQA 完全是另一番景象。在所有四个测试规模上，这个任务的表现都是负的，跌幅从 0.2 到 0.8 个百分点。

为什么会这样？TruthfulQA 这个基准考察的不是模型能不能想起某个事实，而是模型能不能拒绝那些"听起来很像真的"的常见误解。换句话说，它奖励的是审慎和校准，而不是联想的丰富程度。当外部记忆把更多相关联想塞进模型脑子里时，反而可能让模型更容易被那些似是而非的错误信息带偏。

这就好比一个人本来遇事会先冷静想想再回答，现在脑子里突然被塞进了一大堆相关但未必可靠的"联想素材"，反而更容易脱口而出一些似曾相识却经不起推敲的答案。信息多了，不代表判断力也跟着变好，有时候反而会干扰原本的审慎。

论文进一步做了一个很扎实的验证，专门去查记忆到底是不是真的在帮模型"想起正确答案"，而不只是碰巧改变了最终分数。他们计算了模型给标准答案打出的对数概率（也就是模型认为"这就是正确答案"的信心程度），对比迁移记忆、随机记忆、完全不用记忆、以及只在答案位置屏蔽记忆这四种情况。

结果显示，在自然问答（NQ）、网络问答（WebQA）、常识问答（TriviaQA）、多跳推理问答（HotpotQA）这四个任务上，迁移记忆相比随机记忆和不用记忆，都实实在在地提高了模型对正确答案的信心。TriviaQA 上这个差距是 0.047（相比随机记忆）和 0.072（相比不用记忆）。但有意思的是，如果只在生成答案的那一刻屏蔽记忆通道，对结果的影响却很小，甚至略微为负。

这个细节说明,记忆带来的好处不是靠在最后一刻"抄答案"实现的,而是通过让模型在整个推理过程中积累更充分的事实支持,间接提升了答案质量。这更像是一种潜移默化的辅助，而不是临场抱佛脚。

记忆搬家能省多少训练成本

除了效果好不好，研究者还关心一个很实际的问题：把记忆搬到新模型上，能不能省下大量的训练时间和数据？

答案是肯定的，而且省下的幅度相当可观。

在 Pythia-160M 迁移到 Pythia-410M 的受控实验中，用迁移记忆的方案只需要 500 万训练token，就能达到 21.8 的测试困惑度，而且到 2000 万token时就基本饱和，稳定在 21.5。相比之下，从零开始训练一个新的记忆表，要到 5000 万token 才勉强追上差不多的水平（21.6），而且这个 5000万token 的结果还是提前停止训练救回来的，因为验证集困惑度在训练超过约 1200万token 后就开始变差了。

更值得关注的是可训练参数的差距。迁移记忆方案只需要训练 105万个参数，而从零训练需要训练 3460万个参数，前者只有后者的约 3%。

这就好比装修一套新房子。如果你从零开始，得先自己设计施工图、采购材料、请工人从地基一点点砌起来，费时费力。但如果你能直接搬进一套已经装修好的房子，只需要根据自己的生活习惯稍微调整一下家具摆放和电器接口，很快就能住进去用。房子的地基和主体结构（也就是记忆表本身）已经不用你操心了,你只需要微调"读取器"这个连接你和房子之间的接口。

在更大规模的 Qwen3.5-0.8B 迁移到 Qwen3.5-2B 实验中，这个规律依然成立：迁移方案在所有训练token 预算下的困惑度都低于从零训练，同时下游任务上 BoolQ、RTE、SciQ 分别提升了 1.5、2.5 和 0.8 个百分点。

不过论文也很坦诚地指出了一个边界：如果给从零训练的方案足够多的时间和数据（比如同样都训练到 3000 万token），它最终能追上迁移方案的天花板，两者都能到 38.4 到 38.5 左右的问答准确率。所以迁移带来的核心优势，与其说是提高了性能上限，不如说是大幅降低了达到这个上限所需要的成本和时间，是一种更高效的"起跑姿势"。

部署时的两条路：直接用，还是重新适配

除了主实验，论文还给出了一个很实用的区分：面对一份来自别处的记忆资产，实际使用时有两条路可以走。

第一条路叫直接资产复用

直接资产复用*：记忆提供方连读取模块都一起打包给你，只要你的模型接口和这个读取模块兼容，直接拿来用，不需要自己再花一分钟训练。

第二条路叫读取器适配复用，也就是保留同一张冻结的记忆表，但你自己针对自己的模型再训练一个专属的读取模块，花点力气换取更好的对齐效果。

论文测出的数据显示，如果提供方的读取器恰好和目标模型兼容，什么都不用训练，平均问答分数就能从没有记忆的 32.1 直接跳到 38.3。如果再花力气去做自定义的读取器训练，还能进一步提升到 38.5。

这个设计其实很符合现实世界里"软件生态"的逻辑。就像你买了一个智能音箱，厂商直接给你预装好了语音识别模块，插上电就能用，不需要你自己再去写一套语音识别代码。但如果你想让它更懂你的口音和习惯，可以花时间训练一个专属的个性化模块，效果会更贴合你的需求。两条路都能用，只是省心程度和最终效果之间做了权衡。

论文里还专门做了成本核算。用 LLaMA-2-7B 迁移到 Mistral-7B 的实验数据估算，如果只服务一个消费者，从零训练自己的记忆花费大约 3.871 GPU小时，而迁移方案（包括一次性的源端训练成本 0.653 小时，分摊到多个消费者）在服务大约 9 到 11 个消费者之后就能实现成本反超。也就是说，这份记忆资产被复用的次数越多，省下的总成本就越可观，这正是"可迁移记忆资产"这个概念真正的经济价值所在。

记忆搬家不是万能，但也没白折腾

论文最后还做了大量控制变量实验，试图厘清究竟是什么在真正驱动这些提升，排除掉一些看似合理但其实站不住脚的解释。

比如有人可能会问：会不会只是因为读取模块本身多了些可训练参数，跟记忆内容其实没多大关系？论文专门设计了参数量完全匹配的 FFN 模块作对照，结果证明单纯堆参数远远不够，前面提到的 34.5 对 38.5 的差距已经说明了这一点。

又有人可能会问：会不会记忆的具体位置根本无所谓，反正模型能自己学会忽略无用信息？论文做了打乱地址的实验，结果准确率直接从 38.5 掉到 32.5，说明地址和内容的正确对应关系，是这套系统能不能正常工作的命门。

也有人会问：会不会随便换一个未经训练的记忆表，也能骗过模型达到差不多的效果？论文用随机初始化的记忆表做对照，结果显示随机记忆的困惑度居然和真正训练过的迁移记忆一样低（都是 8.7），但下游问答准确率却明显更差（34.6 对 38.5）。这再次说明困惑度低不代表对下游任务真的有用，两者是两条不完全重合的曲线。

论文还专门测试了多语言场景下地址方案是否还管用。对于没有清晰空格分词的中文和日文，原本按"词边界"来切分和哈希的方案会失效，因为这些语言压根没有空格来划分词的边界。研究者改用按字符切分的方案（对文本做标准化处理后，直接以单个字符为单位来做哈希），结果在中文维基百科上带来了 2.251% 的困惑度相对提升，日文上是 1.023%。这说明"记忆可迁移"这个思路本身并不依赖英语这种有空格分词习惯的语言，只要地址方案跟着语言特性做相应调整，同样的框架能延伸到更多语言场景里。

不过论文也很诚实地承认了自己的边界。目前的实验规模最大做到了 90亿参数，还没有系统性摸清读取器容量该怎么随着模型规模一起放大；默认的按词边界寻址方案在遇到更极端的混合语言、代码文本、字节级分词器时，可能还需要更强的地址方案；读取器的设计空间也远不止论文里验证的这几种，更复杂的非线性变换、自适应的分支聚合方式，都还有探索空间。

写在后面

读到这篇论文最触动我的地方，是那组关于表示相似度和迁移效果"倒挂"的数据。Pythia 和 TinyLlama 内部表示相似度只有 0.013，几乎可以说是两个互不相关的"脑回路"，但记忆迁移在这两者之间反而做得最好。这跟我们平时对"迁移学习"的直觉是拧着的，大部分迁移学习的故事都在说"越相似越好迁移"，但这里恰恰相反。

这背后其实藏着一个更根本的道理：知识和理解知识的能力，本来就是两件事。一本写得很好的书，不需要读者和作者长得一样、想法一样，只需要读者具备读懂这本书的能力。记忆表就是那本书，读取器就是读懂这本书需要具备的能力，而这个能力恰恰是可以单独设计、单独训练的。

还有一个细节值得单拎出来说：论文里那个关于 TruthfulQA 变差的发现，其实揭示了一个更普遍的风险，就是"知识越多不代表判断越准"。这跟人也很像，见多识广有时候反而更容易被一些"听起来很有道理"的说法带偏，因为脑子里联想的素材更丰富了，反而给了错误信息更多可乘之机。这个类比可能不完全严谨，但确实让我重新想了想"知识"和"智慧"之间那道没那么容易跨过去的沟。

如果记忆可以像今天这样在模型之间搬来搬去，那未来的 AI 生态会不会出现一个"记忆市场"，不同的团队专门训练某个领域的记忆表，然后卖给需要的人去接到自己的模型上？这事听起来挺科幻，但读完这篇论文，你会觉得它其实没那么遥远。

Q&A

Q1：Engram到底是什么，它跟RAG（检索增强）有什么不同？

A：Engram 是一种给大模型加装的外部条件记忆机制，通过确定性哈希把文本映射到一张存储好的向量表里，再用一个小型读取模块把检索到的向量注入模型隐藏状态。它和RAG 的区别在于，RAG 每次都要临时检索文档并塞进上下文，会拖慢速度、拉长输入；Engram 的记忆表是提前训练好并直接以向量形式接入模型内部的，不用增加上下文长度，检索速度也是常数级的。

Q2：把一个模型训练出的记忆表搬到另一个完全不同的模型上，真的能提升效果吗？

A：能。论文做的3×3迁移实验覆盖了 Pythia、Qwen3.5、TinyLlama 三个不同架构、不同分词器的模型家族，九种源模型和目标模型的组合全部实现了困惑度下降，降幅从1.6%到15.7%不等，其中降幅最大的一组是把Qwen3.5-0.8B训练出的记忆表迁移到TinyLlama-1.1B上。

Q3：既然记忆表可以直接搬，那读取模块还有必要重新训练吗？

A：这取决于具体场景。如果记忆提供方给出的读取模块本身就和你的模型接口兼容，不训练也能获得明显提升（问答平均分从32.1提升到38.3左右）。但如果想要更好的效果,针对自己模型专门训练一个读取模块通常还能再提升到38.5左右,论文的多组实验也证明读取模块的设计（比如注入层数、并行分支数量）是决定最终效果的核心因素，比记忆表内容本身的作用还要关键。