睡眠框架：大语言模型持续学习中的知识保留新方法

我们在持续学习中引入了"睡眠阶段"，使大语言模型能够不断整合新知识、提升推理能力，同时缓解灾难性遗忘或静态知识截止的问题。

现代大语言模型通过预训练和上下文学习（ICL）实现了令人瞩目的性能。然而，一旦部署完成，它们基本上处于静态状态，运行在固定的知识截止日期之下，无法获取长期能力或适应新信息。

虽然用新数据更新模型看似显而易见的解决方案，但持续的参数更新往往会引发灾难性遗忘——这是一个根本性问题，即学习新任务会严重损害模型在先前任务上的表现。另一方面，若严格依赖上下文学习，知识保留则局限于当前的上下文窗口：一旦上下文会话结束，所获取的短期信息便会被遗忘。

受人脑在休息期间处理和稳定记忆方式的启发，我们在持续学习中引入了睡眠框架：这是一种学习范式，赋予大语言模型持续的周期性生命周期，使其能够不断学习，并将脆弱的短期上下文巩固为稳定的长期参数。借助该框架，我们证明了在主动交互与离线记忆巩固之间交替进行，可以让大语言模型持续获取新事实，保留多达1000万Token的长上下文知识，并提升复杂推理能力。

重新思考机器学习：主动（唤醒）阶段与睡眠阶段

传统机器学习依赖于训练和推理之间的严格区分。但在持续学习框架中，这种区分变得人为化；一个真正的智能体必须不断学习、适应并处理信息。

在睡眠范式下，大语言模型在两种主要状态之间运行：

虽然"睡眠""做梦"和"自我提升"等术语借用了神经科学的概念，但我们的框架完全运行在固定的模型架构和人为设定的训练规则之内。在离线睡眠阶段，模型会解锁预先分配的混合专家（MoE）记忆模块，并使用自生成的练习样本更新其数值权重。这种自动化的后训练周期有助于已部署的模型吸收新事实、提升推理准确性，同时保持其核心代码库和设计不变。

睡眠过程的关键组成部分

睡眠范式通过两个阶段应对灾难性遗忘与持续适应的问题：记忆巩固与做梦。

在人脑中，非快速眼动（NREM）慢波睡眠通过抽象和提炼，将脆弱的记忆巩固为长期结构。我们提出的睡眠框架通过两个关键技术机制呼应了这一自然现象：

我们睡眠框架概览：来自主动阶段的输入流在进入睡眠周期之前存储在短期记忆中，该周期分为两个分支——记忆巩固（利用低秩结构和混合专家机制，将脆弱的短期Token转移到扩展的长期参数记忆中）和做梦（通过随机专家的合成路由以及强化学习优化，实现自主的自我提升）。

在快速眼动（REM）睡眠期间，人脑会主动模拟场景、巩固情感与语义联系，并探索新的神经通路。与此相呼应，在"做梦阶段"，睡眠框架实现了一个自主的自我提升循环：

理论基础

除了实证结果外，我们的睡眠范式还建立在一套理论基础之上，该理论阐明了为何其两个阶段（记忆巩固和做梦）能够支持持续学习，而不是简单地用新知识换取旧能力。

对于记忆巩固，分析表明，知识植入可以理解为一个结构化的低秩压缩问题。模型并非被要求将短期记忆痕迹中的每个细节都复制到参数中，而是识别出一组紧凑的方向，这些方向能最好地保留模型自身的在策略行为以及学习目标所奖励的语义特质。

这一视角解释了两种信号的互补作用：在策略蒸馏使巩固过程与模型在推理时实际产生的轨迹保持一致，从而减少仅在教师生成分布上训练时可能出现的不匹配问题；而语义奖励则改变了哪些内容值得保留，优先保留那些能保留含义和任务相关行为的方向，而不仅仅是匹配Token概率。参数扩展随后提供了所需的容量，用以写入这些被选中的记忆，而不会覆盖此前已巩固的知识。

对于做梦阶段，该理论将随机专家激活和基于奖励的样本选择，定性为改善学习几何结构的机制。注入不同的混合专家能够拓宽合成生成过程中探索的梯度方向集合，使模型接触到比仅靠常规唤醒期数据所能引发的更新更为丰富的集合。基于梯度的过滤则强调那些携带最有用学习信号的合成经验，在保留底层梯度空间结构的同时强化了有信息量的方向。

综合起来，这些步骤产生了一个更为平衡的优化格局：学习不再被少数方向所主导，梯度得到更好的调节，模型在精炼自身能力时能够取得更稳定的进展。从这个角度看，做梦并非简单的自生成数据增强；它是一个经过深思熟虑的过程，用于多样化、筛选和巩固模型借以自我提升的更新。

我们的睡眠框架与基线方法（如上下文学习和监督微调）在主要评估维度上的性能对比，包括类增量学习、持续翻译、长达1000万Token的长上下文扩展、事实知识整合以及数学推理。

在持续翻译方面，面对如满语和卡拉马语等未见过的语言时，睡眠框架在多阶段评估中保持了近乎零的性能下降，而诸如上下文学习、Cartridges以及监督微调（SFT）等标准基线方法在顺序学习过程中都遭受了严重的灾难性遗忘。

在BABILong基准的长上下文理解测试中，我们的睡眠方法展现出接近完美的扩展能力，可处理多达1000万Token，表现超越了GPT-4和Titans等强力基线，这得益于利用睡眠时的记忆巩固，将长上下文信息直接压缩进参数记忆中。

在SQuAD和持续预训练（CPT）评估的事实知识整合任务中，我们的睡眠方法在单任务评估中取得了48.9%的成绩，在CPT评估中取得了46.2%的成绩，超越了包括基础模型、SFT以及自适应语言模型（SEAL）等基线方法，成功地整合了新的事实信息，同时未损害已有的模型表征。

最后，在包括AIME 24/25和HMMT 25的数学推理基准测试中，经睡眠框架强化的基础模型分别取得了79.2%、69.0%和46.1%的准确率。这超越了SFT、群组相对策略优化（GRPO）以及在策略自我蒸馏（OPSD）等基线方法，表明将记忆巩固与模仿学习相结合，能够带来更出色的推理性能。

结论

我们的睡眠范式为实现自主的、持续学习的AI系统提供了一条路径。通过超越静态预训练和脆弱的上下文窗口，在主动学习与离线休息之间交替进行，使大语言模型能够保留短期记忆，将新技能抽象为长期参数结构，并在不发生灾难性遗忘的情况下持续自我提升。

致谢

本研究由Ali Behrouz（谷歌与康奈尔大学）、Farnoosh Hashemi（康奈尔大学）、Adel Javanmard（谷歌与南加州大学）以及Vahab Mirrokni共同完成。感谢Yuan Deng和Corinna Cortes对本研究的审阅及其宝贵建议。同时感谢Mark Simborg、Kimberly Schwede和Tim Herrmann在撰写本文过程中提供的帮助。