强化学习大本营新作：如何破解「学新忘旧」困局

来源：AI科技评论

作者：邓哲敏

编辑：齐铖湧

阿尔伯塔大学团队提出FAME框架，给持续强化学习一个可求解的公式。

今天教会机器人拧瓶盖，明天再让它抓杯子，它可能又把拧瓶盖忘得一干二净。

反观人类，这类现象极少出现。人脑拥有成熟的记忆分工体系，新旧知识有序存储，习得新事物的同时不会冲刷掉旧有认知。

这套终身学习的机制，其实是当下大模型同样欠缺的。Demis Hassabis、梁文锋与 Ilya Sutskever 都指出过大模型的固有短板：通过微调注入新知识时，往往会丢掉过往已经掌握的技能；即便靠超长上下文临时读取新信息，也无法把经验真正固化进模型本体。

灾难性遗忘一直是微调范式下挥之不去的痛点，也由此推动持续学习成为近年来的研究热点，尤其是在 LLM-Agent 赛道，人们希望打造能在部署后不断吸收经验、修正认知，同时保留原有能力的智能体。

眼下，具身的处境十分微妙。宇树上市后市场反响不算热烈，多少折射出具身智能商业化的现实挑战。可越是如此，持续学习对具身的长期价值越躲不过去：机器人要在真实世界干活，若始终“学新忘旧”，那比大模型更致命。

阿尔伯塔大学强化学习团队正是想补上这块基础短板，提出一套基于快速学习加元学习双系统的持续强化学习框架，论文已被 ICRL 2026 收录。AI科技评论联系到论文的两位共同第一作者张鸿铭、孙科，和他们聊了聊论文背后的思路，以及他们对持续强化学习这个方向的判断。

论文链接：https://arxiv.org/abs/2603.00903

01

从经验方法走向原则性分析框架

传统强化学习有个默认前提：环境是不变的。奖励函数固定，状态转移固定，智能体只要在一亩三分地里磨到最优就行。

现实世界却完全相反，一个真正具有持续学习能力的智能体需要同时具备两种能力：可塑性，即面对新任务时，可以快速学习并适应；稳定性，即学习新任务之后，仍然能够保留过去已经掌握的知识。

然而，这两种能力天然存在张力。智能体在学习新任务后往往会覆盖已有知识，形成灾难性遗忘；与此同时，当新旧任务差异较大时，学到的旧知识反而阻碍新任务的学习。

现有持续强化学习工作提出了经验回放、参数正则化、网络扩展、策略蒸馏等不同方案，但这些方法更像是经验性的修复，背后没有一个好的算法基础理论，能够指导各类算法进一步有体系地前进。

加拿大阿尔伯塔大学是强化学习的大本营，强化学习之父、图灵奖得主 Richard Sutton 在此任教。张鸿铭说，Sutton 一直强调：真正的智能，是能在和环境的持续交互里解决问题，同时不遗忘之前会的东西。持续学习这个概念，在团队里被推到了很高的位置。

基于此，研究团队首先提出两个基础概念，希望回答持续强化学习中“任务到底有多不同”和“智能体到底忘了多少”这两个基本问题。

▎理论基础一：定义不同环境之间的距离，刻画任务有多不同。

在强化学习中，一个任务可以表示为一个马尔可夫决策过程，两个环境之间的差异不仅可能来自奖励函数，也可能来自状态转移机制。

论文利用两个马尔可夫决策对应的最优值函数或者最优策略之间的距离，定义两个环境的差异，这种定义同时吸收了奖励函数和状态转移机制差异，在数学定义上更加简洁，为后续算法优化和设计奠定基础。

▎理论基础二：定义灾难性遗忘，刻画智能体在不同任务间遗忘了多少。

与监督学习不同，强化学习中的数据分布本身取决于策略。因此，简单比较两个神经网络的参数变化，并不能准确反映智能体究竟遗忘了哪些重要行为。

为此，研究团队分别从各个环境下的值函数或者策略函数定义序列决策中的灾难遗忘，并特别使用策略在过去不同环境下的状态访问分布对其进行加权，直观意义是：判断一个智能体是否忘记过去的任务，应该重点关注过去任务中真正重要、真正访问过的状态和动作，而不是对整个状态空间一视同仁。

基于以上定义，持续强化学习的知识整合步骤可以显示地写成一个灾难性遗忘最小化的优化问题，这为后续设计双学习算法框架提供了核心原则。

02

像人脑一样用两个学习系统协同学习

在上述理论基础上，研究团队提出 FAME：Principled Fast and Meta Knowledge Learners。

FAME 的设计受到人类学习和记忆系统中海马体与大脑皮层协同机制的启发。快速学习模块（Fast Learner）模仿海马体，负责知识迁移，把旧知识搬过来帮新任务快速上手；元学习模块（Meta Learner）模仿大脑皮层，负责知识整合，把新学的东西并进长期知识库。

为什么非要两个系统，而不是一个模型包圆？孙科从统计学角度给了解释：一个智能体学到一个任务，本质上是在拟合这个任务背后的数据分布。新任务一来，数据分布就变了，指望一个模型同时拟合无穷多个分布，撞上的是一堵墙。

这个类比不是他们凭空发明的。孙科坦言是“站在巨人的肩膀上”，生物启发一直是持续学习领域的研究动机，此前也有一两篇论文模糊提过双学习系统，但优化目标写得含糊。FAME 把这层窗户纸捅破了，把每一部分要做什么、实现什么目标、怎么实现，都写成了明确的式子。

真正见功夫的地方，在两个机制上。

一个是快速学习模块里的自适应热启动。新任务来了，算法要在一开始就判断该从哪里起跑。候选有三个：继承元学习策略、直接微调上一个任务、随机初始化从头来。FAME 用统计学里的假设检验，把这道选择题做成一个 one-vs-all 的检验。

假设检验对最优经验选择非常直观：如果历史知识确实能够帮助当前任务，就利用元学习初始化来加速训练；如果过去的知识已经不再适用，新任务和上一个任务相似，直接选择Fine-tuning，如果新任务完全没有遇到过，智能体会倾向选择随机初始化。

面对新旧不同环境快速学习模块的最优候选策略选择比例

另一个是元学习模块的知识整合。快速学习模块学完新任务后，元学习模块要把新知识并进长期库，用的正是前面定义的那个灾难性遗忘最小化目标。在离散动作下，它等价于一个增量式的极大似然目标；在连续动作下，则对应最小化 KL 散度或 Wasserstein 距离。

这样一转化，持续强化学习和多任务学习之间那道模糊的界限，也就被数学勾连起来了。

实验覆盖了 MinAtar、Atari 和机器人操作的 Meta-World，跨了离散与连续动作、值函数与策略函数，DQN、PPO、SAC 都试了。在平均性能、前向迁移、遗忘三项指标上，FAME 相比 Reset、微调、平均、PackNet、ProgressiveNet、CompoNet 这些基线全面占优，而且优势在任务越往后越明显。

论文还做了细致的消融实验，逐项拆开自适应热启动、正则化强度和记忆缓冲大小各自的贡献，结论一致：先选对起跑点，再把新旧知识并好，两步缺一不可。

03

持续学习的理论新解与产业落点

论文之外，我们更想知道，持续学习，到底是一个学术细分话题，还是整个 AI 圈迟早要迈过去的一道坎。

不少人认为，靠 scaling law 把模型做大、定期重训，就能把持续学习绕过去。我们和孙科聊起这个观点时，他的判断很清醒：对初级智能来说，通过 scaling law 确实能缓解一部分灾难性遗忘，但如果目标是超级智能，持续学习始终是“皇冠上的明珠”。原因很朴素——搜数据、预训练、微调、后训练这条流水线，每一次都要从头跑一遍，终究推不动规模。

张鸿铭则从更长的历史视角看这个问题。在他看来，这一波 AI 浪潮里每一次真正的爆点，背后都有强化学习的影子：DQN 打游戏，AlphaZero 下围棋，AlphaProof 和 AlphaTensor 攻克数学证明与矩阵运算，再到今天大模型的 RLHF 和 GRPO。他的结论是，真要突破能力的上限，靠堆人的智能行不通，得靠算法本身。这个判断我们深以为然，也顺带解释了为什么持续学习这件事，绕来绕去总会回到强化学习。

顺着这条逻辑，自进化这个当下最热的概念就好理解了。过去一年，从 DeepSeek R1-Zero 靠纯强化学习长出的自我进化，到智谱、DeepSeek 把自进化摆到通往 AGI 的牌桌上，行业已经在用脚投票。而所谓自进化，剥掉外壳，内核还是那件事：和环境交互、拿到反馈、再提升、再交互。这套逻辑的学名，就叫强化学习。

把视角拉高，持续学习的紧迫性其实早已被行业顶尖研究者反复确认。Google DeepMind CEO Demis Hassabis 直言，预训练、RLHF、思维链都是必要组件但并非完整答案，持续学习、长期记忆才是尚未攻克的核心壁垒。这与 DeepSeek 创始人梁文锋的判断如出一辙——他把 AI 进化拆解成语言模型、思维链、Agent 三个阶梯，而 Agent 走到上限后，真正的分水岭就是持续学习。Ilya Sutskever 走得更激进，他离开 OpenAI 后创立的 SSI 直接以测试时训练和体验式智能为攻坚方向，主张 AGI 不该是出厂即全知的神谕，而更像一个边实践边学的少年。

三位顶尖研究者背景迥异，却指向同一个结论：今天的大模型本质还是“训练完成就冻结”，如何让AI像人一样终身从经验中迭代，已经是行业绕不开的命题。

具身智能是另一块战场。张鸿铭提到，世界模型放到强化学习的语境里，就是基于模型的强化学习里那个“模型”，学的无非是状态转移规律；VLA 则是 model-free 的那一路。两条路看似从视觉那边走来，内核的强化学习味道一点没变。至于老生常谈的 sim-to-real gap，在运动控制这类任务上其实已经收得很窄，强化训练好再上真机微调，效果相当能打。伯克利 Sergey Levine 团队的 SERL 系统，更是把真机强化学习的成功率推到了 100% 的量级。

聊到无监督自探索时，孙科说了一句很克制的话：“无监督永远是正确的，但未必是最高效的。”这句话我们觉得说到了点子上。学好的表征固然重要，但要拿到令人惊艳的下游效果，终究得回到具体任务上，靠明确的监督方向去调。它不算激进，却给当下那股“无监督包打天下”的热度，泼了盆恰到好处的冷水。

两位作者自己的轨迹，其实也是持续学习这个领域人才流动的一个缩影。

孙科和张鸿铭在北大读研时就认识，后来又一起去了阿尔伯塔大学，在图灵奖得主 Richard S. Sutton 教授领导的实验室 rlai lab 读博。

张鸿铭师从强化学习与启发式搜索知名学者、AlphaGo 团队导师 Martin Müller。如今，他已回国，在中科院自动化所任助理研究员，做强化学习与大模型决策相关研究，也带着团队探索把这类方法用到芯片设计优化等具体场景。

个人主页：https://initial-h.github.io/index.html

研究聚焦深度强化学习与蒙特卡洛树搜索等决策推理算法，尤其关注强化学习在游戏AI、大模型和具身智能的应用

孙科则在美国宾夕法尼亚大学做博士后，谈到未来，他表示，有回国进高校的打算，也想从高校出发和产业界合作。他认为，在人工智能这个领域，国内的产业进步非常快速，高校研究需要保持和产业的合作，但更重要的是思考和回答更加基础和根本的科学问题，再由下而上地影响整个行业。至于技术路线，他倾向先在大模型这条更容易验证的路上做深，再慢慢往具身发展。

个人主页：https://sites.google.com/view/kesun

研究主要聚焦于强化学习，尤其关注算法分析和设计的数学和统计原则

04

结语

FAME 当然有它的边界。基于 Q 值的遗忘度量对奖励尺度敏感，策略版本更稳；知识迁移的手段也还远没到头，上下文嵌入这类方向都有待挖掘。它调度的前提是已有策略，解决不了所有策略都做不到的事。

但这些都不妨碍它回答一个更本质的问题：持续学习这件事，能不能从经验性的修补，变成一门有原则的学问。论文给出的答案是能。

而两位作者反复强调的观念，可能比论文本身更值得回味——真要造出超级智能，靠堆数据和重训是走不通的，你得让智能体像人一样，一边学、一边用、一边不忘。