网易首页 > 网易号 > 正文 申请入驻

NeurIPS 2026 | 大模型抗遗忘新范式:「先微调,后矫正」实现无遗忘等价条件

0
分享至



罗马神话中的时间之神 Janus,有两张面孔,能够同时望见过去和未来。

可大模型学会了新技能,却往往忘了旧知识。

这种现象被称为「灾难性遗忘」(Catastrophic Forgetting),是大模型微调面临的经典难题。

长期以来,研究者一直试图在训练过程中为模型设置约束,让它学习新知识的同时,尽量不忘记过去。

但现在,一项来自清华大学与滴滴自动驾驶的联合研究,提出了一个不同的思路:

与其在训练过程中小心翼翼地防止遗忘,不如先让模型完成微调,再对参数进行针对性修正。

这项研究提出的 JANUS 框架,不改变原有微调流程,只需对已经完成微调的模型进行后处理,就能恢复部分受损的历史知识,同时尽可能保留新任务能力。

在 LLaMA-2-7B 的数学和代码任务实验中,JANUS 将历史知识保持指标分别从 67.55%和 79.71%提升至 106.16%和 109.83%,而新任务能力指标仅下降约 1 个百分点。

目前,该工作已被 NeurIPS 2026 接收,论文与代码已公开。



  • 论文标题:Past, Future, All at Once: Mitigating Stability-Plasticity Dilemma via Post-hoc JANUS Rectification
  • 论文链接:https://arxiv.org/abs/2609.19985
  • 代码链接:https://github.com/zhengzl18/JANUS

01 大模型为什么总是「学了新的,忘了旧的」?

对于大模型而言,学习新任务和保留旧知识,往往是一对难以兼顾的目标。

前者要求模型具备可塑性(Plasticity),后者则要求模型保持稳定性(Stability)。

问题在于,两者往往相互牵制。一方面,模型需要不断调整参数,以适应新的任务和数据;另一方面,这些参数的变化又可能干扰预训练阶段已经建立的知识表示。

现有一些抗遗忘微调方法采用「子空间正交」约束,限制参数更新进入可能干扰旧知识的方向。

但 JANUS 研究团队注意到,这类限制可能比真正防止遗忘所需要的条件更加严格。

JANUS 正是从这里找到突破口。

02 解锁模型潜能:从「充分条件」到「充要条件」

JANUS 所做的第一件事,是重新审视抗遗忘所需要满足的数学条件。

子空间正交约束要求参数更新量ΔW与历史知识M各自张成的子空间相互正交,也就是:ΔW · M = 0

它确实能够减少干扰,但也同时给大量方向「上锁」。当历史样本增多时,可供模型学习新任务的空间会迅速缩小。

简言之,这一条件是充分的,但不必要。

JANUS 的出发点是:网络中的参数是一个共同发挥作用的整体,它们可以通过彼此之间的协作,共同分担抗遗忘的责任。

因此,方法将「每一行参数各自实现抗遗忘」改写为「所有参数共同协作实现抗遗忘」,也就是:Tr(ΔW · M) = 0

这一变化看似细微,却隐含了一个关键的视角转化:

ΔW · M = 0关注的是ΔW的行空间与M的列空间,要求这两个相对低维的子空间之间正交;Tr(ΔW · M) = 0则把它们视为高维参数空间中的两个向量,约束向量之间的正交。

这一条件不仅充分,而且必要。

于是,模型能够在保留旧知识的同时,获得更大的参数更新空间,用于学习新任务。



子空间正交与参数空间正交对比

在此基础上,研究团队设计了JANUS(JAcobianNUllSpace Projection)算法,通过雅可比零空间投影,将微调后的参数更新量矫正到对旧任务损失一阶不变的方向。

值得注意的是,这一过程并不需要嵌入原有训练流程。

模型可以先通过全参数微调、LoRA 等方法学习新任务,随后再利用 JANUS 对已完成的参数更新进行矫正。

这也使 JANUS 区别于现有的训练时抗遗忘方法:它尝试在模型已经学会新任务之后,再修复微调对旧知识造成的影响。

03 一次矫正还不够:让模型沿着「安全路径」逐步修复记忆

不过,训练后的参数矫正并不是简单地完成一次投影。

旧任务梯度所指示的无遗忘更新方向只是局部的。这意味着,当参数变化幅度较大时,最初计算得到的方向可能不再准确。

如果直接执行一次大跨度投影,最终参数仍然可能偏离历史损失保持不变的区域。

为解决这一问题,研究团队进一步提出了「多步自适应矫正」机制。

其核心思想是:不一次性完成全部修正,而是「小步多次」进行修正。

每完成一步,JANUS 都会重新计算当前位置的雅可比矩阵,提供下一步的无遗忘更新方向。

同时,算法引入 JANUS shift 指标,通过比较不同位置的雅可比矩阵行空间变化,自适应选取合适的步长。

可以将其理解为沿着历史任务损失的等高线前进:每次走一小步,重新确认等高线的方向,再继续下一步。

此外,研究还引入 Ghost 操作与 SVD 压缩等技术,以降低大模型参数矫正过程中的时间和空间开销。

对 7B 参数的模型,只需 1 张 A100 显卡,30 分钟,即可完成修正。



多步自适应矫正:在局部可信区域内小步前进

04 旧知识恢复至预训练水平以上,新能力损失约 1 个百分点

JANUS 究竟能够在多大程度上缓解灾难性遗忘?

研究团队在 LLaMA-2-7B 和 LLaMA-3-8B 上进行了系统评测,覆盖数学、代码以及指令遵循三类下游任务。

对比方法包括普通微调方法(全参数微调、LoRA、PiSSA)和抗遗忘微调方法(CorDA、MiLoRA 和 LoRA-Null)。JANUS 应用于 PiSSA 的训练结果,记为 JANUS-P。

论文使用三个综合指标衡量稳定性与可塑性:AP₁表示历史知识保持程度,即稳定性;AP₂表示新任务能力,即可塑性;AP为二者的算术平均。

在 LLaMA-2-7B 上, JANUS-P 取得了尤为突出的结果。



LLaMA-2-7B 上的实验结果

在数学任务中,JANUS-P 将稳定性指标AP₁从 67.55% 提高到 106.16%,而可塑性指标AP₂仅下降 1.02 个百分点。在代码任务中,AP₁从 79.71% 提升至 109.83%,AP₂仅下降 0.75 个百分点。

在指令遵循任务上,JANUS-P 同样将稳定性提升至接近预训练模型的水平,并获得更高的综合指标。与其他抗遗忘微调方法相比,JANUS-P 几乎都取得了稳定性与可塑性的双重提升。



稳定性-可塑性对比

进一步实验显示,这种恢复效果能够跨基础模型、下游任务和原始微调方法稳定出现,说明 JANUS 并非绑定于某一种训练方案。

05 结语:从「训练时限制」到「训练后修复」,大模型持续学习的新思路

JANUS 最值得关注的地方,或许不仅在于具体的性能提升,更在于它改变了抗遗忘问题的处理方式。

过去,许多方法试图在模型学习新任务的过程中,通过限制参数更新来避免破坏旧知识。

JANUS 则将这一约束转移到了训练之后。

这一变化意味着,抗遗忘机制不必与特定的微调算法深度绑定,而有机会成为一种相对独立的模型后处理环节。

对于需要频繁适配不同任务、持续更新能力的大模型而言,这提供了一条具有实际应用潜力的技术路径,展示了一种新的可能:

大模型学习新知识与保留旧知识之间的矛盾,未必只能通过在训练时施加更严格的限制来解决。

有时候,让模型先学会,再修正,也许是一条更灵活的道路。

作者团队简介

该论文第一作者郑志龙,清华大学智能驾驶课题组(iDLab)博士生,导师为清华大学车辆学院、人工智能学院李升波教授。该工作由清华大学与滴滴自动驾驶深穹远航实验室(DiDi Voyager Labs)合作完成。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
这一下完全服气了?杜锋用的不一定好使,但是不用的真的是不堪

这一下完全服气了?杜锋用的不一定好使,但是不用的真的是不堪

残梦重生来
2026-11-22 15:17:59
最新 | 油价马上调整!

最新 | 油价马上调整!

新浪财经
2026-11-21 21:54:43
油价,早先一路猛涨,丝毫没有顾及普通百姓的感受,如今反转了!

油价,早先一路猛涨,丝毫没有顾及普通百姓的感受,如今反转了!

沙雕小琳琳
2026-11-22 15:26:29
细思极恐!有车主算了笔账,92号汽油6.5元/升,才是真正的油价?

细思极恐!有车主算了笔账,92号汽油6.5元/升,才是真正的油价?

沙雕小琳琳
2026-11-22 01:28:49
中央动真格!2027年底前,全国所有住房都将迎来唯一“身份证”?

中央动真格!2027年底前,全国所有住房都将迎来唯一“身份证”?

心灵的触动a
2026-11-17 23:49:36
阿卡直面媒体透露首盘失利原因,谢尔顿称对手用发球摧毁了自己

阿卡直面媒体透露首盘失利原因,谢尔顿称对手用发球摧毁了自己

网球之家
2026-11-22 18:56:42
我卖掉北京房子住进儿子家,儿媳以为我睡着,跟儿子说:500万到账了

我卖掉北京房子住进儿子家,儿媳以为我睡着,跟儿子说:500万到账了

麦子情感故事
2026-11-22 10:35:40
凯利痛批迪卡普里奥庆生,称其肥胖邋!还顺便吐槽多名美国男星

凯利痛批迪卡普里奥庆生,称其肥胖邋!还顺便吐槽多名美国男星

小椰的奶奶
2026-11-22 00:46:31
触目惊心!男子高速猛打一把方向,后排母亲和弟弟被甩出车窗,事发画面曝光

触目惊心!男子高速猛打一把方向,后排母亲和弟弟被甩出车窗,事发画面曝光

上观新闻
2026-11-22 08:24:56
中方用两个字,告诉访华的高市早苗,这样的接机安排再合适不过了

中方用两个字,告诉访华的高市早苗,这样的接机安排再合适不过了

司马平邦
2026-11-21 19:04:32
乌媒:莫斯科方面宣称中俄考虑联合研制武器,背后究竟有何考量?

乌媒:莫斯科方面宣称中俄考虑联合研制武器,背后究竟有何考量?

零度Military
2026-11-22 00:05:14
江苏华昊建设集团破产重整

江苏华昊建设集团破产重整

地产微资讯
2026-11-22 17:33:41
赵本山或许也没想到,自己维半辈子的体面,会因一首歌惹了麻烦

赵本山或许也没想到,自己维半辈子的体面,会因一首歌惹了麻烦

无人倾听无人倾听
2026-11-22 21:10:41
媒体造神,从删掉"交易额"开始

媒体造神,从删掉"交易额"开始

鲁先生的笔
2026-11-21 21:51:20
网友晒出公司延迟发薪通知,半年欠薪员工却仍旧卖命工作,网友说:保饭碗更重要!

网友晒出公司延迟发薪通知,半年欠薪员工却仍旧卖命工作,网友说:保饭碗更重要!

黯泉
2026-11-22 15:10:48
菲律宾驻美大使透露:马斯克“正在菲悄悄开发一两座岛屿”

菲律宾驻美大使透露:马斯克“正在菲悄悄开发一两座岛屿”

参考消息
2026-11-22 14:55:03
感谢中国女保镖,墨西哥首位女总统的人生同样彪悍:硬核能源学家,业余八段锦高手,在“史上最血腥选举”杀出重围,从未向特朗普低头

感谢中国女保镖,墨西哥首位女总统的人生同样彪悍:硬核能源学家,业余八段锦高手,在“史上最血腥选举”杀出重围,从未向特朗普低头

极目新闻
2026-11-21 20:11:56
比黄仁勋辞职事更大:美国与9大盟友签署宣言,全面封堵中国AI算力

比黄仁勋辞职事更大:美国与9大盟友签署宣言,全面封堵中国AI算力

疯狂小菠萝
2026-11-22 11:01:59
炸锅!全国20多省开始抢老人,有退休金成香饽饽,结果信号不一般

炸锅!全国20多省开始抢老人,有退休金成香饽饽,结果信号不一般

精彩一网打尽
2026-11-22 10:10:12
中国日本韩国吸烟率对比:日本17.5%,韩国18.6%,中国是多少?

中国日本韩国吸烟率对比:日本17.5%,韩国18.6%,中国是多少?

荆楚寰宇文枢
2026-10-27 22:10:25
2026-11-22 21:51:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14533文章数 142765关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

游戏
房产
艺术
本地
公开课

PC Gamer试玩GTA6百小时:双主角出色但任务重复

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

艺术要闻

世界十大著名宫殿盘点:中国独占两席

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版