网易首页 > 网易号 > 正文 申请入驻

北京大学等发布首篇《视觉语言模型持续学习》万字综述!

0
分享至

摘要:当强大的视觉语言模型(VLM)如CLIP、BLIP遇到源源不断的新知识时,它们也会像人一样“学了就忘”吗?答案是肯定的,甚至更糟,这就是所谓的“灾难性遗忘”。为了解决这一难题,来自北京大学、南开大学、巴塞罗那计算视觉中心(CVC)的研究团队联合发布了首篇针对视觉语言模型持续学习(VLM-CL)的系统性综述,深入剖析了VLM在持续学习中面临的三大独有挑战,并首次提出一个由挑战驱动的解决方案分类法,为该领域的研究者提供了“诊断式”的全面参考。

第一时间获取资源:

·论文:https://arxiv.org/abs/2508.04227

·开源资源库 (Awesome List):

https://github.com/YuyangSunshine/Awesome-Continual-learning-of-Vision-Language-Models

引言:VLM为何需要“终身学习”?

视觉语言模型(VLM)通过在海量图文数据上进行预训练,获得了惊人的跨模态理解和零样本泛化能力 。然而,现实世界的数据是动态、非平稳的。无论是智能机器人、自动驾驶汽车还是个性化AI助手,都需要不断从新的数据流中学习。

当我们试图让VLM学习新知识时,一个棘手的问题浮出水面——灾难性遗忘(Catastrophic Forgetting) 。模型在学习新任务后,会严重遗忘旧任务的知识,导致多模态推理能力下降,零样本泛化能力被侵蚀 。

与传统的单模态持续学习不同,VLM的持续学习面临着更为独特的困境。这篇综述正是为了系统性地梳理这些挑战并指明未来的研究方向。

VLM持续学习的三大“拦路虎”

本文一针见血地指出了VLM在持续学习中面临的三大核心失败模式,并通过图示生动地展示了其原理。

VLM-CL中的三大核心挑战示意图

1.跨模态特征漂移 (Cross-Modal Feature Drift)

o 问题描述: VLM的核心在于其视觉和文本特征在语义空间中的精准对齐 。在持续学习过程中,这种对齐关系非常脆弱,很容易因模型更新而“漂移”,导致图文不再“心有灵犀” 。

o 后果: 模型的跨模态检索等任务性能会急剧下降 。

2.共享模块干扰 (Shared Module Interference)

o问题描述: 许多VLM依赖于共享的融合模块(如Cross-Attention)来整合多模态信息 。在学习新任务时,对共享模块的梯度更新可能会覆盖掉对旧任务至关重要的权重,造成“过河拆桥”式的遗忘 。

o后果: 融合能力被破坏,导致模型在新旧任务上都表现不佳 。

3.零样本能力侵蚀 (Zero-Shot Capability Erosion)

o问题描述: VLM强大的泛化能力来源于其丰富的预训练语义空间 。然而,持续的微调会使模型对新任务“过拟合”,导致整个语义空间发生扭曲 。

o后果: 原本清晰可辨的零样本概念(如“猫”和“狗”)变得模糊甚至重叠,模型的泛化能力严重“缩水” 。

破局之道:一个由挑战驱动的解决方案分类法

基于上述三大挑战,本文创新性地提出了一个“对症下药”的解决方案分类法,将现有方法归纳为三大范式。

VLM-CL策略分类法

1.多模态回放策略 (Multi-Modal Replay)

o 核心思想: 温故而知新。通过“复习”少量旧任务数据来对抗遗忘 。

o具体方法:

§ 显式回放 (Explicit Replay): 直接存储并重放一小部分过去的真实数据 。

§ 隐式回放 (Implicit Replay): 利用生成模型或伪样本来模拟过去的数据分布,以节省存储和保护隐私 。

2.跨模态正则化策略 (Cross-Modal Regularization)

o 核心思想: 给模型更新戴上“紧箍咒”。通过在损失函数中增加约束项,直接保护跨模态对齐关系 。

o 具体方法: 知识蒸馏、对齐关系维护、引导式正则化等,从模型层面抑制特征漂移,保护零样本能力 。

3.参数高效型适应策略 (Parameter-Efficient Adaptation)

o 核心思想: 冻结“主干”,“小修小补”。在持续学习中,冻结大部分预训练参数,只更新一小部分新增的、高效的模块(如Adapter、LoRA、Prompt) 。

o 优势: 从结构上隔离了不同任务的参数更新,有效缓解了共享模块干扰和零样本能力侵蚀的问题 。

全景式回顾与未来展望

除了提出核心分类法,这篇综述还提供了:

· 全面的基准回顾: 系统梳理了当前VLM-CL领域的评测数据集、核心指标和评估协议,并指出了现有标准的局限性 。

VLM-CL核心指标

·深入的性能分析: 在图像分类、多模态检索、视觉问答(VQA)等关键任务上,对现有SOTA方法的性能进行了分析和比较 。

指明未来:综述勾勒的四大前沿研究方向

除了对现有工作的梳理,本综述更具价值的部分在于为VLM持续学习的未来版图指明了方向。作者们认为,该领域正从简单地套用单模态技术,演变为一个拥有自身核心问题的独立领域,并提出了四大值得探索的前沿方向 :

1. 建立统一且更“懂”VLM的评测基准 (Unified and Holistic Benchmarking) 目前该领域的评测是“碎片化”的 。未来需要新一代的基准,它不仅要评估准确率,更要能精准“诊断”VLM的特有问题:

  • 组合式零样本评测: 通过测试已知概念的新组合,来量化模型的“零样本能力侵蚀”(ZSD)程度 。

  • 模态解耦指标: 比如,通过在单模态任务上汇报视觉和文本编码器的独立分数,来量化“跨模态特征漂移” 。

  • 时序性、网络规模的数据流: 模拟真实世界中持续不断的数据流,以真正评估模型的“持续预训练”(CPT)能力 。

2. 迈向终极目标:持续预训练 (Advancing Continual Pre-training, CPT) 当前绝大多数工作都集中在“持续微调”(CFT)上,但这只是权宜之计 。要让VLM不过时,最终需要实现“持续预训练”,即在大规模数据流上不断更新模型的核心知识。这需要研究“可扩展的遗忘缓解”技术 ,例如:

  • 开发适用于数十亿参数模型的高效重要性加权算法 。

  • 让模型学会从内部知识中自生成“伪样本”来进行复习,从而避免存储真实数据带来的隐私和成本问题 。

3. 拓展新场景:生成式与交互式任务 (Generative and Interactive Tasks) 目前的研究大多聚焦于分类、检索等判别式任务 。下一个前沿阵地在于赋予生成式和交互式模型持续学习的能力 。想象一下这些场景:多模态聊天机器人如何在与用户的对话中持续学习,而不会忘记之前的互动? 家用机器人如何在不断变化的环境中学习遵循新的指令?

这背后涉及从反馈中学习、长期记忆管理、以及持续对齐与安全等一系列复杂挑战 。

4. 夯实理论基础:从“经验”到“科学” (Towards a Theoretical Understanding) 当前VLM-CL领域很大程度上是经验驱动的 。未来需要更坚实的理论基础来指导算法设计 。一些根本性的问题亟待回答:

  • 我们能否从数学上建模跨模态特征漂移的过程?

  • 一个参数高效模块(如LoRA)在干扰预训练知识之前,其学习新知识的理论上限是多少?

  • “模态鸿沟(Modality Gap)”这一VLM的内在属性,在持续学习中扮演了怎样的角色?

总结

这篇综述不仅是VLM持续学习领域的第一篇系统性总结,更重要的是,它从问题的根源出发,为研究者们提供了一个清晰的、诊断式的分析框架。它将帮助读者更深刻地理解VLM在“终身学习”道路上遇到的独特障碍,并为开发下一代能够与时俱进的多模态AI系统提供了宝贵的指导和灵感。

我们强烈推荐所有从事多模态学习、持续学习、大模型适应等领域的研究者和工程师阅读此文。

再次附上链接,欢迎阅读、引用和分享!

·论文: https://arxiv.org/abs/2508.04227

·开源资源库 (Awesome List):

https://github.com/YuyangSunshine/Awesome-Continual-learning-of-Vision-Language-Models

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
特朗普是美国历史上第一位,也是到目前为止唯一一位,当选总统前既没有任何文职政府公职、也没有参军服役经历的总统

特朗普是美国历史上第一位,也是到目前为止唯一一位,当选总统前既没有任何文职政府公职、也没有参军服役经历的总统

回京历史梦
2026-10-26 10:49:29
严查!中央开始对机关事业单位大整顿!这几类人要倒霉了

严查!中央开始对机关事业单位大整顿!这几类人要倒霉了

职场资深秘书
2026-11-18 16:03:57
A股:今天精准收跌在3584点,信号非常强烈!明日将迎来关键转折

A股:今天精准收跌在3584点,信号非常强烈!明日将迎来关键转折

云鹏叙事
2026-11-18 00:00:04
从60跌到21暴跌64%,今天又20CM闪崩跌停,没走的股民全被一锅端

从60跌到21暴跌64%,今天又20CM闪崩跌停,没走的股民全被一锅端

财经智多星
2026-11-18 13:23:33
黄仁勋事件,美国政府突然回过味来

黄仁勋事件,美国政府突然回过味来

牛弹琴
2026-11-18 07:40:33
不可思议!刘欢安葬后网友发文感慨,墓穴售价数十万,每年另缴5%管护费,担忧千年后无人续费,期盼其墓园纳入文保体系、专人管护

不可思议!刘欢安葬后网友发文感慨,墓穴售价数十万,每年另缴5%管护费,担忧千年后无人续费,期盼其墓园纳入文保体系、专人管护

火山詩话
2026-11-16 06:48:40
俄罗斯记者赴深报道APEC,提前换好现金,最后一分没花:太先进了

俄罗斯记者赴深报道APEC,提前换好现金,最后一分没花:太先进了

行者聊官
2026-11-18 11:55:37
环球时报快评:“希望我的祖国也能有一个深圳”在外网火了

环球时报快评:“希望我的祖国也能有一个深圳”在外网火了

环球网资讯
2026-11-17 17:49:03
英伟达临时CEO称将不再向中国出货H200芯片 外交部:中方已多次阐明在美国输华芯片问题上的原则立场

英伟达临时CEO称将不再向中国出货H200芯片 外交部:中方已多次阐明在美国输华芯片问题上的原则立场

每日经济新闻
2026-11-18 18:43:09
主持人张泉灵被曝猛料,公司成老赖,离开央视后活成了这样

主持人张泉灵被曝猛料,公司成老赖,离开央视后活成了这样

不似少年游
2026-11-18 11:35:34
A股三大指数快速拉升翻红

A股三大指数快速拉升翻红

证券时报
2026-11-18 13:46:04
新华社消息|外交部:中俄美元首将就事关全球和平的重要问题深入交换意见

新华社消息|外交部:中俄美元首将就事关全球和平的重要问题深入交换意见

新华社
2026-11-18 15:44:19
克里米亚大桥被炸塌,对俄罗斯意味着什么?

克里米亚大桥被炸塌,对俄罗斯意味着什么?

山河路口
2026-11-18 18:00:20
此人主政中国最大省长达20年,晚年升任副主席掌权中枢,8个子女都是栋梁之才

此人主政中国最大省长达20年,晚年升任副主席掌权中枢,8个子女都是栋梁之才

磊子讲史
2026-11-18 14:30:02
外交部回应英伟达临时CEO涉芯片言论

外交部回应英伟达临时CEO涉芯片言论

每日经济新闻
2026-11-18 16:06:55
赛义德用杰佛逊《古兰经》宣誓遭打脸:那是打你海盗先祖用的

赛义德用杰佛逊《古兰经》宣誓遭打脸:那是打你海盗先祖用的

移光幻影
2026-11-18 11:47:34
刚刚!苹果新品突然上架,真的心动啊

刚刚!苹果新品突然上架,真的心动啊

科技堡垒
2026-11-18 08:00:35
深圳APEC领导人会议今日开幕,你必须知道的10件事

深圳APEC领导人会议今日开幕,你必须知道的10件事

刘润
2026-11-18 08:07:50
红船观察丨王忠林被查,权威声音释放关键信息

红船观察丨王忠林被查,权威声音释放关键信息

红船融媒
2026-11-17 11:36:09
一首《慌啥子嘛》把我听吐了......

一首《慌啥子嘛》把我听吐了......

细雨中的呼喊
2026-11-17 18:21:32
2026-11-18 19:40:49
算法与数学之美 incentive-icons
算法与数学之美
分享知识,交流思想
5926文章数 64669关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

教育
旅游
游戏
时尚
房产

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

旅游要闻

秋假遛娃剑门关,全程17000步,6个小时,喜提废腿体验!

英国法庭驳回索尼PlayStation数字内容集体诉讼

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

房产要闻

6.6亿!海口卖地!

无障碍浏览 进入关怀版