网易首页 > 网易号 > 正文 申请入驻

VLM记忆机制最新综述,从When, Where, What, How四个维度看懂记忆

0
分享至



来自 Duke、Google、USC、UPenn、UNC 等八家机构的研究者联合发布最新视觉语言模型(VLM)记忆机制的系统性综述。基于全新的 4D 分类框架,系统梳理了 300 余篇相关工作和近 70 个评测基准,覆盖长视频理解与生成、多模态 RAG、具身导航与行动、个性化助手等八个热点应用场景。



  • 论文:Memory in Vision-Language Models: Taxonomy, Mechanisms, and Applications
  • 论文作者:SHAO-JUN XIA、YIZHUO HE、YUNER ZHANG、YIFAN JIANG、XIAOYANG CHEN、LIANGXI LIU、CHENWEN LUO、JINBAO WANG
  • 供稿:YIFAN JIANG、YIZHUO HE、YUNER ZHANG、SHAO-JUN XIA
  • 项目链接:https://github.com/Xzcv-hub/Awesome-Memory-in-VLM
  • 论文:https://www.preprints.org/manuscript/202607.1539

一、为什么 VLM 需要记忆

近年来,VLM 在图像描述、视觉问答、视频理解、多模态对话和具身智能等任务上飞速发展,并逐渐扩展到更为复杂、大体量的长程任务和真实应用。这些任务要求模型在更长的时间跨度、更多轮的交互中持续积累并调用过往信息,单纯扩展上下文窗口往往难以满足这一需求。为此,研究者用不同的方法尝试为 VLM 引入记忆机制,例如外部记忆库、层级化记忆、长短期记忆等。

然而,已有的设计多从特定的任务场景以及架构出发,对于记忆的实现和优化也往往专注于与任务相关的维度,术语和设计各不相同,缺少一个统一的视角来理解和比较这些方法。另一方面,已有的记忆相关的综述大多聚焦于 LLM,对于 VLM 方面的描述只包含特定的任务形式,有一定的局限性。

在这篇综述中,作者提出了全新的 4D 分类框架,系统刻画 VLM 中的记忆机制。基于这一框架,作者梳理了 300 余篇相关工作,总结出八种典型的记忆形态,整理了近 70 个评测基准,分析了记忆在长视频理解、具身智能、个性化助手等八类应用场景中的作用,并讨论了当前面临的挑战与未来方向。



图 1|VLM 记忆相关研究的发展时间线。图中从 When(时间范围)、Where(存储位置)、What(记忆内容)和 How(记忆操作)四个维度展示代表性研究及其发展脉络,中间标注了同期主要基础模型的发展节点。

二、核心框架:4D 记忆分类



图 2|VLM 记忆的 4D 分类框架:When(时间范围)、Where(存储位置)、What(记忆内容)、How(记忆操作)。

作者提出对于记忆的视角应从单纯的信息储存单元扩展到整个生命周期:有关的信息先从多模态任务中被观测并写入记忆,随着时间被反复提炼和组织,并在处理相关任务时被检索和调用。基于这一视角,作者提出了 4D 分类框架,从 When(时间范围)、Where(储存位置)、What(记忆内容)和 How(记忆操作)四个维度,系统刻画 VLM 中的记忆机制。

1)When:记忆保留多久。这一维度关心记忆的存在时间。最短的瞬时记忆用于单次推理,情景记忆则适用于多轮对话和多轮交互,这两者的记忆通常仅在当前推理或任务交互期间保留。而最长的持久记忆会在会话结束后依旧保留下来,为后续的交互所用。

2)Where:记忆存在哪里。记忆的储存位置有模型内部和外部两类。内部记忆往往储存于模型的参数、隐藏状态和 KV 缓存中,这类记忆调用快并且与推理任务结合更密切,但不利于修改和查看。外部记忆储存于独立的数据库、知识图谱或经验库,便于更新和审查,但效果依赖于检索质量。

3)What:记忆存成什么。这一维度涉及记忆以什么形式把原始的相关信息储存起来,除了直接的原始信息片段,记忆还可以被整理成结构化的对话与轨迹记录、抽象的语义知识,或者被压缩成模型内部的潜在表示。

4)How:记忆如何操作。这一维度关心记忆在整个生命周期中经历的操作,主要包括四类:写入,决定哪些新信息以什么形式写入记忆。巩固,对已有的记忆进行整理和提炼。检索,找出与当前任务相关的记忆以辅助完成任务。更新与遗忘,在持续的交互中更新和清理信息,确保信息的时效性。

三、八种典型记忆形态




图 3|八种典型记忆形态及其在 4D 框架中的定位。

四个维度在概念上可以分开讨论,但在真实系统中往往相互绑定。选择了记忆保留多久,通常也就决定了它更适合存在哪里、以什么形式保存。作者据此总结出八种典型的记忆形态(图 3),每种形态都对应四个维度的一种典型组合。例如,长上下文记忆通过上下文窗口保留 token 或其压缩表示,通常属于瞬时、内部记忆;终身智能体记忆则需要在多次会话中持续积累经验,属于持久记忆,相应地,写入、巩固、检索、更新与遗忘四类操作都会在设计中被考虑。

需要注意的是,这些组合只是常见的设计倾向,并非固定规则。比如,瞬时的中间状态虽然无法在推理结束后保留,但其中的内容可以被额外组件整理后变成情景或持久记忆,并辅助后续的任务。作者希望,这些组合关系不仅可以帮助研究者理清现有工作在记忆实现上的偏好,也可以指出尚未被充分探索的设计空间。

四、从应用看记忆:八类典型场景



图 4|八类应用场景中的记忆需求偏好。

八种记忆形态回答的是「记忆可以怎么实现」,而在实际应用中,选择哪种形态、如何组合,很大程度上取决于任务本身。从应用的角度出发,综述进一步整理了近 70 个现有的 VLM 记忆基准,探讨了八类应用场景的记忆实现和需求偏好:

1)长视频理解与生成:受限于模型的上下文无法容纳海量的视频帧,记忆实现多以压缩视觉信息并有选择地保留任务相关视觉信息为主。

2)图像推理与描述:该任务中,模型在较长的推理中容易忘记重要信息,记忆实现侧重于保留关键视觉信息。

3)持续学习:这类任务的核心是模型在学习新知识和技能时保留以往的能力,记忆通常体现为对模型原有参数和表示空间的保护。

4)具身导航与动作:记忆实现多以记录行动轨迹数据、任务进度和环境空间结构为主。

5)多模态 RAG:此类任务主要考察外部知识库和文档图像的构建,以及根据任务检索相关信息的效率和准确性。

6)第一人称视觉:此类任务涉及长达数天甚至数周的长期信息,对记忆进行层级化的组织往往是重要的解决方案。

7)个性化助手:由于用户的专属要求和偏好需要跨会话保存,记忆实现多以可随时更新的外部记忆为主。

8)虚拟环境交互:此类任务考察智能体能否把过去的交互经验提炼成可复用的知识和技能,在遇到新任务时检索参考。

五、挑战与未来方向


在综述的最后,作者梳理了现在 VLM 的记忆机制仍面临的挑战和值得探索的未来方向。首先,上下文变长并不等于记忆有效,模型即便接收了更多信息,也可能会错过一个短暂但关键的事件。其次,信息的重要性往往取决于之后会被问什么,这种滞后性使得对相关记忆的压缩和保留很难取舍,现有方法也常常在保留高层语义信息的同时丢失了事件顺序和视觉细节。此外,检索到的记忆本身可能是无关、过时甚至错误的,而模型往往缺乏核实这些记忆的能力,即使依据的是错误信息,也能给出看似合理的回答,使得错误难以被察觉。最后,现有的基准大多只测试记忆的单一能力,而真实任务场景中的错误往往涉及多个环节,单项测试无法全面反映记忆系统的落地表现。

针对这些问题,作者提出了几个值得探索的方向:借鉴人类认知构建分层的记忆结构,让系统根据信息类型自适应地选择存储方式,让模型自己学会判断什么值得记住,并让每条记忆都能追溯到原始的视觉证据。同时,记忆系统的评测不应只看准确率,用户能否查看、修改和删除自己的记忆,也应成为设计之初就考虑的问题。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
信号很强烈,这次中国要主动出击

信号很强烈,这次中国要主动出击

戎评
2026-11-17 13:54:58
吃降压药的最佳时间公布!医生忠告:吃错了时间,效果相差很大

吃降压药的最佳时间公布!医生忠告:吃错了时间,效果相差很大

鬼菜生活
2026-11-17 01:33:17
考古工地发现“啤酒瓶”,工人正准备扔掉被拦住,竟是700年前的文物

考古工地发现“啤酒瓶”,工人正准备扔掉被拦住,竟是700年前的文物

收藏大视界
2026-11-16 17:44:27
普京访华参加深圳APEC峰会,四大看点值得关注

普京访华参加深圳APEC峰会,四大看点值得关注

俄语大世界
2026-11-17 07:30:09
退休人员好消息!多地公布 2026 年计发基数,今年退休的等着补发

退休人员好消息!多地公布 2026 年计发基数,今年退休的等着补发

社保小达人
2026-11-17 10:14:30
乌克兰被逼换卫星终端!马斯克掐断星链,反倒炸出一个大意外

乌克兰被逼换卫星终端!马斯克掐断星链,反倒炸出一个大意外

老马拉车莫少装
2026-11-16 14:29:44
无耻!浙江一大学学生自称向保洁索赔当副业,还让网友夸她“小天才”

无耻!浙江一大学学生自称向保洁索赔当副业,还让网友夸她“小天才”

Mr王的饭后茶
2026-11-17 09:55:00
银行行长豢养32位女员工,揭秘其专选美人的骇人内幕

银行行长豢养32位女员工,揭秘其专选美人的骇人内幕

雾岛夜话
2025-05-13 14:17:25
善恶终有报!放弃国籍贪财好色,69岁坐轮椅的张铁林成全网笑柄

善恶终有报!放弃国籍贪财好色,69岁坐轮椅的张铁林成全网笑柄

傲傲讲历史
2026-10-08 14:16:43
蔡天凤案控方太给力!盘问邝港杰曝10大疑点,当庭呵斥:你撒谎!

蔡天凤案控方太给力!盘问邝港杰曝10大疑点,当庭呵斥:你撒谎!

落雪听梅a
2026-11-17 06:31:50
中际旭创股价5个月累计下跌70% 机构提示光模块赛道的投资逻辑已转向

中际旭创股价5个月累计下跌70% 机构提示光模块赛道的投资逻辑已转向

新快报新闻
2026-11-17 08:08:01
冯巩67岁生日宴,贾玲素颜站身边比了个剪刀手:瘦了酒窝一点没变

冯巩67岁生日宴,贾玲素颜站身边比了个剪刀手:瘦了酒窝一点没变

手工制作阿歼
2026-11-15 10:13:42
“断子绝孙”还有救?联合国曾预言:2050年,中国人口将出乎意料

“断子绝孙”还有救?联合国曾预言:2050年,中国人口将出乎意料

混沌录
2026-11-14 22:44:04
十一月下旬开始这 3 个生肖,近期贵人登门,抓住机会顺势而起

十一月下旬开始这 3 个生肖,近期贵人登门,抓住机会顺势而起

情感事聊
2026-11-17 10:59:30
今明两天, 贵州卫视、爱奇艺杀疯了, 又3部好剧同时开播, 你追哪部

今明两天, 贵州卫视、爱奇艺杀疯了, 又3部好剧同时开播, 你追哪部

手工制作阿歼
2026-11-17 14:13:25
笃守合作:务实的深圳与亚太携手共赢

笃守合作:务实的深圳与亚太携手共赢

人民网
2026-11-17 09:46:26
开拓者98-106输球,杨瀚森正负值却+11!出场7分钟,追平NBA两纪录

开拓者98-106输球,杨瀚森正负值却+11!出场7分钟,追平NBA两纪录

球场没跑道
2026-11-17 12:06:03
韦唯和小儿子韦紫湦出发前往新疆徒步旅行时,在机场拍下的合照

韦唯和小儿子韦紫湦出发前往新疆徒步旅行时,在机场拍下的合照

娱你同欢
2026-11-16 19:53:38
外交部正式官宣,三天后,深圳将取代雅尔塔?

外交部正式官宣,三天后,深圳将取代雅尔塔?

罗富强说
2026-11-16 11:09:32
刘源赴深圳东莞佛山等地开展招商活动

刘源赴深圳东莞佛山等地开展招商活动

新浪财经
2026-11-16 18:50:30
2026-11-17 14:55:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14492文章数 142758关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

顾军被公诉 通报批其大肆收钱敛财、搞权色交易

头条要闻

顾军被公诉 通报批其大肆收钱敛财、搞权色交易

体育要闻

从上链接到上领奖台 34岁方博绝非等闲之辈

娱乐要闻

后会友期大瓜:3位女演员被迫换车厢

财经要闻

财政部:中加双方同意探索扩大双边贸易

汽车要闻

多面新方盒捷途环游者EV开启预售 9.99万元起

态度原创

游戏
教育
房产
手机
军事航空

《GTA6》预售销量曝逼近1500万份 超越前作首发

教育要闻

draft你只当成“草稿”,高考却用它考“被征召”

房产要闻

5381亩之后,三亚绿谷,等一个500强!

手机要闻

华为麒麟9050显示技术揭秘!普通视频也能变全彩:画质、防窥双升级

军事要闻

美乌陷入外交僵局 俄乌互攻势头不减

无障碍浏览 进入关怀版