多模态Agent的长期记忆系统，被北大&MemoraX AI开源了！

智猩猩AI整理

编辑：知知

随着多模态 Agent 进入真实工作流，它接触的历史不再只是几轮文字对话，而是相册、视频、邮件、日历、文档以及跨会话的交互记录。时间越长，记忆库越大，真正影响当前回答的证据反而越容易被冗余内容淹没。

这意味着，长期记忆系统面对的核心挑战，已经不只是把信息保存下来，而是要在问题出现时，判断哪些历史片段应当一起被取回。

很多问题的答案并不存在于某一条"最相似"的记录中，而是分散在多个时间点、多个模态甚至多个会话里。传统检索通常会问："哪几条记忆与当前问题最接近？"

为了解决以上问题，北京大学王选计算机研究所联合 MemoraX AI 提出了 GraphMemix。

GraphMemix 试图回答的则是另一个更接近真实推理的问题：“在有限预算下，哪一组记忆组合起来，能够形成最完整、最可信的回答证据？”

GraphMemix 不再把历史记忆逐条独立排序，而是把检索转化为一项组合优化任务：在有限上下文预算内，挑出能够彼此补充、共同支撑答案的一组证据。四项长期多模态记忆基准的平均 Judge Accuracy 达到 61.55%，比最强公开基线高出 11.75 个百分点。

• 论文题目：GraphMemix: Query-Aware Evidence Forests for Long-Term Multimodal Agent Memory

01

为什么单纯提高相似度还不够？

现有多模态长期记忆方案大体可以分为两类。

第一类在用户提问之前，对全部历史执行摘要、结构化或链接构建；A-MEM、MIRIX、SGM 等方法倾向于在离线阶段组织历史，这种方式可以让后续查询更方便，但全量生成式处理会带来持续更新成本，更关键的是，在未来问题尚未出现时，系统并不知道哪些局部视觉属性、状态变化或措辞细节会成为关键证据，一旦摘要阶段漏掉这些信息，后续再强的检索也很难恢复。

第二类则依赖向量检索，在问题到来后返回相似度最高的若干记录；MuRAG、Pensieve 等多模态 RAG 方法效率较高，但相似度主要衡量单条记录与问题的接近程度，当答案依赖多条互补信息时，Top-K 很容易重复召回相似内容，同时遗漏措辞不同、排名较低却能补全事实链的证据。

例如用户询问某门课程修改后的截止日期，最初通知往往与问题高度相似，但真正决定答案的可能是之后一封措辞完全不同的更新邮件，如果检索列表只按独立相似度排序，就可能得到多个版本的旧通知，却错过那条真正完成修正的记录。

两条路线都有效，却各有明显边界：提前整理全部历史成本高、也可能过早丢掉细节，只找最相似记录可能找到"关键词"、却拼不出答案。由此指向一个关键转折——长期记忆检索的目标，不应只是让每条入选记忆"各自相关"，还要让它们放在一起时"彼此有增量"。

02

GraphMemix 的答案：

把记忆组织成“证据森林”

GraphMemix 将记忆选择建模为查询感知的组合图优化问题。在这个图里，单条记忆是节点，记忆之间能够带来的增量支持是边，而最终选出的若干组互补证据链构成一片森林。

• 节点（Node）：衡量某条记忆单独对当前问题有多大直接支持。

• 边（Edge）：衡量在已经知道一个锚点证据后，另一条记忆还能补充多少新信息。

• 森林（Forest）：由多个无环证据组件组成，允许不同事实链并存，同时控制冗余与冲突。

这种设计的重点，不是把所有历史都做成一张巨大的知识图谱。问题到来后，系统只围绕高相关的种子记忆构建一个有界局部图，再在这个范围内联合判断节点价值与关系价值。因此，语义推理集中发生在查询相关区域，而不是持续扫描整段历史。

图 1｜GraphMemix 方法总览：从多视图候选召回，到证据效用评估，再到最大权重证据森林优化。

03

一片“证据森林”是怎样长出来的？

一、多视图召回，先把候选范围找全

一条多模态记忆可能同时包含原图、Caption、OCR、视频帧和文本字段。GraphMemix 对这些视图分别计算与问题的相似度，并取最大值作为初始检索分数，从中选出 Top-L 种子。

随后，系统利用两类关系执行有限跳扩展：一类是同一会话、同一轮交互、同一邮件链等可观察的 Schema 关系；另一类是用于发现语义近邻的 Mutual-kNN 关系。扩展的作用是增加覆盖率，但候选规模始终被限制在 M 以内。

二、把“单条有用”和“组合有用”分开判断

GraphMemix 设置了两个职责不同、可以并行运行的验证器。节点验证器以 Listwise 方式阅读问题与候选集合，判断每条记忆独立支撑答案的程度；证据链验证器则专门判断一条关系是否真正带来了增量信息。

证据链验证器把候选关系划分为六种角色：new_fact、clarification、corroboration，以及 redundant、conflict、irrelevant。只有被判断为正向增量、且支持分数大于零的 Schema 边，才会进入可信图。主题相似或位置相邻，本身并不能获得结构收益。

三、在预算内求解最有价值的证据组合

最终目标同时考虑节点的直接效用、关系边的不确定性成本，以及开启一条独立证据链的成本。在固定节点集合下，GraphMemix 使用 Kruskal 算法精确求出最大权重无环森林；在节点选择层面，则先通过 1-Swap 局部搜索生成候选方案，再执行变基数精确提炼，删除无法证明自身价值的孤立记忆。

最后交给 Reader 的不再是一个松散的 Top-K 列表，而是经过结构化组织的证据树。系统按组件与树内顺序进行序列化，使回答模型更容易理解不同事实之间的补充关系。

04

实验结果：

四项基准全部取得提升

研究团队在 ATM-Bench、Mem-Gallery、MemEye 和 H2HMem 四项长期多模态 Agent 记忆基准上进行评估，并让所有方法使用相同的 Reader 与评测协议。

Qwen3-VL-8B Reader 下，GraphMemix 四榜平均 Judge Accuracy 为 61.55%；相比最强公开基线 UniversalRAG 的 49.80%，提升 11.75 个百分点；四项基准均取得更高准确率。

图 2｜Qwen3-VL-8B Reader 下，GraphMemix 与各基准最强公开基线的 Judge Accuracy 对比。

• ATM-Bench：55.27%，提升 6.80 个百分点。

• Mem-Gallery：76.33%，提升 12.57 个百分点。

• MemEye：53.64%，提升 5.66 个百分点。

• H2HMem：60.96%，提升 16.60 个百分点。

这些任务覆盖严格短答案匹配、开放式回答、多项选择和参考信息覆盖等不同形态，说明收益并不局限于某一种数据格式。

将 Reader 更换为 Gemma 4 12B Unified 后，GraphMemix 的四榜平均准确率进一步达到 67.42%，相对该设置下最强基线提升 12.33 个百分点。

这组实验说明，GraphMemix 改善的是 Reader 所接收到的证据结构，而不是针对某一个回答模型进行特化。

05

效率不只看单次查询，

还要看完整生命周期

长期记忆系统的真实成本由两部分组成：一是消化和组织全部历史记忆，二是回答后续所有问题。如果只比较单次检索时延，就会忽略离线摘要与持续更新带来的大量开销。

图 3｜ATM-Bench 完整生命周期分析：处理 11,034 条记忆并回答 1,044 个问题。

在 ATM-Bench 的完整生命周期对比中，GraphMemix 相比 A-MEM 将总耗时缩短约 1.78 倍，相比 VimRAG 缩短约 4.27 倍，相比 LightMem 缩短约 4.74 倍。它并非绝对耗时最低的方法，但在准确率明显提高的同时保持了较低成本，处于经验 Pareto 前沿。

原因在于，GraphMemix 把高成本的语义推理限制在查询相关的有界候选图内，不需要在问题出现之前反复对全部历史执行生成式处理。

06

一个案例：低排名证据

为什么可能更关键？

Mem-Gallery 中有这样一道问题：对话中提到的两只“聪明且学习很快”的狗，分别叫什么名字？正确答案需要同时恢复两组散落在不同对话中的信息：Lena 的马尔济斯犬 Lumi，以及 Lucy 的玩具贵宾犬 Coco。

独立相似度排序能够找到部分关键词，却不一定能完整配对“名字、犬种与学习能力”。A-MEM 重复给出 Lumi 相关信息，没有找回第二只狗；MemGuide 和 LightMem 则返回了犬种，而不是问题要求的名字。

图 4｜Mem-Gallery 案例中的证据优化过程：低排名但能补全关系的记忆被换入，冗余节点被换出。

GraphMemix 的初始候选同样不完整。经过 5 次有效的 1-Swap 与可信森林重组后，目标函数从 1.340 单调提升到 2.133，并换入能够补全 Coco 身份与属性关系的低排名证据。Reader 最终给出了完整答案：Lumi the Maltese and Coco the Toy Poodle。

这告诉我们低相似度不等于低价值。一条记忆可能单独看并不显眼，却会在与另一条证据连接后，成为补全答案的关键环节。

07

从“召回更多”转向“组织得更好”

GraphMemix 所体现的方向，可以概括为三个变化。

1. 从全历史预处理转向查询触发、局部构建：只处理与当前问题相关的有界候选图。

2. 从单一相关性分数转向职责分离：分别回答“单条记忆是否有用”和“它相对已有证据增加了什么”。

3. 从独立排序转向组合优化：在固定 Reader 预算下保留互补证据，同时抑制重复、冲突与无关内容。

对于长期多模态 Agent 来说，检索的终点不应只是一个 Top-K 列表。真正决定回答质量的，是系统能否把分散在历史中的信息重新组织成完整、可信且预算可控的证据结构。

当 Agent 开始跨越更长时间、更多任务与更多模态持续工作，长期记忆的竞争也将从“记住多少”逐渐转向“在正确的时候，找回并组织正确的部分”。GraphMemix 正是在这一问题上给出了一种新的工程与研究路径。

关注+星标，获取AI前沿进展与开源一线动态