哈佛揭示外部反馈对Agent记忆管理重要性，构建自我演化型Agent

近年来，大模型的迅速发展赋能了大量交互式的智能代理（大模型 Agent），使后者在类似代码生成、自动驾驶、个人助理等领域展现出令人瞩目的潜力。

这些 Agent 通常需要类似人类的记忆能力，以便持续学习并逐渐提升自身表现。具体而言，Agent 需要记录并回忆曾经遇到的任务输入以及对应的输出结果，从而帮助其在新的任务中取得良好表现。

然而，目前各种 Agent 所使用的记忆模块往往是为特定任务专门设计的。例如，自动驾驶 Agent 存储的是车辆的轨迹与状态数据，代码生成 Agent 保存的是代码片段，而个人助理型 Agent 则可能倾向于总结对话信息。这种碎片化的、任务导向的设计方式，使得研究记忆管理的通用规律与共性变得极其困难。因此，美国伊利诺伊大学香槟分校本科校友、美国哈佛大学博士生熊梓迪和所在团队决定回归到最基本的记忆管理操作——添加操作与删除操作，以便解决这样一个通用而核心的问题：到底该如何管理记忆，才能长期提升大模型 Agent 的表现？

图 | 熊梓迪（来源：熊梓迪）

研究团队的目标是提供系统性的实验证据和具有普适性的原则，避免开发者因为缺乏通用准则而只能凭经验制定策略，从而导致性能的不稳定甚至退化。

如前所述，与以往关注复杂记忆机制设计的研究不同，研究团队的研究重点回归到记忆管理最基础的两个操作上：

• 添加：判断一个新任务的执行结果是否值得被记忆。
• 删除：决定何时以及按照什么标准删除过去的记忆。

通过研究不同精度的外部反馈作为这两项操作的执行标准，研究团队发现了以下三个核心规律：

• 第一个规律是经验跟随现象（Experience-Following）：Agent 在处理当前任务时，倾向于复制检索到的相似历史任务的输出，而这种现象不区分记忆质量的好坏，具有高度一致性。
• 第二个规律是错误传播效应（Error Propagation）：当记忆添加的外部反馈精度和评估标准不严，错误或低质量的任务执行结果被存入记忆后，会不断被后续任务所模仿，从而导致一连串的决策失误，甚至使 Agent 长期表现退化。
• 第三个规律是经验回放失配（Misaligned Memory Replay）：即使某些记忆本身正确，但如果它们与当前任务的上下文不匹配或已过时，仍然会拖累 Agent 的表现。因此，需要通过精准的外部反馈进行持续维护或删除。

整体而言，研究团队揭示了一个长期被忽视的重要问题，即精准可靠的外部反馈对于记忆管理设计的重要性。在绝大多数实际场景中，由于缺乏这种高质量反馈，Agent 的记忆系统反而可能阻碍而非促进其长期的表现。

研究团队希望本研究能够激发更多关于大模型 Agent 各模块通用机制的系统性研究，并期待本工作中的发现能够为未来记忆模块的设计提供实证参考，从而推动构建更智能、具备自我演化能力的大模型 Agent。

（来源：https://arxiv.org/pdf/2505.16067）

谈及研究过程，熊梓迪对 DeepTech 表示，他与本次相关论文的共同通讯作者 Zhen Xiang 师兄（现为美国佐治亚大学助理教授）希望找到一种普遍适用于各种 Agent 的记忆管理方案。研究早期，他们尝试了许多复杂的方法，但发现由于 Agent 任务差异巨大，很难提炼出真正通用的解决方案，也难以清晰界定研究问题。

反思之后，研究团队决定回归最基础的记忆操作，聚焦于记忆的添加和删除。之所以选择这两个操作，是因为它们不仅是记忆系统中最基本的部分，同时在不同 Agent 中都有明确可能的实现方式。

研究团队随后建立了一个统一的实验框架，选择了具有代表性的多个不同领域的 Agent，包括医疗数据、自动驾驶、物联网安全等，以充分验证普适性。经过大量的实验和分析，研究团队发现了 Agent 记忆管理中三个重要的共性问题：经验跟随、错误传播和经验回放失配。这些发现帮助研究团队明确了准确可靠的外部反馈在记忆管理中不可或缺的角色，也为后续的研究和应用提供了明确的方向。

不过，熊梓迪坦言：“实验中应用程序编程接口（API，Application Programming Interface）的花销非常昂贵，比如像 GPT-4o 作为 backbone 让 Agent 在几千条任务上跑的花销真的很惊人。”这也更加凸显了本次研究的不易。

日前，相关论文以《内存管理如何影响大模型代理：经验跟随行为的实证研究》（How Memory Management Impacts LLM Agents: An Empirical Study of Experience-Following Behavior）为题发在arXiv[1]，熊梓迪是第一作者。

图 | 相关论文（来源：https://arxiv.org/pdf/2505.16067）

未来，研究团队希望进一步探索如何在缺乏高质量外部反馈的情况下，尽可能减少记忆模块可能带来的负面影响，并提升其长期表现。他们相信，这对于现实的大模型 Agent 应用具有重要的价值。

参考资料：

1.https://arxiv.org/pdf/2505.16067

排版：刘雅坤