同一份记忆测试，五个AI智能体最高73.3%最低26.7%

五个AI智能体框架跑了同一场记忆测试，分数从73.3%一路掉到26.7%。差距不是模型造成的，是框架本身。

Letta周三发布了一项名为FrontierMemory的新基准。它测的不是智能体能不能把过去的信息检索出来，而是能不能靠这些经验把下一次任务做得更好。早期结果显示，不同智能体框架之间的表现差距相当大。

排名是这样的：

• Letta Dream：73.3%
• Prime Agent：60%
• OpenAI Agents SDK：40%
• Claude Managed Agents：33.3%
• Hermes Agent：26.7%

记住不等于学会

Letta联合创始人兼CEO查尔斯·帕克在X上写道，现代“记忆”基准已经饱和，因为它们测的是对事实的回忆。他认为在编码框架和bash循环的时代，回忆这件事已经解决了，而在token空间里的持续学习——也就是通过智能体保留的上下文来学习，而不是通过权重更新——仍未解决。

另一位联合创始人莎拉·伍德斯在X上指出了另一个问题。大多数编码和知识工作基准评估的是互不相关的任务，而且所有必要上下文都提前给好了。但人不是这么工作的。她拿新工作打比方：新员工需要大量指导，而干了多年的人往往不用怎么解释就能把活干完。

帕克的前提是：“如果AI生成的记忆是好的，它就应该真正提升下游任务的表现。”

FrontierMemory的做法不同。智能体会拿到此前工作的记录，包括成功的和失败的尝试，然后自己生成记忆，用来完成后续任务。开发者其实已经接受了这个思路，把语言模型和记忆系统、反馈回路配在一起，做出能持续学习的智能体。

Letta改造了现有的编码和知识工作测试，让智能体必须用上从前面任务里学到的东西，而不是什么都给它写清楚。在审查并修复原测试的问题后，Letta把FrontierMemory 1.0收窄到只有15个任务。

框架比模型更关键

框架本身可能和里面跑的模型一样重要。Letta测了五个智能体系统，看它们能从过往工作中学到多少，又能把这些经验用到新任务上多少。

在都用GPT-6.1 Sol生成记忆、GPT-6 Sol完成任务的情况下，Letta Dream以60%对40%击败OpenAI Agents SDK。换成Claude Opus 5.5之后差距更大：Dream拿到73.3%，Prime Agent 60%，Claude Managed Agents只有33.3%。

帕克说，智能体处理AI“做梦”的方式差别很大。所谓做梦，是智能体回顾过去的工作，把学到的东西变成以后能用的指令或记忆。他还提到Prime Agent跑赢Hermes Agent，是这类系统差异能有多大的又一个例子。但有个 downside：如果不对保存的内容做检查，智能体可能会学到并重复坏习惯。

FrontierMemory还比较了七个前沿模型生成有用记忆的能力。Anthropic的Claude Opus 5.5和Z.ai的GLM-5.3以73.3%并列第一，Kimi K3以66.7%紧随其后，OpenAI的GPT-6.1 Sol和谷歌的Gemini 4 Argon都是60%。Muse Wonder为46.7%，Grok 4.7垫底，33.3%。帕克说，Opus 5.5和GLM-5.3在生成有用记忆上明显强于GPT-6.1 Sol。

记忆更便宜，分数更低

但OpenAI有巨大的价格优势。GPT-6.1 Sol每任务估计花费0.77美元，Opus 5.5是2.80美元，GLM-5.3是3.58美元。所以OpenAI分数低，跑起来却便宜得多。

Letta用自家的Dream框架让每个模型生成记忆，再测试这些记忆在Letta Code里跑任务的效果。结果显示，更好的记忆、更强的表现和更低的成本之间存在取舍。

能迁移的记忆

Letta还看了为什么有些记忆更好用。在一个涉及公司定价数据的测试里，Opus 5.5造出了一项技能，告诉智能体什么时候该用某些信息。GPT-6.1 Sol造了四项独立技能，但智能体始终没找到它需要的那一项。

Gemini 4 Argon犯了另一种错。它记住了具体的文件大小，可下一个任务换了文件，这就没什么用了。Opus 5.5则告诉智能体去查常规文件和邮件两处找信息，任务变了也照样管用。Opus 5.5生成的记忆还帮GPT-6 Sol完成了任务，这意味着开发者可以用更贵的模型来造记忆，用便宜的模型来干活。

其他人也注意到了。伍德斯在X上发布基准之后，OpenClaw的账号回应说希望为自己的平台做一个插件。该账号表示，它的多人环境会是测试这项基准的有趣场所，这也引出了一个问题：多个智能体共用同一个框架时，记忆会怎么运作。

伍德斯回复：“当然可以——很乐意把OpenClaw加进框架对比里！扩展到多人记忆也是一个非常有趣的未来方向。”

基准还没覆盖的部分

FrontierMemory还很早期。只有15个任务，每个任务只尝试一次，单个结果就能让分数变动大约6.7个百分点。该基准目前关注的是智能体从过往工作中学习，而不是边做边更新记忆。帕克说下一个版本会加入运行时间更长的任务和在线记忆更新。