网易首页 > 网易号 > 正文 申请入驻

你的Agent记忆工具,知道什么该被丢掉吗?

0
分享至

给LLM智能体挑记忆层,多数人只看它记住了什么。一个更值得放进验收流程的问题是:它会不会在该忽略的时候忽略。这里给出的是一套建议性的验收测试,不是对记忆产品的排名,也不是实测结果报告。

测试的核心是成对任务:一个需要用到已保存的约定,另一个不需要。然后把三样东西分开看——检索到的记录、实际送进智能体的上下文、以及最终回答。三者混在一起看,很容易把中间环节的问题误判成最终结果。

先存一条刻意收窄的记忆

用一个一次性项目,配一条虚构约定:为虚构的Juniper项目写发布公告时,开头要用“Juniper launch note”这个标题。这条约定只适用于发布公告。

不要用“写得简洁些”这类通用偏好。宽泛的偏好对两个任务都说得通,结果就没法解读。跑测试前先划定适用范围,并把预期结果写在智能体访问不到的评估者笔记里。

通过你打算评估的那个集成来保存这条约定。保留写入结果,界面允许时检查存储下来的记录。对话里回一句“已记住”,不算这个测试要的存储证据。

先跑正向对照

在同一个一次性项目里开一个新会话,提问:为Juniper项目的新设置界面起草一份发布公告。提示里不要带上那个必需标题。

记录记忆查找过程、任何被提供的上下文,以及回答。这个用例的预期结果是:保存的约定送达智能体,公告使用了该标题。

如果没做到,先查这个失败,再去看无关任务的结果。一个根本不提供任何记忆的集成,可能看起来很有选择性,其实是没通过正向对照。

换任务,不换项目

用同样的配置和已保存的记录再开一个新会话,提问:用三个短段落解释栈和队列的区别。

按这套测试的设计,发布公告的约定不应该影响这个回答。项目保持不变,是为了把任务相关性和项目边界过滤区分开;项目隔离要单独测。

需要的话可以再加第二个无关提示,但要在看结果之前就选好。比如让它简短解释二分查找。不要反复改写提示,直到工具看起来成功为止。

三个环节分开记录

一条记忆可能出现在中间检索候选列表里,却没被选进最终提示。这些阶段要分别记录,不能把每个候选都标成上下文投递失败。

这个区分对集成很关键。MCP架构文档描述的是交换上下文的协议,不是应用如何管理上下文的策略。因此在这套评估里,工具可用本身不足以证明记忆被有选择地使用。

以PLUR为例,其仓库工具参考文档记录了plur_learn用于存储纠正、偏好或约定,plur_recall用于检索相关记忆。如果你的集成用了这两个工具,就把它们的输入输出和实际送达智能体的上下文一并保留。这些有文档的操作提供了收集证据的位置,并不等于宣称PLUR在任何配置下都能通过这套测试。要评估的是你实际准备使用的集成和设置。

把判断规则提前定死

记录工具版本、配置、保存的记录、提示、上下文可见性和两个任务的结果。失败的尝试要留着,不要用一次成功的重跑把它替换掉。如果调整了选择设置,两个用例都要重跑:无关上下文变少了,但有用的约定也跟着消失,这不算过关。

试验开始前就定好验收规则。针对这个窄工作流,一条合理的规则是:发布任务拿到它的约定,无关任务拿不到,两个观察都有链路记录支撑。拿不到链路记录,就只报告输出结果,并把上下文选择标为未验证。

把这一对用例加进你更完整的智能体记忆评测表。它只回答一个具体问题:这个工具会不会在你希望它帮上忙的那个任务里,选中这条记忆。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
市场几乎清零!人们为何不再需要,灵活便宜的小型油车了?

市场几乎清零!人们为何不再需要,灵活便宜的小型油车了?

云霄纪史观
2026-11-18 01:57:05
39岁杜海涛近况曝光!娶沈梦辰4年没生孩子,如今英语直播引发热议

39岁杜海涛近况曝光!娶沈梦辰4年没生孩子,如今英语直播引发热议

代军哥哥谈娱乐
2026-11-18 09:07:20
让罗伯特·帕丁森演007,米高梅做了个违背祖宗的决定

让罗伯特·帕丁森演007,米高梅做了个违背祖宗的决定

动物奇奇怪怪
2026-11-18 01:30:52
太惨了!安徽男子带着4岁孩子去跳楼,爸爸当场身亡,孩子妈患癌

太惨了!安徽男子带着4岁孩子去跳楼,爸爸当场身亡,孩子妈患癌

水晶的视界
2025-01-16 05:10:07
传腾讯内部空前危机感:AI也会被替代!

传腾讯内部空前危机感:AI也会被替代!

城事堂
2026-11-17 00:05:10
这才是宋氏三姐妹真实的相貌,不是演员扮演的角色!

这才是宋氏三姐妹真实的相貌,不是演员扮演的角色!

历史伟人录
2025-05-08 10:08:01
作家斯琴高娃逝世,享年93岁

作家斯琴高娃逝世,享年93岁

韩小娱
2026-11-18 10:30:49
小心!欧洲被打服了,中东也不闹了,美国的目标只剩下东亚

小心!欧洲被打服了,中东也不闹了,美国的目标只剩下东亚

西府赵王爷
2025-03-22 15:47:18
文班亚马53分24板8帽带队险胜独行侠,这个数据有多恐怖?为什么打成这样才赢1分?

文班亚马53分24板8帽带队险胜独行侠,这个数据有多恐怖?为什么打成这样才赢1分?

之乎者也小鱼儿
2026-11-05 15:07:45
演员吴彦祖现身街头邀请路人一同吃饭遭拒绝,当事人回应:“我真的肠子都悔青了”

演员吴彦祖现身街头邀请路人一同吃饭遭拒绝,当事人回应:“我真的肠子都悔青了”

韩小娱
2026-11-16 11:58:27
王兴兴穿旧白鞋参加APEC,网友;这鞋没换过,还好没穿牛仔裤!

王兴兴穿旧白鞋参加APEC,网友;这鞋没换过,还好没穿牛仔裤!

玖宇维
2026-11-18 20:38:19
汪东兴回忆:教员深入虎穴,挫败林彪惊天暗杀阴谋,过程太惊险了

汪东兴回忆:教员深入虎穴,挫败林彪惊天暗杀阴谋,过程太惊险了

南冥那只猫
2025-04-19 12:06:43
《纽约时报》给了黄仁勋致命一击!

《纽约时报》给了黄仁勋致命一击!

水皮M0RE
2026-11-18 19:00:38
江苏原常委赵少麟:开国上将之子,退休8年因其子赵晋而入狱

江苏原常委赵少麟:开国上将之子,退休8年因其子赵晋而入狱

文史旺旺旺
2024-11-25 21:04:27
泽连斯基掀桌子,既然俄方一步也不退让,那就别指望乌克兰再克制

泽连斯基掀桌子,既然俄方一步也不退让,那就别指望乌克兰再克制

麓谷隐士
2026-11-17 00:05:04
曝光东莞路边价格刺客!不少人中招!

曝光东莞路边价格刺客!不少人中招!

东莞潮事儿
2026-11-18 12:27:36
被骂“滚回中国”后,华人家庭谢绝“当面道歉”!“没有必要,希望她自己想想为什么”

被骂“滚回中国”后,华人家庭谢绝“当面道歉”!“没有必要,希望她自己想想为什么”

发现新西兰
2026-11-16 11:23:23
比亚迪:一经查实,将对符合条件的线索提供者给予50万元至500万元奖励

比亚迪:一经查实,将对符合条件的线索提供者给予50万元至500万元奖励

政知新媒体
2026-11-13 14:18:33
为什么不建议夜跑?

为什么不建议夜跑?

跑者排球视角
2026-11-11 23:31:19
1995年,49岁的特朗普来到香港,怀中抱着一位神秘女人,她是谁?

1995年,49岁的特朗普来到香港,怀中抱着一位神秘女人,她是谁?

文史达观
2025-01-26 06:45:03
2026-11-19 01:44:49
字节漫游指南
字节漫游指南
有态度网友ytd
267文章数 134关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

欢迎晚宴合影期间 普京与特朗普握手交流

头条要闻

欢迎晚宴合影期间 普京与特朗普握手交流

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

旅游
房产
亲子
公开课
军事航空

旅游要闻

不止桐子坳!湖南5处银杏秘境上新,从千年古树到银杏王,带你邂逅秋日金色浪漫

房产要闻

周大生出手!海棠湾又一大商业体来了

亲子要闻

产后女性如何重回性生活质量?专家支招

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美军再袭伊朗格什姆岛

无障碍浏览 进入关怀版