网易首页 > 网易号 > 正文 申请入驻

记忆存下了,模型为什么还答旧答案?

0
分享至

大多数“智能体记忆”演示都停在保存成功那一刻。真正有意思的失败发生在之后:正确的事实明明就在上下文窗口里,模型却仍然给出旧答案;或者记忆库长得越来越歪,少数枢纽条目吸走了几乎所有检索,而那些罕见状态在角落里悄悄出错。

这个秋天围绕记忆与上下文究竟在哪里断裂,积累了一批长文;同时一个论点越来越响:其中一部分工作应该从提示词里搬出去,交给代码。下面六篇,每篇用几句话概括,并给出完整文章的入口。

一、别在还不知道问题是什么的时候就决定记什么

多数记忆系统在写入时就把一段轨迹蒸馏成反思、工作流或技能,而那时没人知道未来的任务会需要什么。这个阶段被丢掉的东西,就永远没了。

JitMem(arXiv:2609.27334)保留原始轨迹,让一个策展器在读取时组装出针对具体任务的数据包。因为数据包就用在同一个任务上,策展器可以直接用任务成败通过 GRPO 来训练。文章走了一遍“检索、策展、执行、更新”的循环,给出在 ALFWorld、WebShop 和 τ²-bench 上的报告增益,也讨论了写入时蒸馏在什么情况下仍然合理。

二、记忆使用是有形状的,错误堆在尾部

衡量记忆通常用两把尺子:任务成功率和 token 成本。对 CTWM(arXiv:2610.00010)的这篇深读加了第三把:检索是如何分布的。窗口有限时,使用会集中在很小的核心上,罕见状态漂进长尾,预测误差在那里累积。

提出的修法是按排名分配提示预算,用一个指数控制集中程度,并对尾部做摘要而不是直接丢弃。结果报告在合成图世界、ALFWorld 和 LongMemEval 上。最实用的一节讲的是哪些做法可以搬进你自己的记忆层。

三、更新就在上下文里,模型还是挑旧值

你告诉助手自己换了饮食偏好,几轮之后它又重复旧的。这既不是幻觉,也不是检索没命中。一篇加州大学伯克利分校的论文(arXiv:2609.38866)把它叫作陈旧绑定,并构建了 CICM 基准来测量它。

探针显示,模型答错的时候,新值在模型内部仍然可读,所以这是选择失败,不是遗忘。文章追踪了注意力向旧值漂移的过程,给出旧值如何胜出的一层推导,以及一种不重新训练就能重定向注意力的方法。

四、记忆控制不必都走大模型

当每一次写入、连边、搜索和停止判断都要再来一轮文本生成,记忆很快就会又慢又贵。Jev-Mem(arXiv:2609.23986)把工作拆成三个平面:一个快速的结构化控制平面处理日常记忆决策,一个多关系图负责存储,一个推理模型只在证据需要变成答案时才被调用。

文章核对了 LoCoMo 的数字,把这个设计与站内早前关于决策模型和 harness 的文章做了比较,最后给出一份清单:什么时候值得单独建一个控制平面。

五、让 harness 长大,而不是让上下文窗口长大

2026 年扩展智能体的默认做法是加更多上下文:更长的历史、更多摘要、更多注入的技能。Growing Harness(arXiv:2609.26760)问的是:哪些控制决策已经足够稳定,可以永久离开提示词。

它从一个不含策略的脚手架出发,在失败窗口和轨迹里找出反复出现的控制行为,把它们编译成可执行代码,放在回滚闸门之后。文章覆盖了报告的成功率、调用次数和成本数字,展示了学到的程序长什么样,也说明了这个思路与提示优化、技能库之间的关系。

六、一个带真实控制平面的小 harness

Pi 曾经宣传自己不支 MCP。1.0 版本把 MCP 放进了核心,因为延迟工具加载和对话中途的系统消息,最终都需要 MCP 提供的那套暴露元数据。

这次发布的中心是 Codemode:模型编写 JavaScript,在 QuickJS 沙箱里运行,用来组合、并行化和过滤工具调用,中间结果因此不会淹没上下文。文章把它和 bash 管道做了对比,并列出 Pi 的哪些默认设置你大概不该照抄。

贯穿六篇的线索是:把窗口变大,很少能修好记忆的 bug。把“保留什么”的决定放到更晚(JitMem),按形状分配预算(CTWM),检查更新是否真的生效(陈旧绑定),把稳定的控制搬进代码(Jev-Mem、Growing Harness、Pi)。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
事态已经全面升级!赖清德有可能成为新中国历史上,唯一一位在任台湾地区领导人中出现重大变故的人物

事态已经全面升级!赖清德有可能成为新中国历史上,唯一一位在任台湾地区领导人中出现重大变故的人物

人生录
2026-09-11 00:05:21
苏州3岁女童被父亲女友捂压口鼻致死,被告人孕期作案一审被判无期,生父准备上诉

苏州3岁女童被父亲女友捂压口鼻致死,被告人孕期作案一审被判无期,生父准备上诉

澎湃新闻
2026-11-21 09:42:42
不出意外的话!2027年1月1日起,5大涨价潮可能杀到,快提前了解

不出意外的话!2027年1月1日起,5大涨价潮可能杀到,快提前了解

一曲一场談
2026-11-21 11:59:52
美国记者惊呼:中国已成全球顶流!美国青年正经历中国化转变?

美国记者惊呼:中国已成全球顶流!美国青年正经历中国化转变?

科普启示录小强哥
2026-11-14 19:50:07
别买!基本假的!又一产品大翻车,成本只有 10 元,很多人长期上当

别买!基本假的!又一产品大翻车,成本只有 10 元,很多人长期上当

云居历史
2026-11-20 00:35:53
美国开始封锁中国电话号码,从网络到检测认证,限制正向底层蔓延

美国开始封锁中国电话号码,从网络到检测认证,限制正向底层蔓延

陈腕特色体育解说
2026-11-21 19:21:07
印度网红来重庆旅游,痛批中国人吃牛肉的行为,完全不尊重印度文化

印度网红来重庆旅游,痛批中国人吃牛肉的行为,完全不尊重印度文化

新游戏大妹子
2026-11-20 13:07:07
纳达尔:进入皇马董事会责任重大,希望帮助俱乐部继续成功

纳达尔:进入皇马董事会责任重大,希望帮助俱乐部继续成功

懂球帝
2026-11-21 21:03:06
不等了!皇马王牌彻底摊牌!公开硬刚穆里尼奥

不等了!皇马王牌彻底摊牌!公开硬刚穆里尼奥

奶盖熊本熊
2026-11-21 08:56:11
白某某:我想尝尝拘留所的饭菜;上海警方:安排

白某某:我想尝尝拘留所的饭菜;上海警方:安排

极目新闻
2026-11-21 19:16:17
西方人终于发现了,中国人对世界大战的理解,与他们想的不一样

西方人终于发现了,中国人对世界大战的理解,与他们想的不一样

文史道
2024-12-08 06:45:03
女生生理上厌恶一个人是什么表现

女生生理上厌恶一个人是什么表现

匹夫来搞笑
2026-11-21 02:44:28
苏州车主晾晒“虎皮坐垫”遭举报,林业局上门查验发现系羊皮;车主无奈:已被提醒尽量别在户外晾晒,以免引发误会

苏州车主晾晒“虎皮坐垫”遭举报,林业局上门查验发现系羊皮;车主无奈:已被提醒尽量别在户外晾晒,以免引发误会

极目新闻
2026-11-21 21:27:46
俄军对基辅市内多座桥梁实施打击,俄乌袭桥战升级

俄军对基辅市内多座桥梁实施打击,俄乌袭桥战升级

澎湃新闻
2026-11-20 19:46:40
经济特区的不同命运:深圳成功,珠海、汕头、厦门为何止步不前?

经济特区的不同命运:深圳成功,珠海、汕头、厦门为何止步不前?

月光作笺a
2026-11-20 20:24:42
作为海港“多库” !安佩姆3次见到北京国安都没有进球跟助攻

作为海港“多库” !安佩姆3次见到北京国安都没有进球跟助攻

80后体育大蜀黍
2026-11-21 23:45:40
美媒表示:中国福建舰第七次海试后,突然进行实战演练,速度比美国航母还要快,难道中方不存在技术瓶颈

美媒表示:中国福建舰第七次海试后,突然进行实战演练,速度比美国航母还要快,难道中方不存在技术瓶颈

绝对军评
2026-11-18 09:32:07
现在后悔晚了!明抢中企钢厂后,英国政府察觉,全球竟无一人接盘

现在后悔晚了!明抢中企钢厂后,英国政府察觉,全球竟无一人接盘

坠入二次元的海洋
2026-11-21 06:05:52
深圳街头那一万四千辆不喝油的公交车,把老外看愣了

深圳街头那一万四千辆不喝油的公交车,把老外看愣了

音乐时光的娱乐
2026-11-21 04:37:48
2027年,第一个被“砍掉”的,或将是中国邮政的大量线下营业厅?

2027年,第一个被“砍掉”的,或将是中国邮政的大量线下营业厅?

最新声音
2026-11-21 18:07:58
2026-11-22 00:56:49
爬虫饲养员
爬虫饲养员
业余养了只叫“龙虾”的AI爬虫,主业是给互联网打工。
252文章数 88关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

本地
房产
教育
公开课
军事航空

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版