网易首页 > 网易号 > 正文 申请入驻

让模型自己写记忆提示词:56.0分反超人类,蒸馏后却掉到43.1

0
分享至

Meta FAIR 公布了一个叫 Self-Improving Memory 的方法,核心结果带着一点悖论味道:让智能体自己去发现并优化记忆管理提示词,它在 Continual Learning Bench 上拿到 56.0 分,超过人类手写方案 44.6 分;可把这项能力蒸馏进模型权重后,分数又回落到 43.1,反而低于人类基线。

提示词里的技能,和权重里的技能,并不是同一回事。这套方法分两步走,先搜提示词,再蒸馏。

第一步:让智能体自己搜记忆提示词

基础模型是 Kimi-K2.6,一个 1T 参数的 MoE,激活参数 32B,上下文窗口 256K。元智能体和任务智能体用的是同一个模型。

智能体基于文件做记忆管理,管两个操作:LOAD(把需要的信息读进上下文)和 OFFLOAD(把不再需要的信息写回文件)。元智能体不断生成记忆提示词的修订版本,每个版本都在真实任务上测一遍,分数更高的版本留下。这是一个搜索过程,不是人工调参。

第二步:把行为蒸馏进权重

优化后的提示词会产生一批行为轨迹,这些轨迹被拿去做监督微调(SFT),在注意力投影层上加一个 rank-64 的 LoRA 适配器。目标是让模型不依赖提示词,也能复现同样的记忆管理行为。

评测用 Continual Learning Bench,包含三个任务:Database(SQL 查询)、Codebase(修仓库里的 bug)、Spectrum(无线电频谱扫描)。测试子任务里刻意设计了阶段切换,衡量的是对同类新任务的泛化,不是记忆。

分数表里的三件事

第一,优化后的提示词在三个任务上全赢,平均高出 11.4 分。涨幅最大的是 Codebase:64.3 分,比人类手写版本高出整整 20.6 分。修 bug 是长链条任务,成败系于记忆管理——哪些上下文该留,哪些该写回文件。提示词的措辞直接决定结果。

第二,蒸馏后的模型平均 43.1 分,比优化提示词低 12.9 分,也略低于人类基线的 44.6。SFT 能学会“照提示词说的做”,但没完全学会提示词为什么这么说。技能还在提示词里,没有完全变成模型自己的技能。

第三,搜索本身很吵:生成的 44 个修订版本里,有 37 个没能超过当时的最好成绩。这里的优化不是稳步爬坡,而是一大堆失败尝试里筛出少数有效改进。这套方法烧的是搜索量,不是灵感。

还有一个对照:蒸馏模型在 10 个匹配随机种子上平均 43.1 分,而用通用轨迹做 SFT 的基线只有 37.6 分。蒸馏确实有用,只是追不上提示词版本。

给智能体开发者的三点

  1. 记忆管理值得当成一等公民来优化。上下文窗口再大,也装不下整个任务历史。LOAD 和 OFFLOAD 策略正在成为决定智能体成败的第二个工程面,排在工具使用之后。
  2. 提示词优化和权重蒸馏是两条不同的路。眼下好的记忆提示词更划算——56.0 对 43.1。先把提示词版本跑稳,再考虑蒸馏,别把顺序反过来。
  3. 搜索噪声是成本的一部分。44 个版本里 37 个失败,意味着想复现这套方法,预算里必须包含大量走不通的搜索。没有搜索量,就没有有效改进。

尚未解决的问题

评测环境是受控的,不是真实场景。三个任务都用刻意设计的阶段切换来衡量受控泛化,而不是真实长周期部署里的记忆衰减。生产环境里,任务分布的漂移更乱、更不规律。

蒸馏掉分的问题没有解决。43.1 对 56.0 的差距说明,当前的 SFT 加 LoRA 方案没能保住提示词优化的全部收益。这套方法还停留在“提示词版本更好用”的阶段。

复现成本很高。基础模型是 1T 参数的 Kimi-K2.6,部署需要多卡环境(一份部署指南建议从 8 张 H200 起步)。小团队很难原样复现,大多只能借鉴方法思路。

所有数字都来自 Meta 自己的博客和论文(图 4 和图 5),目前还没有独立第三方复现。相对排序可信,绝对值要等复现验证。

那么问题来了:如果智能体的提示词版本比蒸馏版本高出 13 分,你选哪个——继续维护一套越来越复杂的记忆提示词,还是接受掉分换一个更干净的纯权重版本?

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
32分11篮板,文班亚马却因一个水泡不敢扣篮

32分11篮板,文班亚马却因一个水泡不敢扣篮

赛场速报局
2026-11-20 13:53:03
《GTA6》环保组织闹笑话!刚放生虎鲸就被反杀

《GTA6》环保组织闹笑话!刚放生虎鲸就被反杀

游民星空
2026-11-20 13:14:09
厦门大学,获赠1亿元

厦门大学,获赠1亿元

极目新闻
2026-11-20 10:32:17
不再照单全收!大批留美学者临退休扎堆回国,中国不做养老接盘地

不再照单全收!大批留美学者临退休扎堆回国,中国不做养老接盘地

浯江孤舟
2026-11-19 09:17:25
男子自驾游至海南遇美女搭车,同行三天后,他才知道自己逃过死劫

男子自驾游至海南遇美女搭车,同行三天后,他才知道自己逃过死劫

林林故事揭秘
2025-04-10 14:49:38
中国十大奇迹,长城只排第三?第一名你天天在用却从未留意

中国十大奇迹,长城只排第三?第一名你天天在用却从未留意

抽象派大师
2026-11-18 01:40:33
财政不再兜底、大公交退市、老年卡取消,四部委文件是怎么说的

财政不再兜底、大公交退市、老年卡取消,四部委文件是怎么说的

有牙的兔纸
2026-11-20 10:18:35
《GTA6》性感Mandy火了 网友质疑为何不让她当女主

《GTA6》性感Mandy火了 网友质疑为何不让她当女主

3DM游戏
2026-11-19 22:48:25
特朗普从中国返美途中发文

特朗普从中国返美途中发文

政知新媒体
2026-11-20 12:05:56
还记得你和异性做过最疯狂的事吗?网友:我差不多就是这样和同事发生了

还记得你和异性做过最疯狂的事吗?网友:我差不多就是这样和同事发生了

带你感受人间冷暖
2026-11-14 15:59:30
普京在深圳感慨万千,俄罗斯熬了五年才证明,自己仍是顶级大国?

普京在深圳感慨万千,俄罗斯熬了五年才证明,自己仍是顶级大国?

铁锤侃侃而谈
2026-11-19 09:26:03
炸锅!马斯克突访深圳!当众高调表白中国,释放重磅合作信号

炸锅!马斯克突访深圳!当众高调表白中国,释放重磅合作信号

时尚的弄潮
2026-11-20 06:49:45
美丽老板娘雪夜惨死案真相揭秘,1996年东北小城恶性奸杀究竟是谁?

美丽老板娘雪夜惨死案真相揭秘,1996年东北小城恶性奸杀究竟是谁?

大运河时空
2026-11-19 13:45:05
凌晨3:00,美联储全面宣战!50基点加息重回视野

凌晨3:00,美联储全面宣战!50基点加息重回视野

魏家东
2026-11-19 17:23:35
要截断中方退路?AZEC峰会落幕,高市早苗登机辞行,日本另立门户

要截断中方退路?AZEC峰会落幕,高市早苗登机辞行,日本另立门户

爱看剧的阿峰
2026-11-20 12:49:38
墨西哥女孩不听亲友劝阻远嫁中国,断了往来,5年后全家求援助

墨西哥女孩不听亲友劝阻远嫁中国,断了往来,5年后全家求援助

雅俗共赏1
2025-09-03 14:00:28
刘涛峨眉素颜爬山被拍,不粉黛没替身引猜测,这底气究竟多足

刘涛峨眉素颜爬山被拍,不粉黛没替身引猜测,这底气究竟多足

情感大头说说
2026-11-20 12:54:13
内罗毕恐袭一战封神,一条牛仔裤,为何成特战标配装备

内罗毕恐袭一战封神,一条牛仔裤,为何成特战标配装备

装甲铲史官
2026-11-20 10:35:11
到底是不是宿命?广东55岁千万老板饭局挨个告别隔天离世,网友叹无常,网友直言这是“终末信号”

到底是不是宿命?广东55岁千万老板饭局挨个告别隔天离世,网友叹无常,网友直言这是“终末信号”

王老师你还好吗
2026-11-19 18:33:48
2131万付费挨打,弃将33分送12连败!杨瀚森喜忧参半,诺里赛后点评

2131万付费挨打,弃将33分送12连败!杨瀚森喜忧参半,诺里赛后点评

锅子篮球
2026-11-20 13:57:25
2026-11-20 14:36:49
野生运营
野生运营
懂点产品,懂点AI,正在努力给平淡日子搞点新花样。
276文章数 99关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

特朗普返美途中发文:这是一次伟大且意义深远的访问

头条要闻

特朗普返美途中发文:这是一次伟大且意义深远的访问

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

袁茵却用事实证明 活得并不差!

财经要闻

Anthropic敲钟 美股跳水:AI狂欢结束?

汽车要闻

方程豹钛9实测 堪称比亚迪最强混动的DMS到底怎么样?

态度原创

游戏
本地
旅游
亲子
公开课

《神力科莎 拉力》0.7版本更新现已上线!

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

旅游要闻

冰启哈尔滨 雪聚亚布力 | 亚旅投集团多维创新,打造有温度的冰雪度假新体验

亲子要闻

二宝出生后,大宝突然要抱要喂,怎么引导?

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版