网易首页 > 网易号 > 正文 申请入驻

记忆系统六类型:缓冲窗口Token摘要长期语义

0
分享至

```html 记忆系统六类型:缓冲窗口Token摘要长期语义 记忆系统六类型:缓冲窗口Token摘要长期语义

为什么同一个AI助手,上一轮刚聊过的事,下一轮就忘得一干二净?答案不在模型本身——每次调用都是全新的,模型什么都不记得,是应用层必须把之前的消息重新发过去。


要让AI变成Agent,光有模型不够。Agent更像一个编排器:模型、外部工具的动作、再加上记忆,三样拼在一起。记忆存的就是"我之前问过什么、它答了什么"这一组问答。麻烦在于,对话不能无限往里塞,存多少、留多久,得有个说法。

围绕这个限制,记忆被拆成了几种类型,逐个看。

1. 缓冲记忆:全存,但会一直长

每一轮对话都完整保留,可以放在内存(RAM)里,也可以落到SQLite3、Postgres这类持久化存储。每次调用都把整段历史发给模型。新开一个对话,会有一个不同的标识符。

问题出在"整段"上:历史越长,消耗的token越多,上下文上限也会被顶到。输出照样能拿到,代价是成本和容量。代码里用InMemorySaver()把对话存进RAM,能存多少取决于RAM本身。

2. 窗口记忆:只留头尾

只保留固定数量的消息,比如第一条加上最后N条。Langchain里有个中间件机制,请求要先穿过它才能到模型,在中间件里可以配置成删掉中间消息、只留首尾。

这种方案适合"最近的对话比早前的更重要"的场景,代价是中间那段被彻底丢掉。

3. Token记忆:按预算裁剪

思路和窗口记忆接近,只是把"条数"换成"token数",比如设成2000个token,超过就不再存,旧数据被移除。token的定义因模型和框架而异。

裁剪有个细节:按字数硬切可能把一个词从中间截断,剩下半个词没有意义。所以要从句子开头取起,这件事由trim_messages()函数处理。超出预算的部分会完全丢失,这是它的短板。

4. 摘要记忆:用便宜模型换事实留存

假设记忆里只能放4轮对话,最早的两轮马上要被挤掉。那就提前把这段压成一份摘要存着,数据删了,摘要还在。摘要可以交给便宜的模型来生成,控制成本,具体由SummarizationMiddleware()完成。

5. 长期记忆:Agent自己决定存什么

存什么、存在哪,由Agent自己判断。它跨的是同一个用户的多次对话,而不是单次会话。

6. 语义记忆:按意思检索

把整段对话压成一个点,思路类似RAG,存进向量数据库。检索时按语义相似度找长期事实,需要embedding模型支持。

两个容易混淆的概念

Checkpointer负责每轮结束后保存对话,InMemorySaver是内存版,SqliteSaver或数据库版可以持久化;thread_id相当于对话的档案号,同一个id接着聊,换新id就是重新开始。Store和checkpointer不是一回事:checkpointer管一次对话,Store管跨对话的用户长期事实。

记忆工具里的user_id来自应用自身的上下文,不是模型生成的,这样用户之间读不到彼此的记忆。

回到开头那个问题:模型不需要自带记忆,记忆是应用层的事。选哪种方案,取决于你更怕丢事实,还是更怕烧token。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
国家统计局:今年前三季度,全国居民人均可支配收入34230元,同比名义增长5.3%,农村居民收入增长快于城镇居民

国家统计局:今年前三季度,全国居民人均可支配收入34230元,同比名义增长5.3%,农村居民收入增长快于城镇居民

极目新闻
2026-10-19 10:40:19
2026版《街头霸王》大反派换人,这张脸你绝对见过

2026版《街头霸王》大反派换人,这张脸你绝对见过

赴一场山海啊
2026-10-19 02:26:14
GD家首位小公主诞生!BIGBANG新加坡唱完火速返韩 亲姊平安报喜

GD家首位小公主诞生!BIGBANG新加坡唱完火速返韩 亲姊平安报喜

ETtoday星光云
2026-10-19 17:23:26
整个亚洲都要危险了?日本突然传出坏消息,各国必须高度警惕

整个亚洲都要危险了?日本突然传出坏消息,各国必须高度警惕

林杰论事
2026-10-19 00:42:09
林徽因落选的国徽方案,网友看后感叹:审美确实一绝,但真不合适

林徽因落选的国徽方案,网友看后感叹:审美确实一绝,但真不合适

兴趣知识
2026-07-04 01:34:41
证监会主席吴清:将推出北证50ETF

证监会主席吴清:将推出北证50ETF

新京报
2026-10-19 17:19:24
一语成谶,52岁黄渤确诊入院仅冰山一角,这一病症才是他所恐惧的

一语成谶,52岁黄渤确诊入院仅冰山一角,这一病症才是他所恐惧的

林雁飞
2026-09-04 14:06:23
徐浦大桥违规变道的小车司机,
这事尘埃落定之后要面临 4 个窘境

徐浦大桥违规变道的小车司机, 这事尘埃落定之后要面临 4 个窘境

皮蛋儿电影
2026-10-18 09:01:05
不是被拉下水,是主动投靠!央视曝光一女内鬼,作案细节后背发凉

不是被拉下水,是主动投靠!央视曝光一女内鬼,作案细节后背发凉

铜臭的历史味
2026-10-18 18:29:14
电诈恶魔廖景芳被判死刑!他和农民父母在湖南宁乡老家臭名远扬

电诈恶魔廖景芳被判死刑!他和农民父母在湖南宁乡老家臭名远扬

天气观察站
2026-10-19 07:41:33
张继科直播间放话:女队下一个大满贯,王曼昱比孙颖莎先拿到!她是真强,可一身旧伤才是最大的坎

张继科直播间放话:女队下一个大满贯,王曼昱比孙颖莎先拿到!她是真强,可一身旧伤才是最大的坎

小辉体育
2026-10-18 19:06:31
太硬核了!女孩生理期聊天记录刷屏,男友回复“没遇到我之前你是咋过的”,一句话引爆舆论

太硬核了!女孩生理期聊天记录刷屏,男友回复“没遇到我之前你是咋过的”,一句话引爆舆论

火山詩话
2026-10-17 07:03:59
特朗普公开表示:每个美国人拿到5000美元“特朗普分红”后,必须在美国消费,可以花5000美元在海湖庄园买一个汉堡与一份点心和我共进午餐

特朗普公开表示:每个美国人拿到5000美元“特朗普分红”后,必须在美国消费,可以花5000美元在海湖庄园买一个汉堡与一份点心和我共进午餐

吉刻新闻
2026-10-18 18:59:15
画面不堪入目,地下人奶交易乱象,成年人躺进怀里吃奶的灰色黑产

画面不堪入目,地下人奶交易乱象,成年人躺进怀里吃奶的灰色黑产

易玄
2026-09-12 10:24:46
央八重磅谍战剧《千里江山图》来袭,阵容太豪华,一开播绝对爆火

央八重磅谍战剧《千里江山图》来袭,阵容太豪华,一开播绝对爆火

夸大其词的说
2026-10-19 14:28:10
全红婵近照曝光,瘦了7公斤判若两人,婴儿肥没了网友直呼认不出

全红婵近照曝光,瘦了7公斤判若两人,婴儿肥没了网友直呼认不出

娱说瑜悦
2026-10-19 13:39:42
中方拒签联合声明,俄也不签,美国反华新规生效,欧盟抢着开首枪

中方拒签联合声明,俄也不签,美国反华新规生效,欧盟抢着开首枪

乌克兰小静
2026-10-18 06:59:34
央八谍战大剧来了!顶配阵容太让人期待

央八谍战大剧来了!顶配阵容太让人期待

可乐谈情感
2026-10-19 06:49:14
亲生儿子在父亲再婚后20多年不往来,父亲去世后却回老家要求继承遗产,还起诉继母女儿争房产,法院:未履行赡养义务,分配遗产时应当少分

亲生儿子在父亲再婚后20多年不往来,父亲去世后却回老家要求继承遗产,还起诉继母女儿争房产,法院:未履行赡养义务,分配遗产时应当少分

潇湘晨报
2026-10-19 18:18:29
“大陆警察,有本事来抓我啊!”台独分子,沈伯洋狂妄叫嚣

“大陆警察,有本事来抓我啊!”台独分子,沈伯洋狂妄叫嚣

果妈聊娱乐
2026-10-16 14:39:08
2026-10-19 19:47:00
摸鱼算法
摸鱼算法
致力于用最前沿的AI技术,换取更多发呆时间的三十岁青年。
233文章数 75关注度
往期回顾 全部

科技要闻

王晟:近千亿资金涌入后 具身智能开始退烧

头条要闻

女子生龙凤胎起诉已婚董事长确认亲子关系 遭男方起诉

头条要闻

女子生龙凤胎起诉已婚董事长确认亲子关系 遭男方起诉

体育要闻

从NBA退役10年后,他真去警局上班了

娱乐要闻

奚梦瑶回应重返维密:还是很开心的

财经要闻

黄奇帆之子往事:从广微系到魏桥的跳跃

汽车要闻

不知道二代海鸥多好玩? 上赛道跑两圈 很过瘾的

态度原创

时尚
本地
游戏
亲子
公开课

重阳寻香:一炉香,一枚囊,她们以手传香

本地新闻

因新荣记出圈,这座浙东小城才是吃货天堂

天下霸唱IP改编影游!《天坑追匪》Demo上架Steam

亲子要闻

济南幼儿园萌娃升旗爆火出圈!一动一静反差感拉满,连央媒都转发了

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版