网易首页 > 网易科技 > 网易科技 > 正文

当AI学会"记住":记忆模型从概念走向可运行的技术栈

0
分享至

(原标题:当AI学会"记住":记忆模型从概念走向可运行的技术栈)

和AI深入交流了一下午,它似乎理解了你的偏好与习惯;第二天开启新对话,一切又要从头说起——这是当前大模型应用中普遍存在的体验痛点。这一现象的背后,是大模型长期记忆能力的系统性不足。如今,一条以"记忆原生"为核心的技术路线正在为这一问题提供新的解法。

2026年7月,中国团队的《Metis: Memory Foundation Model》论文在arXiv发布并同步开源,首次系统提出记忆基础模型的架构定义、训练方法与原型实现。这一工作意味着原生记忆大模型从概念探讨进入可复现的工程化阶段,也为大模型从"一次性智能"迈向"长期智能"提供了新的技术路径。

范式之变:从外挂记忆到原生记忆

当前主流大模型的记忆主要依赖两类机制:固化在权重中的参数记忆和单轮会话内的KV缓存。这种设计在单轮问答和短对话场景中表现良好,但面对跨天、跨周的长期交互时,逐渐暴露出一些局限:上下文窗口难以承载跨周期历史;事件时序关系容易混淆;不同会话之间的信息无法自然延续;已写入的错误信息难以精准修正。

为应对这些挑战,行业先后探索了RAG(检索增强生成)等外挂式记忆方案,在一定程度上缓解了问题。但外挂方案存在天然的架构边界——检索系统与模型推理是两套独立流程,中间的检索、筛选、排序环节难以被端到端优化,且每次调用都需经历完整的检索流程,额外开销随历史规模增长。

Metis所代表的记忆原生范式,核心思路是让记忆能力内生于模型架构之中,而非依赖外部系统。这一范式包含两层关键定义:其一,原生记忆状态——模型参数随每次交互动态更新,历史信息被压缩为固定大小的紧凑状态,后续查询无需重放原始文本;其二,原生记忆过程——存储与调用融合在模型前向计算过程中,信息在被理解的同时自然完成写入,无需额外触发环节。

推理阶段,模型权重保持冻结,记忆仅通过前向计算更新,开销极低且与历史长度无关。这并非对传统大模型的否定,而是在其基础上的认知能力延伸——传统大模型解决了"理解与生成"的问题,记忆原生大模型进一步回答了"积累与演进"的问题。

技术理念:理论、架构、验证的完整闭环

Metis的技术理念建立在从理论到架构再到验证的完整科学闭环之上。

理论层面,记忆张量团队提出的Memory³(忆³)分层记忆框架将记忆系统划分为参数记忆、激活记忆和明文记忆三类,系统阐释了不同记忆形态在读写效率与更新成本上的权衡关系。相关成果在Patterns、ACL、KDD等顶级期刊和会议发表近80多篇。

架构层面,Metis在Transformer层中引入Metis Block模块,由局部记忆块(维护动态记忆矩阵)和超参记忆块(控制读写策略)协同工作。局部记忆块负责存储跨交互步骤的密集表示,超参记忆块则学习token选择、记忆键值投影、专用记忆查询以及状态更新流程。记忆更新采用门控差值网络(GDN)实现增量式修订,新信息精细合并而非粗暴覆盖;记忆读取通过记忆注意力机制,将历史状态与当前注意力分支融合。

为训练模型正确使用原生记忆,研究团队构建了约4亿Token的专用数据集,覆盖"记住、遗忘、更新、反思"四类操作及多种抗干扰场景,并设计了记忆重建、记忆操作、正则化三种互补的训练目标,通过课程采样从基础到复杂逐步推进。

验证层面,实验数据显示Metis在无上下文条件下的记忆操作任务中,表现显著优于Temp-LoRA、δ-Mem等同类方法;由记忆张量开源的MemOS记忆操作系统在LOCOMO长期记忆基准测试中,将时序推理准确率从0.2825提升至0.7321,增幅达159%,同时Token开销降低60%以上。

开源回响:从学术社区到产业落地的快速渗透

Metis与MemOS的开源,迅速在国内外开发者社区引发连锁反应,推动记忆AI从论文中的架构设想走向可部署的工程实践。

在GitHub上,MemOS的Star数已破万,累计部署超过8万次。由记忆张量联合上海交大、北大、人大等高校发起的OpenMem社区,短短时间内汇聚了1.7万名开发者,其中约千人来自大型企业,围绕记忆资源标准、多模态记忆、记忆幻觉消除等前沿课题展开协作。

当AI学会"记住":记忆模型从概念走向可运行的技术栈

国际学术界同样给予了高度关注。Metis论文发布后,日本等海外AI专业媒体专门撰文解读其原生记忆架构的创新价值;而更早提出的Memory³分层记忆理论,成为全球记忆研究领域的重要参考框架。

技术的生命力最终体现在应用中。MemOS云服务单月调用量已突破5000万次,且连续多月保持环比翻倍的增长态势,服务对象涵盖海尔、联想、腾讯等500余家企业,场景延伸至金融、工业、游戏、智能家居等多个领域。

回顾大模型的发展历程,从参数规模的竞逐到上下文窗口的扩展,从多模态能力的融合到推理深度的提升,每一次范式跃迁都在拓展AI能力的边界。

如今,记忆正在成为下一个关键变量——当模型能够持续积累、动态更新、从经验中演化,AI才真正具备了从"工具"走向"助手"、从"响应"走向"成长"的基础。记忆大模型的探索,不仅是一项技术创新,更是大模型走向长期智能、持续进化的重要一步。而开源,正在让这一进程成为全球研究者与开发者共同参与的事业。

相关推荐
热点推荐
景甜确实有天使般的面孔,魔鬼般的身材

景甜确实有天使般的面孔,魔鬼般的身材

小椰的奶奶
2026-09-04 03:46:54
曼联多一人0:1负于曼城后,鲁尼认为今夏花费1.5亿英镑引援的曼联,今夏引援不力

曼联多一人0:1负于曼城后,鲁尼认为今夏花费1.5亿英镑引援的曼联,今夏引援不力

福酱的小时光
2026-09-14 05:55:49
暴减30%!9月上海楼市,开了一个大玩笑!

暴减30%!9月上海楼市,开了一个大玩笑!

老覃讲历史
2026-09-13 16:37:42
彻底撕破脸!快船祭出最狠报复,伦纳德或被彻底雪藏,无球可打!

彻底撕破脸!快船祭出最狠报复,伦纳德或被彻底雪藏,无球可打!

星Xin辰大海
2026-09-14 11:04:42
王曼昱也未曾料到,张本美和澳门夺冠,一句话将孙颖莎推向新高度

王曼昱也未曾料到,张本美和澳门夺冠,一句话将孙颖莎推向新高度

军情观察家
2026-09-14 18:18:28
2013年,只因 40 块停车费,停车管理员被年仅28岁的杨雪鸥驾驶牧马人越野车撞死

2013年,只因 40 块停车费,停车管理员被年仅28岁的杨雪鸥驾驶牧马人越野车撞死

民生故事会
2026-09-04 20:30:00
就在大家都以为中国会坚决回应时,北京却选择了战略克制。

就在大家都以为中国会坚决回应时,北京却选择了战略克制。

回京历史梦
2026-08-22 18:23:43
预言成真?再对日本大动脉下死手,高市最不希望的事已发生

预言成真?再对日本大动脉下死手,高市最不希望的事已发生

谷盟a
2026-09-14 16:20:36
“即便上百次来到中国,我依然会感到震撼”

“即便上百次来到中国,我依然会感到震撼”

北青网-北京青年报
2026-09-13 19:33:06
为何直到去世后,同行才敢说出敬一丹的另一面?

为何直到去世后,同行才敢说出敬一丹的另一面?

辉哥说动漫
2026-09-14 05:53:59
最高人民法院党组成员、副院长李勇:树立和践行正确政绩观 以高水平司法服务中国式现代化

最高人民法院党组成员、副院长李勇:树立和践行正确政绩观 以高水平司法服务中国式现代化

中国审判
2026-09-14 08:39:13
心内科院长含泪忠告:宁可多吃猪肉,也别在夏天做这8件要命的事

心内科院长含泪忠告:宁可多吃猪肉,也别在夏天做这8件要命的事

荆医生科普
2026-09-14 18:10:12
上海申花缺门将,王大雷回归几率有多高,年底合同到期,不打替补,他回申花概率在增加

上海申花缺门将,王大雷回归几率有多高,年底合同到期,不打替补,他回申花概率在增加

体育全天候
2026-09-14 16:42:20
丈夫睡了女邻居,妻子报复睡了丈夫的朋友,2020年丈夫杀死2个人,还想杀妻子

丈夫睡了女邻居,妻子报复睡了丈夫的朋友,2020年丈夫杀死2个人,还想杀妻子

汉史趣闻
2026-09-14 10:58:23
怪异现象:美国连伊朗都搞不定,为何唯独,“不怕”,我们

怪异现象:美国连伊朗都搞不定,为何唯独,“不怕”,我们

精彩瞬间回顾
2026-09-14 14:48:40
梅根首秀回英国生活片段,5岁莉莉大脚丫涂美甲,强大的黑人血统

梅根首秀回英国生活片段,5岁莉莉大脚丫涂美甲,强大的黑人血统

小椰的奶奶
2026-09-14 11:44:29
大学生求父母赞助苹果最新手机iPhone Duo,黄牛炒到9万,家长:到底给不给买?

大学生求父母赞助苹果最新手机iPhone Duo,黄牛炒到9万,家长:到底给不给买?

新东方
2026-09-14 16:00:08
一艘被击沉至少四次的航母,一场没有残骸的永远胜利

一艘被击沉至少四次的航母,一场没有残骸的永远胜利

寰球经纬所
2026-09-13 14:04:46
中国必须高度警惕越南将发生的分裂危机!

中国必须高度警惕越南将发生的分裂危机!

叶老四
2026-08-31 08:51:57
麻烦大了!长沙“摸腚姐”遭扒,学校被逼关评,有人捅到了国外

麻烦大了!长沙“摸腚姐”遭扒,学校被逼关评,有人捅到了国外

天天热点见闻
2026-09-11 09:01:57
2026-09-14 19:08:49

科技要闻

时隔近9年,特斯拉新款Roadster拟十一发布

头条要闻

一家人自驾土耳其旅行:穿越六国 中国牌照成移动名片

头条要闻

一家人自驾土耳其旅行:穿越六国 中国牌照成移动名片

体育要闻

兹维列夫,从三十年0冠到一百天2冠

娱乐要闻

敬一丹采访视频曝光,原来早有预兆

财经要闻

蔡昉:农民工落户可释放万亿消费潜力

汽车要闻

限50台/售54.99万起 别克世纪CENTURY黑金限量版上市

态度原创

亲子
教育
手机
公开课
军事航空

亲子要闻

亚亚工作早早结束,回到家优奈开心要抱抱!一大家子相聚非常热闹

教育要闻

同学们的答案五花八门的,真是让人哭笑不得

手机要闻

荣耀Magic9超能版首发11000mAh电池:史上电量最大的Magic旗舰

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

24小时内58次空袭 也门冲突快速升级

无障碍浏览 进入关怀版
×