网易首页 > 网易号 > 正文 申请入驻

500轮对话后闭卷答题,MemT 1.0把记忆写进模型骨子里

0
分享至

用AI最让人崩溃的瞬间,莫过于你花半天纠正它把任务做对,换个新会话,它转头又踩进同一个坑里。模型做过了事,却没变成它的成长。跑通单次任务之外,它真正缺的是把反馈转化为经验,并在之后主动调用。


这种割裂在Meta Muse、OpenAI Dots与xAI Grok Bot掀起的私人助理热潮中格外明显:主流的外挂检索最多算翻查静态备忘录,没法把调教过程沉淀为行事默契,而这恰恰是长期助理最核心的门槛。

记忆张量正式发布并开源MemT 1.0记忆原生大模型。它和外挂方案最大的不同,不只是让记忆脱离了外挂模块,内化进底层架构,更在于模型通过训练,自己学会了如何读写、更新和调用记忆,让经验积累本身成为模型能力的一部分。

把记忆写进模型的骨子里

市面上多数方案喜欢把存聊天记录当成记忆,但存下流水账,应付不了真实世界的动态交互,离真正的助理也还差得远。

MemT 1.0的技术报告中记录了一场硬核测试:用户先给出展览原定时间,随后敲定周日正式改期,中间还顺嘴提了一条未被采纳的周一备选方案。此后双方东拉西扯聊了五百多轮、攒下约6.6万token的聊天记录,期间再未提过展览半个字。

如果靠传统外挂检索,面对跨度这么长的多版本信息,极易把闲聊当定论;但MemT 1.0在完全脱离原始文本的「闭卷」状态下,依然准确报出了原定与改期时间,明确指出场地、票价和联系人未变,将周日定论与周一备选分得清清楚楚。

之所以能做到这一点,是因为MemT 1.0走了一条「记忆原生」的技术路线。在架构设计上,它把模型的脑力拆成两块:

  • 主干网络(通用能力):就像AI的出厂设置,装载着它对这个世界的通用认知。
  • 动态记忆状态(独立记忆):相当于模型在具体交互轨迹中实时演进的「专属工作状态」,不同用户或任务之间彼此独立,在持续交互中动态吸收新信息与经验,并直接参与后续每一轮生成计算。

面对不断涌入的交互信息,MemT 1.0无需重新训练整个大模型,在每轮对话结束时,直接通过token级别的更新机制刷新记忆状态。至于哪些该留、哪些该改,则交由模型在训练中学出的一套门控机制自主决断。

这就解释了那场五百多轮测试里,模型为什么能自动滤掉闲聊噪音,在日程变更时覆盖过时状态、锁定周日定论。到了后续对话与任务执行中,并行记忆注意力机制又会随时提取这些沉淀下来的状态,直接参与当前计算并引导模型的下一步决策。

这种精准的取舍能力没法天生自带,全靠后天硬练。团队喂了340亿token数据,分两步打磨这套机制:先用200亿token做继续预训练,让模型试着用过去片段预测未来;再用140亿token做后训练,请来「学霸」教师模型给记忆提取打分,用误差倒逼它改进。

取舍之外,还得装得下。MemT的记忆状态采用固定体积,持续交互只更新已有矩阵;为了在这个固定体积里装下更多细节,团队引入了Mixture-of-Storage(MoS)架构:基座MoE管计算,MoS让多位「记忆专家」分头掌管存储空间的读写分配。

这套架构加训练的组合拳,在11项系统记忆基准测试(覆盖长期保留、动态更新、个性化理解等维度,历史跨度从16K直至百万token)中交出了成绩单:全程闭卷作答的MemT-1.0-Flash和MemT-1.0-Nano均分分别达到50.6和47.0,分别领先同组最强参数化记忆基线12.5分和8.9分。

消融实验也直接印证了训练与架构的含金量。如果拿掉后训练这一步,Nano的均分会从47.0直接掉到36.3;将MoS记忆专家从2个扩充至4个,测试均分则最高提升了2.7分。

跑分之外,测试里的两个小细节更能说明什么才叫高质量的记忆。约16K token的历史里,用户问起自己的生日,由于从没提供过,模型老实回答不知道,没有瞎编。在一段3.3万token的对话里,模型需要根据很早之前定下的规矩,来判断两个人谁有资格领工具箱。它准确核对了徽章与登记状态,判定一人合规、一人未登记。

知之为知之,记规则不漏细节,这才是可用AI助理的及格线。

自我持续进化,从经验闭环开始

如果把要求拔高一步:过去的踩坑教训,真能改变模型在后续新任务里的做事方式吗?为了跑通「任务产生反馈、提炼沉淀经验、再改善后续任务」的连续自我改进闭环,技术团队在真实编程场景里搭建了一套完整训练与执行链路。

第一步,先教会模型怎么把别人的经验「听进去」。技术团队先从数万条成功轨迹中提炼出上千条可复用经验;再让基座模型去跑任务,一旦遇上命令报错、空返回或重复无效操作的「卡壳点」,就在卡壳处注入匹配经验重跑。

团队从中严格筛出4.2万余条「没经验时做错、补上经验后成功跑通」的样本,专门训练MemT-1.0 Nano的记忆原生模块:先把经验写入内部记忆状态,过了卡壳点再开启读取,让模型学会调用记忆里的经验去修正后续动作。

在SWE-bench Verified的500项任务实测中,提前写入经验的MemT-1.0 Nano平均成功率从无经验的66.07%升至69.33%,同一道题独立跑三次全成的比例从54.00%提到61.60%,与直接在上下文里塞入「文本经验」的对照组表现相当(成功率68.87%,三次全成率61.60%)。这说明,哪怕对话框里干干净净,模型单靠脑子里的记忆状态,也完全能消化复杂的排错指南。

第二步,放到实战里边干边学。提前塞经验终归是静态的,真正干活时哪能未卜先知?所以在实战模式下,模型先两手空空独立做题;只有当系统发现它报错、空返回,或者连续三次原地打转时,才当场把匹配的排错经验写进它的内部记忆状态里。

这就好比一个程序员自己先写代码,撞了南墙的那一刻,脑子里突然调出了之前踩坑的教训,当场改写思路把bug修好;等这单活干完,这次踩坑和修bug的过程又会被提炼成新经验存起来,留着以后救场。

结果显示,这种按实时反馈更新记忆状态的打法,把平均成功率推高到了69.73%,三次全成率提到62.80%,双双跑赢文本经验组(69.13%与61.80%)。换到覆盖九种编程语言、包含300项任务的SWE-bench Multilingual,同样在执行中按报错反馈动态触发记忆原生机制,Nano的平均成功率从无经验的60.00%提升至63.56%,三次全成率从45.33%跃升至55.33%(同样优于文本经验组的63.00%与53.67%)。

外部系统负责从实战反馈中提炼经验、捕捉卡壳信号,模型则依靠训练出的记忆原生读写能力将经验内化为下一步的行动修正。这套协同机制,也为智能体走向自主持续演进搭起了底层的模型支点。

从外挂补丁到记忆原生

要让这套边干边学的经验闭环在真实业务里长年累月转下去,显然绕不开工程成本的账单。几轮以内的短对话,拉长上下文或挂个向量数据库确实够用;可一旦进入长周期伴随,传统方案越跑越重,推理延迟和显存开销会持续膨胀。而MemT 1.0的动态记忆状态体积固定,持续交互只刷新已有矩阵,边际成本几乎拉平。

技术报告显示,双GPU、单并发、batch size为1的测试条件下,处理64K token历史,Nano相对完整上下文方案有约1.20倍的端到端推理速度;历史增加到128K和256K token时,分别达到约1.86倍和3.99倍。在128K token历史长度下,恢复单条交互历史所需的持久状态存储,大约是完整上下文KV cache的六十六分之一,不计共享模型权重。

把单次调用的算力与存储负担打下来,高频、跨周期的记忆读写才真正具备了大规模工程落地的条件。拿企业内部的研发场景来说,它首先解决的是团队经验的复用问题。眼下大多数团队用AI写代码,最头疼的是天天带新兵:项目规范和排错套路,工程师每次开新会话都得重教一遍,企业等于在为重复的开销持续买单。

在MemT 1.0的体系里,真实的业务反馈会持续刷新外部经验库,模型则把这些团队规范逐渐内化成直觉。老手少操心,AI少踩老坑,技术投入才能沉淀为带复利的团队资产。

往更长远的应用场景看,无论是7×24小时在线的个人数字分身、跨月度跟进慢病管理的医疗顾问,还是伴随孩子数年成长的个性化私教,这些强依赖时间厚度的未来应用,都必须建立在记忆原生的底座之上。

过去三年,大模型圈都在卷各种横向指标,大家拼谁的参数大、跑分高、霸榜多。想要保持领先就只能不断换代搞新模型。而从Memory³的分层研究,到MemOS的系统探索,再到今天MemT 1.0的底层架构重塑,记忆张量切入了时间这条纵向轴:怎么让模型在陪伴用户的过程里,越用越聪明。

你纠正的每一次错误、给出的每一次反馈,都会通过记忆更新沉淀为它的能力,让下一次的它永远比上一次更顺手、更懂你。出厂参数再强的通用基座,随时可能被更强的模型替代;但一个陪你踩过坑、摸透你所有做事习惯与业务规则的记忆原生模型,却在一天天的磨合里长出了独属于你的壁垒。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
大批美国游客从中国离开后,坦言:客观对比,中国比美国强多了

大批美国游客从中国离开后,坦言:客观对比,中国比美国强多了

和海看日出
2026-10-16 20:36:01
网友拍到“消费才能入座”提示牌物料,有店员称10月20日开始执行?引发热议,星巴克回应:消息不属实

网友拍到“消费才能入座”提示牌物料,有店员称10月20日开始执行?引发热议,星巴克回应:消息不属实

南方都市报
2026-10-20 10:58:28
倒计时!超强台风“蔷琵”究竟登陆我国还是赴日?悬念即将揭晓

倒计时!超强台风“蔷琵”究竟登陆我国还是赴日?悬念即将揭晓

声情专递
2026-10-20 09:57:42
俄罗斯专家把话挑明了:如果中国铁了心要对日本动手,那就只有两个选择,要么不出手,要么一击毙命!

俄罗斯专家把话挑明了:如果中国铁了心要对日本动手,那就只有两个选择,要么不出手,要么一击毙命!

回京历史梦
2026-10-11 16:35:06
102岁余宝珠现身家庭生日宴,林建岳一家四代同堂真热闹

102岁余宝珠现身家庭生日宴,林建岳一家四代同堂真热闹

悠悠说世界
2026-10-20 11:55:56
中国游客菲律宾跳水时手表脱落,回看视频发现竟是被当地人抠松的

中国游客菲律宾跳水时手表脱落,回看视频发现竟是被当地人抠松的

半岛晨报
2026-10-19 12:30:10
日本专家评高市早苗:中国没必要在她身上浪费时间 …

日本专家评高市早苗:中国没必要在她身上浪费时间 …

爱下厨的阿酾
2026-10-19 18:13:58
山东省收入最高的七家医院

山东省收入最高的七家医院

华庭讲美食
2026-10-19 16:22:05
正式退出,马琳发声,官宣意外决定,乒协批准

正式退出,马琳发声,官宣意外决定,乒协批准

懂球社
2026-10-20 10:03:20
米勒新合同比阿门多100万,亨德森成输家,火箭抽到4号签逃过一劫

米勒新合同比阿门多100万,亨德森成输家,火箭抽到4号签逃过一劫

春日筆記
2026-10-20 12:48:02
美军飞行员私下有个梗,说在西太平洋飞了这么多年,见了中国战机不知道多少回,但就一件事一直看不懂!

美军飞行员私下有个梗,说在西太平洋飞了这么多年,见了中国战机不知道多少回,但就一件事一直看不懂!

林杰论事
2026-10-17 01:38:31
U16国足进球功臣被直红罚下!疑似朝对手吐口水 张耀坤面色铁青

U16国足进球功臣被直红罚下!疑似朝对手吐口水 张耀坤面色铁青

念洲
2026-10-20 13:24:22
75岁大爷与保姆生下儿子,做亲子鉴定后,大爷却被子女们气得心梗

75岁大爷与保姆生下儿子,做亲子鉴定后,大爷却被子女们气得心梗

黄家湖的忧伤
2025-03-06 09:30:21
突发!高市早苗遭重创!

突发!高市早苗遭重创!

财经要参
2026-10-20 10:37:55
NBA首轮:雷霆VS马刺打响揭幕战,太阳VS开拓者,杨瀚森做好准备

NBA首轮:雷霆VS马刺打响揭幕战,太阳VS开拓者,杨瀚森做好准备

体育大学僧
2026-10-20 11:21:51
黄牛当心了!苹果抓紧供货iPhone Duo 用户们晒订单:有人提前2个多月

黄牛当心了!苹果抓紧供货iPhone Duo 用户们晒订单:有人提前2个多月

快科技
2026-10-20 09:00:38
卡戴珊妹妹穿3.5亿钻石内衣首登维密!中国超模亮眼,元老超模回归,网友:梦幻感回来了!

卡戴珊妹妹穿3.5亿钻石内衣首登维密!中国超模亮眼,元老超模回归,网友:梦幻感回来了!

英国报姐
2026-10-19 23:03:18
中纪委通报!211高校党委原书记,被查

中纪委通报!211高校党委原书记,被查

TOP大学来了
2026-10-17 20:39:19
等孩子上高中你会明白:只要安安生生念满三年成绩其实没那么重要

等孩子上高中你会明白:只要安安生生念满三年成绩其实没那么重要

爱下厨的阿椅
2026-10-18 16:32:15
恩里克:巴萨每场比赛我都看;最好别拿亚马尔和梅西比较

恩里克:巴萨每场比赛我都看;最好别拿亚马尔和梅西比较

懂球帝
2026-10-19 20:40:13
2026-10-20 14:08:49
摸鱼算法
摸鱼算法
致力于用最前沿的AI技术,换取更多发呆时间的三十岁青年。
204文章数 75关注度
往期回顾 全部

科技要闻

新版MiniMax,能和DeepSeek掰手腕吗?

头条要闻

男子身中16刀死亡 前妻逃亡26年"隐身"当了妇女主任

头条要闻

男子身中16刀死亡 前妻逃亡26年"隐身"当了妇女主任

体育要闻

30天30队·奇才:三状元一榜眼 35胜?

娱乐要闻

港媒曝刘恺威与32岁黎纪君恋情,秘密恋爱两个月

财经要闻

这些科技股王,为什么总输给茅台?

汽车要闻

不知道二代海鸥多好玩? 上赛道跑两圈 很过瘾的

态度原创

时尚
游戏
本地
公开课
军事航空

4种“棒针毛衣”穿搭,美翻了!

追不到女朋友我就不死了!

本地新闻

一场垂直登高赛跑出了"山城"的真正内核

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

特朗普狠批泽连斯基"不想结束战争" 泽连斯基强硬回怼

无障碍浏览 进入关怀版