北京
大多数智能体把记忆当成外挂管道：每一轮对话，路由器去查向量库、读磁盘上的 markdown 文件，再把片段粘回提示词里。对话一旦拉长到 5 万 token 以上，KV 缓存膨胀，首字延迟爬升，托管成本直接跟着对话长度线性上涨。
MemTensor 团队发布的 MemT-1.0（arXiv:2610.26825），换了个思路——把状态更新直接做进模型的计算图里。
它不再跨整个历史保留原始键值对，而是在 Transformer 块上并行挂载原生记忆块。每一轮内部，用 Gated DeltaNet-2（GDN-2）驱动稳定的 token 级状态更新。为了在不撑爆每个注意力头参数量的前提下扩展容量，作者引入了 Mixture-of-Storage（MoS）。
团队训练了一个模型家族，分两档：
- MemT-1.0-Nano：总参数 36B，激活 3B，动态记忆 10M
- MemT-1.0-Flash：总参数 288B，激活 17B，动态记忆 336M
两阶段训练流程，共用 34B token。
延迟数据说明了收益落在哪。历史长度到 128K token 时，MemT-1.0-Nano 相比标准全上下文 KV 缓存，端到端推理提速约 1.86 倍，持久化存储开销降低 66 倍。而且随着轮次累积，持久状态的大小保持固定。
团队还在 SWE-bench Verified 和 SWE-bench Multilingual 上做了测试：执行前把检索到的流程性经验喂进原生记忆。内化的经验相比零经验基线，提升了任务完成度和多次运行之间的一致性，准确率与把原始文本塞进系统提示词的做法持平。
眼下开发者要写复杂的上下文压缩脚本、摘要循环、滑动窗口缓存，才能让长跑智能体不被自己的日志噎住。如果状态更新活在层内的数学里，每一步就不必再为“把过去传一遍”付带宽税。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
