长对话一超出上下文窗口,业界的第一反应往往是上"记忆系统":抽取、摘要、UPDATE/DELETE、图结构、社区划分、可学习检索,一层层往上叠。但一组评测结果给出了相反的答案——只对原始对话历史做稠密检索加重排的朴素方案,在多数场景里排名更靠前。
![]()
这套方案叫 RAW-RAG。在 LoCoMo、LongMemEval、MEME、MemoryAgentBench 四个长对话记忆基准上,它在 7 组「基准×模型」组合里有 6 组排名第一,比最强的 agentic memory 对比系统高出 0.13–5.53 分。作者给出的判断是:瓶颈主要在"证据是否齐全",而不在抽取、变异与图结构有多复杂。
两个预实验先动摇了前提
第一个是对 Mem0 写操作的审计。在 LoCoMo 上,UPDATE 加 DELETE 只占写决策的 4.39%,其中有效变更约 1.90%;LongMemEval 上是 2.46% 和 1.34%。把 UPDATE/DELETE 关掉、只保留 ADD/NONE,LoCoMo 准确率反而从 67.36% 升到 69.42%。
第二个是 MEME 上的相位可见 oracle:把该阶段的原始证据按时间顺序直接交给 reader,不引入检索误差,强模型(如 DeepSeek-V4-Flash)在 cascade 和 invalidation 两类任务上能到约 82% / 92%。也就是说,只要原文给得够,reader 往往能自己推出现态。
RAW-RAG 本身并不复杂
- 不做 LLM 抽取、摘要、构图、变异;
- 对话序列化(带时间戳、图片说明),按 256 token 窗、32 overlap 切分,建扁平向量索引;
- 查询时余弦取 top-128,cross-encoder 重排取 top-15,交给 reader 做时序与状态推理。
主结果方面(相对对比系统,不含 Full-context):LoCoMo 上 GPT-4o-mini / 4.1-mini 分别为 89.07 / 93.70,领先约 0.65–0.95;LongMemEval 上 4.1-mini 为 87.53,领先约 0.13(对比 Memora 的 87.40);MEME 上 4o-mini 为 39.30,领先约 2.24;MemoryAgentBench 上 4o-mini / DS-V4-Flash 为 48.32 / 53.41,领先约 4.5–5.5。
唯一落后的一组是 MEME 配 DeepSeek-V4-Flash:MemMachine 44.71,RAW-RAG 43.19。
消融也指向同一方向:去掉重排掉 3.92 分,只回 1 条证据掉 11.73 分;而加上原子事实抽取、摘要增强、图扩展,都没能超过默认 RAW-RAG 的 48.32。摄入成本同样低,在 BEAM-1M 上远快于 MemOS、Mem0 等系统,差距可达数十倍。
为什么够用
作者总结了三点。一是覆盖率大于利用率:系统之间"证据够不够"的差距,远大于"有证据之后答对率"的差距,RAW-RAG 覆盖率最高,可以抵消略低的条件利用率。二是路径完整性:有用的证据不只是答案值,还包括时序与依赖路径,RAW-RAG 的 P(path|result) 最高约 62.34%。三是摄入时保真:即便给一个"完整变换后记忆库"的 oracle,仍难追上原始证据,丢掉或扭曲的原文,事后检索补不回来。
局限也写得很清楚:只覆盖离线公开对话基准,未涉及交互、多模态和真实运维;原文存储带来的隐私与删除约束是现实代价;在弱 reader 或需要减少重复推理的场景下,显式状态维护是否更有用,仍待验证。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.