网易首页 > 网易号 > 正文 申请入驻

7组评测6组第一,朴素RAW-RAG压过复杂记忆系统

0
分享至

长对话一超出上下文窗口,业界的第一反应往往是上"记忆系统":抽取、摘要、UPDATE/DELETE、图结构、社区划分、可学习检索,一层层往上叠。但一组评测结果给出了相反的答案——只对原始对话历史做稠密检索加重排的朴素方案,在多数场景里排名更靠前。


这套方案叫 RAW-RAG。在 LoCoMo、LongMemEval、MEME、MemoryAgentBench 四个长对话记忆基准上,它在 7 组「基准×模型」组合里有 6 组排名第一,比最强的 agentic memory 对比系统高出 0.13–5.53 分。作者给出的判断是:瓶颈主要在"证据是否齐全",而不在抽取、变异与图结构有多复杂。

两个预实验先动摇了前提

第一个是对 Mem0 写操作的审计。在 LoCoMo 上,UPDATE 加 DELETE 只占写决策的 4.39%,其中有效变更约 1.90%;LongMemEval 上是 2.46% 和 1.34%。把 UPDATE/DELETE 关掉、只保留 ADD/NONE,LoCoMo 准确率反而从 67.36% 升到 69.42%。

第二个是 MEME 上的相位可见 oracle:把该阶段的原始证据按时间顺序直接交给 reader,不引入检索误差,强模型(如 DeepSeek-V4-Flash)在 cascade 和 invalidation 两类任务上能到约 82% / 92%。也就是说,只要原文给得够,reader 往往能自己推出现态。

RAW-RAG 本身并不复杂

  • 不做 LLM 抽取、摘要、构图、变异;
  • 对话序列化(带时间戳、图片说明),按 256 token 窗、32 overlap 切分,建扁平向量索引;
  • 查询时余弦取 top-128,cross-encoder 重排取 top-15,交给 reader 做时序与状态推理。

主结果方面(相对对比系统,不含 Full-context):LoCoMo 上 GPT-4o-mini / 4.1-mini 分别为 89.07 / 93.70,领先约 0.65–0.95;LongMemEval 上 4.1-mini 为 87.53,领先约 0.13(对比 Memora 的 87.40);MEME 上 4o-mini 为 39.30,领先约 2.24;MemoryAgentBench 上 4o-mini / DS-V4-Flash 为 48.32 / 53.41,领先约 4.5–5.5。

唯一落后的一组是 MEME 配 DeepSeek-V4-Flash:MemMachine 44.71,RAW-RAG 43.19。

消融也指向同一方向:去掉重排掉 3.92 分,只回 1 条证据掉 11.73 分;而加上原子事实抽取、摘要增强、图扩展,都没能超过默认 RAW-RAG 的 48.32。摄入成本同样低,在 BEAM-1M 上远快于 MemOS、Mem0 等系统,差距可达数十倍。

为什么够用

作者总结了三点。一是覆盖率大于利用率:系统之间"证据够不够"的差距,远大于"有证据之后答对率"的差距,RAW-RAG 覆盖率最高,可以抵消略低的条件利用率。二是路径完整性:有用的证据不只是答案值,还包括时序与依赖路径,RAW-RAG 的 P(path|result) 最高约 62.34%。三是摄入时保真:即便给一个"完整变换后记忆库"的 oracle,仍难追上原始证据,丢掉或扭曲的原文,事后检索补不回来。

局限也写得很清楚:只覆盖离线公开对话基准,未涉及交互、多模态和真实运维;原文存储带来的隐私与删除约束是现实代价;在弱 reader 或需要减少重复推理的场景下,显式状态维护是否更有用,仍待验证。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
身披旭日旗的陈宇昕获企业支持,汤家凤怒批:必须严惩,露头就打

身披旭日旗的陈宇昕获企业支持,汤家凤怒批:必须严惩,露头就打

小蜜情感说
2026-10-24 08:37:50
太缺德了!6.7元订单标注仅1kg,取货却是四箱矿泉水,浙江骑手吐槽“盲盒订单”,引发大量共鸣

太缺德了!6.7元订单标注仅1kg,取货却是四箱矿泉水,浙江骑手吐槽“盲盒订单”,引发大量共鸣

火山詩话
2026-10-23 06:11:53
两连败!4分6犯规!83分先生成了笑话

两连败!4分6犯规!83分先生成了笑话

篮球教学论坛
2026-10-24 14:21:41
赖昌星最狠的一招,就是用天价豢养空姐周兵,攻破了海关关长的防线;私生子降生的那一刻,530亿走私帝国的遮羞布被彻底撕碎

赖昌星最狠的一招,就是用天价豢养空姐周兵,攻破了海关关长的防线;私生子降生的那一刻,530亿走私帝国的遮羞布被彻底撕碎

人生录
2026-10-20 00:05:11
新007最终试镜本周开启,两位英国男星成热门人选

新007最终试镜本周开启,两位英国男星成热门人选

自愈小日子
2026-10-23 00:15:35
九旬老人夜宿楼道后续:已入住养老机构,街道将联合多部门助其依法维权

九旬老人夜宿楼道后续:已入住养老机构,街道将联合多部门助其依法维权

澎湃新闻
2026-10-24 08:42:27
中央亮剑!多地开启机关事业单位大整顿,这几类人受影响最大

中央亮剑!多地开启机关事业单位大整顿,这几类人受影响最大

细说职场
2026-10-24 12:32:14
055大驱在全球属于什么水平?这么说吧,有16艘055的时候,地球上没有国家想跟中国打一次

055大驱在全球属于什么水平?这么说吧,有16艘055的时候,地球上没有国家想跟中国打一次

扶苏聊历史
2026-10-23 11:19:09
经济学家任泽平账号被封原因深度分析

经济学家任泽平账号被封原因深度分析

柚子新媒
2026-10-24 13:15:01
“白天800晚上900元”,女子陪爬泰山时,被一男子“白嫖”800元

“白天800晚上900元”,女子陪爬泰山时,被一男子“白嫖”800元

江山挥笔
2026-03-28 16:50:15
猝不及防!越南签下347亿大单仅4天,中国禁令一出,项目直接悬了

猝不及防!越南签下347亿大单仅4天,中国禁令一出,项目直接悬了

铁锤侃侃而谈
2026-10-24 10:29:04
50岁赵薇新加坡受访,自称已退出酒庄经营,99.9%商业传闻是谣言

50岁赵薇新加坡受访,自称已退出酒庄经营,99.9%商业传闻是谣言

娱乐E君
2026-10-23 17:41:31
2027年起,如果房价继续下跌,中国近50%的家庭或将面临3个难题

2027年起,如果房价继续下跌,中国近50%的家庭或将面临3个难题

兴趣知识
2026-10-23 01:46:23
46岁欧倩怡离婚后坦言等钱用,生活节俭吃平价寿司,卖车搭地铁和郭晋安反差大

46岁欧倩怡离婚后坦言等钱用,生活节俭吃平价寿司,卖车搭地铁和郭晋安反差大

TVB剧评社
2026-10-24 10:27:05
湖南省委书记调整,王志军从国务院履新,制造业升级成为重要课题

湖南省委书记调整,王志军从国务院履新,制造业升级成为重要课题

一口娱乐
2026-10-24 11:59:38
足球报:大连市相关领导到凤凰山督战,毛伟杰、朱鹏宇都随队

足球报:大连市相关领导到凤凰山督战,毛伟杰、朱鹏宇都随队

懂球帝
2026-10-24 14:13:07
阿门盖帽制胜谁注意赛后?全队称赞,获哈珀福克斯肯定,本人也嗨了

阿门盖帽制胜谁注意赛后?全队称赞,获哈珀福克斯肯定,本人也嗨了

篮球资讯达人
2026-10-24 14:31:30
问界 M9 撞击起火引舆情 官方回应引争议

问界 M9 撞击起火引舆情 官方回应引争议

中车网评
2026-10-22 17:39:34
谷歌为建数据中心非法砍伐芬兰森林25万棵树,狼群被迫进村觅食

谷歌为建数据中心非法砍伐芬兰森林25万棵树,狼群被迫进村觅食

IT之家
2026-10-24 10:52:12
一夜输1亿,一瓶酒50万,2亿豪车买来当玩具,父子败光百亿家产!

一夜输1亿,一瓶酒50万,2亿豪车买来当玩具,父子败光百亿家产!

青梅侃史啊
2026-10-21 14:24:46
2026-10-24 15:04:49
碳基打工人
碳基打工人
坐标北京,靠咖啡续命,靠小红书下饭的普通人类。
213文章数 88关注度
往期回顾 全部

科技要闻

写程序、做3D,新Kimi还有多少本事?

头条要闻

男子独自替发小还债 每月从6000元工资中挤5000元还款

头条要闻

男子独自替发小还债 每月从6000元工资中挤5000元还款

体育要闻

从乐透秀到总冠军再到没工作 一共要几年?

娱乐要闻

李连杰回应抛妻弃女传闻,透露四个女儿关系

财经要闻

叫"保障"不叫"保险":租车平台的文字游戏

汽车要闻

设计换新/智舱升级 2027款博越限时价7.89万起

态度原创

家居
本地
手机
旅游
公开课

家居要闻

2026建博会(广州) 公装联探展交流活动

本地新闻

这么近,那么美,周末赴贺州丨大湾区后花园

手机要闻

Counterpoint发印度Q3报告:三星重回第一,国产有点惨

旅游要闻

南京钟山前湖秋色上新,月牙堤染彩入秋

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版