网易首页 > 网易号 > 正文 申请入驻

三项RAG技术单测涨46.6%,合起来只剩17.2%

0
分享至

  把三个各自单测都赢的技术塞进同一条RAG流水线,效果会叠加吗?一项大规模研究给出的答案是:不会,而且差得很远。

  

  研究测算了三项检索技术——交叉编码器重排、关闭MMR、文档感知前缀。它们单独测量时增益最大,按各自结果相加,预测能在默认基线上把NDCG@10拉高46.6%,基线得分为0.412。而把三者组合起来的平衡流水线,实际只拿到+17.2%,相对这个预测少了63%。

  每一项在自己的消融实验里都像稳赢的牌,合到一起却远不如分开相加的结果。

  为什么这件事值得盯

  多数团队决定RAG流水线里留什么,是一次只做一个消融。某个环节赢了消融就留下,整条栈的预期增益按各项胜利相加来算。可每个环节都会给每一次查询增加延迟和成本,加总不成立时,团队就是在为看不见的收益付钱。

  同一篇论文里HyDE是个小例子:它把NDCG@10提高3.1%,却让首跳延迟翻倍,延迟调整后的增益只剩0.9%。

  研究是怎么做的

  论文(arXiv 2610.29722)用一个叫lasagna的框架研究RAG组件如何组合。它跑了167种配置,用D-optimal设计挑选,覆盖八个可配置的流水线阶段。D-optimal设计从完整配置网格中挑出一个子集,仍能估计每个因子的效应。研究覆盖八个基准,语料规模从5K到200K文档,另外在24个定向实验里补了138个非因子消融配置。

  检索用NDCG@10打分。生成侧报告RAGAS v0.4的忠实度与答案相关性,由GPT-5.1评判,外加精确匹配、token级F1、p50/p95延迟和每次查询成本。所有配置的答案也由GPT-5.1生成。这里的忠实度衡量的是生成的说法是否有检索到的上下文支撑。

  增益为什么会互相吃掉

  看到一组获胜的消融,自然反应是增益会叠加。论文发现它们部分重叠:消融结果显示,重排本身已经提供了关闭MMR带来的部分过滤收益,两者组合时能帮上的空间就变小了。

  平衡流水线不是孤例。把五项单独为正的检索技术全部纳入,缺口扩大到72%。在17种被测组合里,缺口从7%到72%不等,中位数41%。

  流水线与生成器之间也有同类重叠。更强的生成器对最轻的流水线帮助远大于最重的流水线,生成器已经很强时,更重的栈买到的就更少。

  还有第二重复杂之处。嵌入、富化和重排主导检索质量指标,查询增强和智能体门控主导答案忠实度。在匹配配置上,两个指标基本不相关,合并皮尔逊r为-0.01(p = 0.91)。在这项研究里,NDCG@10的增益几乎说明不了答案是否变得更有支撑。

  证据里的几个反直觉细节

  因子分析显示两个指标的分野同样明显。检索侧边际关联最大的是嵌入(η² = 0.164)、富化(η² = 0.144)和重排(η² = 0.090);忠实度侧领先的是查询增强(η² = 0.224)和智能体门控(η² = 0.217),嵌入和富化则可忽略(各自η² < 0.02)。作者注明这些值未做调整,只用于探索性筛选,且不可相加,因为设计不平衡、效应共享方差。

  MMR平均让NDCG@10相对下降3.6%,与它在宽泛异构语料上的常见收益相反。

  2019年的MS-MARCO MiniLM-L6交叉编码器排名高于所测的全部四个近期重排器。作者推测它的训练与这些聚焦领域对齐得特别好。

  分块器选择在20种配置间跨越0.126的NDCG@10,36%的相对差异大于多数因子主效应。

  语料规模会改变哪条流水线获胜。标准配置在5K和15K文档时领先,平衡配置从25K起领先。到200K时,平衡配置的NDCG@10相对高出13.7%,第5节给出p = 0.003,附录在Welch t检验下给出p = 0.004,两个值对应不同的检验或报告口径,该差距在两者下都显著。25K和100K的差距方向一致但统计功效不足。

  两个智能体配置之间,平衡配置的NDCG@10比max-reliable高4.5%,忠实度只差0.005。第5节给出的响应时间优势为13%,附录给出平均响应时间低13.5%,两个数字与四舍五入相符。

  正式的交互检验比标题数字更谨慎。预先声明的主交互假设H1未达成。一项在运行前就指定的聚焦后续分析确认查询增强×智能体门控的交互真实存在(p = 0.007),但远低于那条门槛。其偏η²为0.033,20种组合中有10种偏离可加性至少两个百分点。按研究自己的方差规则,0.033落在5%下限的“可加性成立”一侧。组合流水线远低于增益之和,而唯一被正式检验的交互仍低于作者事先设定的门槛。

  边界在哪

  作者把发现称为案例研究证据,把推导出的配置视为待进一步验证的候选,而非高风险部署的处方。基准集中在五个聚焦领域:生物医学、金融、科学、论辩和维基百科多跳问答。规模扩展用的干扰文档也来自同样五个领域,宽泛混合语料仍未被测。

  忠实度依赖单一评判者GPT-5.1。第二位评判者仅中度一致(皮尔逊r = 0.44,Cohen's κ = 0.35),相对趋势站得住,但精确的忠实度分数取决于评判者。原始忠实度也部分由答案长度驱动。

  假设是预先声明的,但没有作为第三方预注册提交。设计矩阵、逐查询分数和分析脚本不在公开版本中,可向作者索取。语料从5K到200K文档,更大的索引不在测量范围内。

  动手之前先做一件事

  在给RAG流水线再加一个环节之前,先在自己的语料上端到端测一遍组合后的流水线。检索质量和答案忠实度要分开跟踪,因为在这项研究里,一个几乎不跟随另一个。

  如果一个环节只在单独消融里挣到了位置,先把它拿掉重跑整条流水线,再决定要不要为每一次查询付它的延迟。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
0-1!上海申花轰然倒下,输给J联赛领头羊,遭2次零封,控球率36%

0-1!上海申花轰然倒下,输给J联赛领头羊,遭2次零封,控球率36%

汪星人哟
2026-10-29 22:23:00
澳大利亚防长称中国军力增长给东南亚造成很大的压力,中方:中国发展军力从不针对任何国家,有关方面应客观看待,停止发表不负责任的言论

澳大利亚防长称中国军力增长给东南亚造成很大的压力,中方:中国发展军力从不针对任何国家,有关方面应客观看待,停止发表不负责任的言论

政知新媒体
2026-10-29 15:31:21
最煎熬的不是失业没了工作,而是社保年限从15年涨到了20年

最煎熬的不是失业没了工作,而是社保年限从15年涨到了20年

细说职场
2026-10-27 15:12:13
聪明反被聪明误的德国大佬,背叛多特转投拜仁,却跟拜仁不欢而散

聪明反被聪明误的德国大佬,背叛多特转投拜仁,却跟拜仁不欢而散

足篮大世界
2026-10-29 18:03:27
阿斯:B席曾自荐皇马遭拒,穆帅电话改变了一切

阿斯:B席曾自荐皇马遭拒,穆帅电话改变了一切

懂球帝
2026-10-29 16:22:19
属马:赶紧离开此人,26下半年,他会成为你命里的"拦路虎"!

属马:赶紧离开此人,26下半年,他会成为你命里的"拦路虎"!

户外阿崭
2026-10-29 19:01:00
有其父必有其子,政商旋转门轰然崩塌:黄然非同步被带走调查

有其父必有其子,政商旋转门轰然崩塌:黄然非同步被带走调查

十为先生
2026-10-27 18:06:42
印度一档时事节目上,主持人 Meher Smaran 当着观众的面发问,中国凭什么不把锂电池技术白白送给印度?

印度一档时事节目上,主持人 Meher Smaran 当着观众的面发问,中国凭什么不把锂电池技术白白送给印度?

怪味历史连连看
2026-10-22 17:26:13
人大代表建议:把工龄满30年的职工带薪休假天数延长到20天!

人大代表建议:把工龄满30年的职工带薪休假天数延长到20天!

细说职场
2026-10-29 10:12:56
啦啦队美女碰瓷!刘维伟更新社媒:4万块洗一下西装 谁让是牌子呢

啦啦队美女碰瓷!刘维伟更新社媒:4万块洗一下西装 谁让是牌子呢

探长影视解说
2026-10-29 19:07:55
太荒唐了!女子和多个情夫发生关系,其中一个情夫让她和别人断绝关系,只跟自己交往,被拒绝后情夫说要还钱女子追悔莫及

太荒唐了!女子和多个情夫发生关系,其中一个情夫让她和别人断绝关系,只跟自己交往,被拒绝后情夫说要还钱女子追悔莫及

丫头舫
2026-10-28 15:27:45
“余生好好走”,前央视主持王小丫,病床前歪歪扭扭留言字字催泪

“余生好好走”,前央视主持王小丫,病床前歪歪扭扭留言字字催泪

海棠未眠a
2026-10-17 03:07:11
广州日报也发声了

广州日报也发声了

吴女士
2026-10-29 10:08:18
107岁老人,年轻像65岁,长寿秘诀不是多走路,而是这五件事

107岁老人,年轻像65岁,长寿秘诀不是多走路,而是这五件事

健康科普365
2026-10-29 19:25:04
蔡天凤碎尸案大反转?邝球方抓命案现场漏洞,质疑证物遭警方污染

蔡天凤碎尸案大反转?邝球方抓命案现场漏洞,质疑证物遭警方污染

娱站
2026-10-28 14:14:50
香港电影明星葬礼低调举行,女儿没有到现场,遗孀送别最后一程

香港电影明星葬礼低调举行,女儿没有到现场,遗孀送别最后一程

孤芳自赏的小李
2026-10-29 04:42:17
一男子将3000万存银行,银行承诺3年利息为4%,每年120万利息,可第三年只给105万利息,还有15万元不给了,男子直接起诉,法院判了

一男子将3000万存银行,银行承诺3年利息为4%,每年120万利息,可第三年只给105万利息,还有15万元不给了,男子直接起诉,法院判了

LULU生活家
2026-10-24 14:40:06
反诈博主“徽剑”遭买凶杀害,好友追忆:他经营教培公司,出于正义感反诈

反诈博主“徽剑”遭买凶杀害,好友追忆:他经营教培公司,出于正义感反诈

澎湃新闻
2026-10-28 13:54:06
双腿出现这2个症状,肺癌可能已经来了!医生:别只当腿疼!

双腿出现这2个症状,肺癌可能已经来了!医生:别只当腿疼!

路医生健康科普
2026-10-23 20:35:04
亚洲杯绝杀功臣,竟被一张居留卡挡在世界杯外?

亚洲杯绝杀功臣,竟被一张居留卡挡在世界杯外?

林子说事
2026-10-29 20:13:47
2026-10-30 01:28:49
摸鱼算法
摸鱼算法
致力于用最前沿的AI技术,换取更多发呆时间的三十岁青年。
240文章数 74关注度
往期回顾 全部

科技要闻

MacBook终于能触屏了:22999元起

头条要闻

媒体:守住不该守住的底盘 77岁的内塔尼亚胡逃出生天

头条要闻

媒体:守住不该守住的底盘 77岁的内塔尼亚胡逃出生天

体育要闻

超级黑马!球队不败 29岁的他得分榜前三

娱乐要闻

白百何被曝和二婚丈夫离婚 和男生逛街

财经要闻

两大娱乐巨头,谈崩了

汽车要闻

标配宁德时代电池 智己LS8 NEO纯电预售24.98万起

态度原创

教育
房产
家居
手机
公开课

教育要闻

澳大利亚留学不香了?不留学比例在上升真没钱了?

房产要闻

12.1亿!三亚挂出重磅宅地!

家居要闻

2026建博会(广州) 公装联探展交流活动

手机要闻

“红果”手机诞生!安卓旗舰硬塞iOS 17:能亮屏滑桌面,但离能用还差好几条街

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版