把三个各自单测都赢的技术塞进同一条RAG流水线,效果会叠加吗?一项大规模研究给出的答案是:不会,而且差得很远。
![]()
研究测算了三项检索技术——交叉编码器重排、关闭MMR、文档感知前缀。它们单独测量时增益最大,按各自结果相加,预测能在默认基线上把NDCG@10拉高46.6%,基线得分为0.412。而把三者组合起来的平衡流水线,实际只拿到+17.2%,相对这个预测少了63%。
每一项在自己的消融实验里都像稳赢的牌,合到一起却远不如分开相加的结果。
为什么这件事值得盯
多数团队决定RAG流水线里留什么,是一次只做一个消融。某个环节赢了消融就留下,整条栈的预期增益按各项胜利相加来算。可每个环节都会给每一次查询增加延迟和成本,加总不成立时,团队就是在为看不见的收益付钱。
同一篇论文里HyDE是个小例子:它把NDCG@10提高3.1%,却让首跳延迟翻倍,延迟调整后的增益只剩0.9%。
研究是怎么做的
论文(arXiv 2610.29722)用一个叫lasagna的框架研究RAG组件如何组合。它跑了167种配置,用D-optimal设计挑选,覆盖八个可配置的流水线阶段。D-optimal设计从完整配置网格中挑出一个子集,仍能估计每个因子的效应。研究覆盖八个基准,语料规模从5K到200K文档,另外在24个定向实验里补了138个非因子消融配置。
检索用NDCG@10打分。生成侧报告RAGAS v0.4的忠实度与答案相关性,由GPT-5.1评判,外加精确匹配、token级F1、p50/p95延迟和每次查询成本。所有配置的答案也由GPT-5.1生成。这里的忠实度衡量的是生成的说法是否有检索到的上下文支撑。
增益为什么会互相吃掉
看到一组获胜的消融,自然反应是增益会叠加。论文发现它们部分重叠:消融结果显示,重排本身已经提供了关闭MMR带来的部分过滤收益,两者组合时能帮上的空间就变小了。
平衡流水线不是孤例。把五项单独为正的检索技术全部纳入,缺口扩大到72%。在17种被测组合里,缺口从7%到72%不等,中位数41%。
流水线与生成器之间也有同类重叠。更强的生成器对最轻的流水线帮助远大于最重的流水线,生成器已经很强时,更重的栈买到的就更少。
还有第二重复杂之处。嵌入、富化和重排主导检索质量指标,查询增强和智能体门控主导答案忠实度。在匹配配置上,两个指标基本不相关,合并皮尔逊r为-0.01(p = 0.91)。在这项研究里,NDCG@10的增益几乎说明不了答案是否变得更有支撑。
证据里的几个反直觉细节
因子分析显示两个指标的分野同样明显。检索侧边际关联最大的是嵌入(η² = 0.164)、富化(η² = 0.144)和重排(η² = 0.090);忠实度侧领先的是查询增强(η² = 0.224)和智能体门控(η² = 0.217),嵌入和富化则可忽略(各自η² < 0.02)。作者注明这些值未做调整,只用于探索性筛选,且不可相加,因为设计不平衡、效应共享方差。
MMR平均让NDCG@10相对下降3.6%,与它在宽泛异构语料上的常见收益相反。
2019年的MS-MARCO MiniLM-L6交叉编码器排名高于所测的全部四个近期重排器。作者推测它的训练与这些聚焦领域对齐得特别好。
分块器选择在20种配置间跨越0.126的NDCG@10,36%的相对差异大于多数因子主效应。
语料规模会改变哪条流水线获胜。标准配置在5K和15K文档时领先,平衡配置从25K起领先。到200K时,平衡配置的NDCG@10相对高出13.7%,第5节给出p = 0.003,附录在Welch t检验下给出p = 0.004,两个值对应不同的检验或报告口径,该差距在两者下都显著。25K和100K的差距方向一致但统计功效不足。
两个智能体配置之间,平衡配置的NDCG@10比max-reliable高4.5%,忠实度只差0.005。第5节给出的响应时间优势为13%,附录给出平均响应时间低13.5%,两个数字与四舍五入相符。
正式的交互检验比标题数字更谨慎。预先声明的主交互假设H1未达成。一项在运行前就指定的聚焦后续分析确认查询增强×智能体门控的交互真实存在(p = 0.007),但远低于那条门槛。其偏η²为0.033,20种组合中有10种偏离可加性至少两个百分点。按研究自己的方差规则,0.033落在5%下限的“可加性成立”一侧。组合流水线远低于增益之和,而唯一被正式检验的交互仍低于作者事先设定的门槛。
边界在哪
作者把发现称为案例研究证据,把推导出的配置视为待进一步验证的候选,而非高风险部署的处方。基准集中在五个聚焦领域:生物医学、金融、科学、论辩和维基百科多跳问答。规模扩展用的干扰文档也来自同样五个领域,宽泛混合语料仍未被测。
忠实度依赖单一评判者GPT-5.1。第二位评判者仅中度一致(皮尔逊r = 0.44,Cohen's κ = 0.35),相对趋势站得住,但精确的忠实度分数取决于评判者。原始忠实度也部分由答案长度驱动。
假设是预先声明的,但没有作为第三方预注册提交。设计矩阵、逐查询分数和分析脚本不在公开版本中,可向作者索取。语料从5K到200K文档,更大的索引不在测量范围内。
动手之前先做一件事
在给RAG流水线再加一个环节之前,先在自己的语料上端到端测一遍组合后的流水线。检索质量和答案忠实度要分开跟踪,因为在这项研究里,一个几乎不跟随另一个。
如果一个环节只在单独消融里挣到了位置,先把它拿掉重跑整条流水线,再决定要不要为每一次查询付它的延迟。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.