RAG答错了,多数人的第一反应是改提示词,或者换个更大的模型。Hamel Husain 和 Shreya Shankar 把话说得很直白:“检索组件本身就是一个搜索问题。”模型压根没看到它需要的文本,换什么模型都白搭。
![]()
我此前已经搭过一个检索步骤,只是没把它当成 RAG。我想知道它到底管不管用,于是把那条查找规则复制进一个小型受控演示,先量它检索到了什么,再看模型拿着这些结果做了什么。
先看那个已经存在的检索
我的那加语生成器把英文帖子转成那加语,服务小商家。测试中通用 AI 模型处理那加语表现很差,所以翻译链路会给 Gemini 配一份词表。
流程是:先把英文简化成短句,再从短句里构造所有一到四词的短语,跳过停用词、极短词和数字的查找。每个短语作为精确键,去查我从公开词表编成的字典。没有模糊匹配,没有向量嵌入。字典里存的是“dish”,“dishes”就查不到任何东西。
命中的条目塞进 Gemini 提示词,只附一条指令:照原样使用。Gemini 就带着这份词表写那加语。这个查找就是检索,它决定模型看到什么,和文档问答里的向量搜索是一回事。而我从来没量过它——没有带标注的输入集,我说不出正确条目到底多大概率能进提示词。
把搜索单独打分
量检索根本不需要模型。你需要的是标签:每个输入对应哪些条目是正确答案所依赖的。然后纯代码就能数出回来了什么。Jason Liu 也讲过同样的点:检索指标“不需要 LLM 评估,能提供快速反馈循环”。
每个输入我数三样东西:
- 命中:需要的条目回来了。命中数除以需要数,就是召回率。
- 多余:回来了但不需要的条目。命中数除以全部返回数,就是精确率。
- 义项错误:字面匹配但语义不对的多余项,比如“save the date”里的水果“date”。它是多余项的子集,单独计数,因为破坏力最大。
一篇帖子的检索算完整,条件是所有需要的条目都回来了,且没有义项错误条目。其他多余项不破坏完整性,只体现在精确率上。
为了在不公开任何人字典、也不编造那加语的前提下测试,我搭了个小演示,用一份虚构的咖啡馆词表:25 个条目,比如 cold coffee → frosk mavi,cookie → dorpa。目标词是故意编的,模型没有理由事先认识它们,所以正确的词表词只有靠检索供给才能进入答案。这样就把检索失败和模型自身的语言知识隔离开了。
一共 24 条英文帖子,每条标注了它需要的条目,并按匹配类型打了标签。有一条帖子带两个标签(“Our weekend offer: two coffees for the price of one”既是短语又是复数),所以标签合计 25 个。代码、帖子、标签和运行记录都在 GitHub 上。
五种检索器,代码打分
同一批帖子上跑了五种检索器,全是纯代码:
- 精确匹配:我从那加语代码里复制过来的词表规则,每个一到四词短语按精确键查找。
- 归一化:同上,但两边都加一个小归一化器,处理复数、-ing 和 -ed。
- 模糊匹配:把每个条目和同长度的每个短语比对,用字符三元组的 Dice 相似度(共享的三字母块,计两次,除以总数),0.75 及以上算匹配。
- 归一化 + 模糊:两者任一命中的合集。
- 神谕:恰好是标注的条目。它不是真实检索器,用来展示检索完美时模型的表现。
我的精确规则能拿到所有“词和词表写法一致”的帖子,24 条里共 10 条。它拿不到任何复数和拼写错误。“Cookies”找不到“cookie”,“chocolte cake”找不到“chocolate cake”。真实帖子的真实词表里,这两种情况到处都是。
归一化修好了复数,模糊匹配修好了拼写错误,合起来达到 24 条里的 18 条。它们也拉进了不该拉的东西:“We are rolling out new opening hours”现在会检索到面包卷,“mint condition”会检索到薄荷。匹配越松,找对的越多,找错的也越多。没有标签,你只看得到前一半。
这些拼写规则认不出同义词。“Biscuits”永远不会靠拼写匹配上“cookie”,“food to go”永远不会匹配上“takeaway”。这正是语义检索能帮上忙的地方:嵌入能找出拼写漏掉的相关词。Anthropic 关于上下文检索的文章也指出了反向的问题:嵌入“可能漏掉关键的精确匹配”,所以关键词匹配和嵌入通常是组合使用的。
以上全都不需要调用模型,毫秒级跑完,而且在我看任何一条翻译之前,它已经告诉我词表步骤该改哪里。
然后才是模型
我拿三种检索器进生成测试:原始精确规则作基线,归一化 + 模糊作最好的真实检索器,神谕作完美检索参照。每种情况下,openai/gpt-oss-120b 经 Groq 重写每一条帖子,附上该检索器找到的条目,指令是每个词表词照原样使用。没设温度,推理保持模型默认。代码检查结果:每个需要的虚构词都在,没有义项错误词。2026 年 11 月 15 日跑了三次。
对每个检索器,每条帖子恰好落入三类之一:检索完整、漏掉一个需要的条目、没漏但回来了一个义项错误条目。没有帖子同时出现两种错误。
检索完整时,答案几乎总是对的:精确匹配每次都对,较松的检索器 18 次里对 16 到 18 次。检索漏掉条目时,每一次运行帖子都是错的。一部分是设计使然:模型猜不出“dorpa”。换成真实语言,它可能猜出一个自己已经认识的词,这不修复漏检,只是把漏检藏起来。
更有意思的失败是错误匹配。检索器返回了拼写匹配但语义不对的条目,模型就用了。它写出“Save the zimbo”和“our new seats are in lerpa condition”,照着“使用词表”的指令走,哪怕条目根本不该出现。精确匹配返回 2 个义项错误条目,归一化 + 模糊返回 3 个,三次运行共 15 次机会,模型用了错误条目 13 次。没用的那两次,它忽略了“rolling out”里的面包卷——这是正确判断,却和提示词要求的正好相反。
完美检索也不等于完美答案。拿到完全正确的条目,模型 24 条里对 19 到 21 条。它把“biscuits”和“latte”原样留着,没用 cookie 和 coffee 条目;有时保留“milkshak”的写法;两次把“dovra velt”拼成“davra velt”。这些是生成问题。神谕那一行就是把它们和搜索问题分开的东西。
神谕给了我一个天花板。即使检索每个条目都对,模型仍然会犯错,所以我现在有两个独立的问题要处理:什么进了提示词,以及模型拿它做了什么。没有神谕,这些失败在最终帖子里看起来一模一样。
所以搜索决定了大部分结果。搜索错了,答案就错了。
词表步骤我会改什么
这个演示是刻意照着我现有的查找规则建模的。它不能证明这些改动会改善真实的那加语翻译,但给了我具体的假设去测:
- 两边都归一化。复数和时态是演示里最便宜的漏检修复,真实帖子里也很常见。
- 加模糊匹配,阈值要看得见。商家帖子里的拼写错误很正常。阈值是个权衡,标签能显示它从哪里开始拉进错误条目。
- 给歧义条目加义项。date、roll、mint 这类词需要一条模型看得见的注释,或者一条规则:上下文不符就跳过。你给什么,模型就用什么。
- 用真实输入建标注集。从 20 到 30 条真实帖子起步,找一位说那加语的人核实每条需要哪些条目。另留一套测试集,免得调查找规则的同时也决定了它报出来的分数。
这不能证明什么
这是一个小型合成集:24 条帖子、25 个条目,由我标注。虚构词让检索在设计上就是决定性的。换成真实语言,模型可能已经认识一些词,这会掩盖检索漏检而不是修复它。归一化器和模糊阈值是在它们被打分的同一批 24 条帖子上手工调的,所以组合检索器的数字是概念验证,不是它在全新输入上表现的证据;留出集才能测那个。而且只有一个模型、三次运行。
它展示的是方法,而且很便宜:标注每个输入需要什么,用代码给搜索打分,然后再看答案。
给要做 RAG 的人的建议
- 写下应该返回什么。每个测试问题,正确答案依赖哪些段落或条目。
- 先给检索打分,再读答案。召回率、精确率、错误匹配,用代码数。
- 保留关键词匹配。微软的混合搜索文档指出,产品编码、行话、日期和人名“用关键词搜索表现更好”。别用嵌入替换它;当标签显示两者各自解决不同问题时,把它们组合起来。
- 跑一次神谕。把正确段落直接交给模型,看它还会错什么。那才是更好的提示词或模型能修的部分,其余都是搜索。
RAG 评估不必从 LLM 裁判或又一轮提示词工程开始。从搜索开始。写下应该检索到什么,量实际回来了什么,再看把模型需要的东西原样给它之后,什么发生了变化。
如果检索完美答案还是错,你面对的是生成问题。在那之前,更大的模型可能只是一种更贵的、把搜索问题藏起来的方式。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.