乐产功场丨薛利华：RAG 出错别只截图吐槽，要能反查链路

【摘要】RAG 出错后，很多团队只在群里丢一张截图，说一句“又不准了”。截图能说明答案错了，却很难说明错在用户问法、资料检索、引用证据，还是答案生成。产品经理要推动团队把一次错误还原成可反查链路，留住关键记录，才能让问题能定位、能修复、能沉淀成样本。

试点群里，业务方发来一张截图：“这个答案又错了。”

截图里，员工问：“外地培训住宿到底怎么报？”系统给了一段看起来很完整的回答，还带了引用。业务方很不满意，觉得知识库都接了，怎么还会出错。技术同学想进一步排查，却发现只有一张最终答案截图：用户原话有没有被改写过，不清楚；系统当时查到了哪些资料，不清楚；引用的是哪一版制度，不清楚；正确资料有没有被召回，也不清楚。

会议很快变成了几种说法混在一起。有人说是模型不行，有人说是资料不准，有人说是检索没调好，也有人说用户问得太随意。每一种判断都可能有道理，但没有反查链路，团队很难真正知道该修哪里。

RAG 出错以后，产品经理要做的第一件事，不是把截图转给技术同学，然后等一句“我们看一下”。更关键的取舍是：这次错误只是一次吐槽，还是要沉淀成一个后续能复查、能定位、能修复的错误样本。

01｜只留截图，很难修

截图最容易收集，也最容易误导团队。它能记录用户看到的最终答案，却记录不了这句话是怎么来的。RAG 的答案不是凭空出现的，背后至少经过用户提问、检索召回、资料筛选、证据组织、模型生成、引用返回几段链路。只看最终截图，就像只看事故现场最后一帧，很多关键过程已经丢了。

比如系统回答错了培训住宿标准。截图里只能看到答案引用了差旅制度，但看不到系统有没有找到培训管理办法里的例外说明。也看不到正确资料是完全没被召回，还是被排在后面没有进入模型上下文。更看不到模型是否拿到了正确资料，却在生成时丢掉了适用条件。

这时如果团队只围绕截图讨论，很容易把所有问题都压成一句“RAG 不准”。业务方觉得系统不可靠，技术同学觉得缺少排查材料，产品经理夹在中间，很难推动具体修复。因为“答案错了”只是结果，不是可执行的问题。

产品经理要先把讨论往前拉一层：这张截图背后，能不能还原当时的链路？如果不能还原，就先补留痕机制。没有用户原问题、检索记录、引用来源和生成答案之间的关系，后面的修复就会变成猜。

02｜先还原用户怎么问

反查第一步，是还原用户当时到底怎么问。很多 RAG 错误并不是资料完全没有，也不一定是模型不会答，而是用户真实问法和知识库表达之间有错位。

用户可能问的是：“这种情况能不能报？”“客户已经拆封了还能退吗？”“这个权限去哪开？”这些问题很真实，但里面常常省略了主语、场景、身份、时间和条件。系统如果没有接住这些信息，就可能查到相邻资料，或者只回答问题里最显眼的部分。

产品经理在这里要推动团队保留几个最小信息：用户原话、用户角色、业务场景、关键条件和提问时间。用户是普通员工、客服、销售还是财务，会影响系统应该查哪些资料；问题发生在培训、出差、售后还是权限申请场景，也会影响资料范围。提问时间同样重要，因为制度、FAQ、产品手册可能已经更新。

例如“外地培训住宿怎么报”这句话，不能只按“住宿标准”去查。它里面至少包含“外地”“培训”“住宿”“报销”几个条件。若系统只命中差旅制度，没有命中培训管理办法，后面的答案就可能从一开始就偏。

这一步的价值，是把“用户乱问”改成可分析的问题：用户原话里哪些信息被系统接住了，哪些条件被忽略了，哪些表达需要补标签、同义词或问法映射。这样团队才知道该补真实问法样本，还是该调整资料表达和检索匹配。

03｜再看系统查到什么

用户问题还原之后，第二步要看系统当时查到了什么。RAG 的很多错误，表面是答案错了，实际发生在检索和排序阶段：该找的资料没有找回来，或者找回来了却排得太后。

产品经理不需要下场讨论具体算法，但要推动团队把检索结果摊开看。系统当时召回了哪些资料？正确资料有没有出现？旧资料、弱相关资料、相似场景资料有没有排在前面？被送进模型的到底是哪几段内容？这些问题，比一句“检索不准”更能推动修复。

比如员工问“试用期员工有没有年假”。知识库里可能同时有旧员工手册、新版制度和部门简化说明。系统如果召回了三份材料，但旧员工手册排在前面，新版制度排在后面，模型就可能生成一个看起来折中的答案。最终答案像是综合了多方依据，业务上却可能错了。

这里要区分两类问题。第一类是没找着：正确资料根本没被召回，可能要看资料是否入库、问法是否匹配、切片是否断开。第二类是找到了但没用上：正确资料出现了，却被旧资料或弱相关资料挤到后面，可能要看排序、过滤、版本字段和资料权重。

把这一步查清，团队就不会一上来就讨论换模型。模型再强，如果拿到的是旧资料、错资料、不完整资料，也很难生成可靠答案。

04｜继续核答案怎么错

当用户问题和检索结果都能还原出来，下一步才看答案本身怎么错。这里不是简单判断“回答对不对”，而是要拆出答案和证据之间的关系。

产品经理可以盯三类偏差。第一类是条件丢失，资料里写着“仅适用于正式员工”，答案却说成所有员工都适用。第二类是例外弱化，制度里有培训场景例外，答案却只引用了通用差旅标准。第三类是口径混合，新版制度和旧版制度同时进入上下文，最终答案把两套规则揉成一段很顺的表达。

引用也要一起看。系统有引用，不代表引用就能支撑答案。引用可能是旧版资料，可能只支撑答案里的一半判断，也可能和最终结论之间隔着一步推断。产品经理不需要把引用规范展开成完整体系，但在错误反查时，必须问一句：这条引用能不能支撑答案里最关键的判断？

比如系统回答“培训住宿按差旅标准报销”，引用的是差旅制度住宿标准表。这个引用支撑了“住宿标准”这一层，却没有支撑“培训场景是否适用”这一层。真正缺失的证据，可能在培训管理办法里。此时问题不只在答案表达，也可能在证据组合不完整。

走到这里，团队才能更准确地判断修复归口。若答案新增了资料里没有的判断，要看生成约束；若引用支撑不了关键结论，要看证据组织；若正确资料没有进入上下文，要回到检索和排序；若资料本身旧了或冲突，要回到资料治理。

05｜把错误变成样本

一次 RAG 错误如果只停留在群聊截图里，很快就会被下一次问题淹没。真正有价值的做法，是把错误沉淀成可复查的样本。

一个最小错误样本，至少要包含五类信息：用户原问题、用户场景、系统召回资料、最终引用来源、错误答案和正确口径。再往后，还要记录这次错误归到哪一层：资料没进库、资料版本冲突、切片断开、真实问法没接住、正确资料排序靠后、引用不支撑答案，还是生成时丢了条件。

有了这些字段，团队才知道该怎么修。资料问题归资料责任人，检索问题归索引和召回配置，排序问题归重排和过滤策略，答案组织问题归提示约束和证据组织，口径问题归业务责任部门确认。产品经理的作用，是把“RAG 不准”拆成能分派、能修复、能复查的动作。

这一步也能减少后续扯皮。业务方不再只说“又错了”，技术团队也不再只说“需要更多样本”。双方围绕同一条错误样本讨论：当时问了什么，系统查了什么，引用了什么，答案错在哪里，修复后要怎么验证这类问题不再复发。

RAG 出错并不可怕，真正可怕的是每次都只留下一张截图。截图只能说明用户看到错了，反查链路才能说明系统在哪一段出了问题。产品经理要推动团队把错误从吐槽变成样本，从样本变成修复动作，从修复动作变成下一轮更稳定的知识补给链路。下一篇，我们继续看：RAG demo 能跑，不等于可以全员开放。

#RAG #RAG设计 #错误反查 #链路归因 #错误样本 #知识库 #检索召回 #引用证据 #可信回答 #AI产品经理 #产品经理 #企业AI