北京
一个客服机器人答对了40%的工单，剩下的转人工，它是有用的。另一个机器人答对了95%，剩下5%答错——它是一台退款政策诉讼制造机。
大多数客服机器人演示优化的都是错的那个数字：机器人回答了多少工单。真正会伤到你的数字，是有多少错误答案送到了客户面前。所以设计问题不是"怎么让模型回答"，而是"什么时候该没收模型的发送键"。
核心原则只有一句：自动发送是必须挣来的例外，转人工才是默认值。
第一道闸：没有证据，就没有答案
先检索文档。如果没有任何内容达到最低相似度分数，在调用大模型之前就直接转人工。这比让模型"谦虚一点"更便宜也更安全——当手边有一个看似合理的答案时，模型很不擅长说"我不知道"。
第二道闸：强制引用，结构化输出
提示词要求模型只依据检索到的文档作答、标注文档编号，如果文档帮不上忙就返回一个明确的空答案。客户输入的文本被当作不可信数据处理。输出解析不了？转人工。答案为空？转人工——"模型拒绝回答"本身就是一个完全合格的结果。
第三道闸：拒绝检索从未产出的引用
这一步最常被跳过。模型可以很自然地引用一个你根本没检索到的文档编号。必须把引用和实际放进上下文的文档编号做比对：没有引用，或者引用了幽灵文档，答案一律不许发出。草稿答案仍然附在决策记录上，人工可以从这里接着改。
第四道闸：硬规则优先，再看阈值
有些类别无论模型听起来多自信都不该自动化：紧急工单、法律威胁、拒付。分诊环节提前打上优先级，紧急工单永远转人工。走完硬规则，才轮到置信度阈值。
这里有个必须大声说清楚的提醒：模型自报的置信度是一个信号，不是校准过的概率。这正是前三道闸全部采用确定性检查、不依赖模型自我评估的原因，也是第四道闸的阈值必须靠测量而不是靠猜的原因。
该测的指标：自动发送里的错误率
普通准确率会掩盖你真正在意的东西。关键指标是：在我们发出去的回复里，有多少是错的？把一个机器人本可以答的工单转给人工，是一次漏判，代价是人工几分钟。自动发出一条烂答案，代价高得多。所以两者要分开统计。
黄金测试集声明每个用例应该发生什么：该答的必须包含哪些事实、必须引用哪份文档；该转的必须转。一条自动发送的回复，只要用例本应转人工、答案缺少必需事实、或引用了错误文档，就算错。
这样调参才是一个看得见的真实权衡：调高阈值，错误率下降、漏判上升；调低则相反。选一个团队能接受的点，文档或模型一变就重新测。
黄金集本身也要说一句：示例里那个是合成的、极小。你自己的黄金集应该来自真实脱敏工单，样本量远不止七个。别从一个玩具集的数字里读出任何结论。
闸门之外还得配的东西
- 调用第三方大模型之前先脱敏，把邮箱、卡号这类信息从工单文本里剥掉。
- 保留人工抽检自动发送的回复。闸门降低错误答案，不能消除。
- 把原因字符串记进日志。"置信度0.55低于阈值"和"引用缺失或无效"会告诉你该拉哪根杠杆。
这套模式本身是免费的：检索、要求引用、验证引用、对高风险类别硬转人工、其余走阈值、再测量发出去的东西里有多少错。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
