网易首页 > 网易号 > 正文 申请入驻

客服AI说退款14天,真政策是30天,错在哪一步?

0
分享至

一个客服助手告诉客户:"您有14天时间申请退款。"真实政策写的是30天。同一场演示里,它还引用了一段只有法务部门才能看的合同条款。

英文表达很流畅。问题出在它拿到的页面本身就是错的。这正是RAG(检索增强生成)要解决的问题,而它的每个阶段,各自修复的是一种不同的故障。

下面这个例子是合成的,分数是编的。它展示的是一种模式,不是基准测试结果。

思路:开卷考试

一个从没见过你文件的AI会去猜,而且猜得很有自信。RAG让它在回答之前先翻到正确的页面。查资料成本低,而且永远是最新的。重新训练则会在政策变更当天就过时。

你的文档提前归档一次,切成块,每块都标注谁可以读。之后每个问题都要经过下面这几个阶段。

各阶段,以及各自怎么坏

  1. 搜索。混合搜索同时按语义和精确词匹配,再把分数混合起来。
    故障:精确的代码或名称找不到。语义搜索对"V-7731"这类字符串很弱。
    修复:加上关键词搜索。
  2. 权限检查。提问者无权阅读的页面被丢弃,依据是随每个块存储的访问清单。
    故障:提问者看到了不该看的页面。
    修复:在构建提示词之前就过滤。AI无法复述它从未收到的东西。
  3. 重排序。一个更慢、更仔细的阅读器对搜索找到的页面重新排序。
    故障:正确的页面找到了,但排名太低塞不进去。提示词里只能放几页。
    修复:加一个重排序器。
  4. 写作。规则、排名靠前的页面和问题一起进入同一个提示词,AI给出回答。
    故障:出现了一个任何页面里都没有的数字。
    修复:要求它只根据页面回答、注明来源,并说"我不知道"。

一个完整算例

问题是:"企业版客户有多长时间申请退款?"共四个页面,分数是编的,范围0到1。只有排名前3的页面会送到AI面前。

只按语义匹配,FAQ胜出,现行政策被切掉。答案含糊,而且那个仅限法务的页面进了提示词。

改成一半语义、一半关键词:

  • 现行政策:0.5 × 0.74 + 0.5 × 0.95 = 0.845
  • 旧政策:0.5 × 0.82 + 0.5 × 0.55 = 0.685
  • 营销FAQ:0.5 × 0.88 + 0.5 × 0.35 = 0.615

现行政策升到第一,答案变成30天。重排序器从另一个阶段得到同样的结果:它给现行政策打0.97,给旧政策打0.30。

只有权限过滤器能移除那个仅限法务的页面。

该怪哪个阶段?

按顺序检查:上架(块大小)、搜索、权限检查、重排序、写作。早期的故障会掩盖后面的故障。先读进入提示词的那些页面,因为一个错误的数字,可能来自过期的页面,也可能是AI自己编的。

几点说明

  • 真实分数来自模型,真实系统还会增加步骤,比如先改写问题。
  • 重排序器只能看到搜索返回的页面。如果搜索从未找到正确页面,重排序器救不回来。
  • 提示词里的一条规则,比如"绝不泄露机密",是一个请求,不是一把锁。要在构建提示词之前就强制执行访问控制。

这一章配有一个交互实验,可以开关混合搜索、重排序器和权限过滤器,观察答案如何变化。大约12分钟,免费。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
彻底踢到铁板!特朗普断粮、中美俄齐点名,欧洲最后的遮羞布碎了

彻底踢到铁板!特朗普断粮、中美俄齐点名,欧洲最后的遮羞布碎了

军机不可泄漏
2026-11-21 16:41:34
又瘦了!张子宇17分钟14+7率队二连胜 国青队友:她的进步太大了

又瘦了!张子宇17分钟14+7率队二连胜 国青队友:她的进步太大了

颜小白的篮球梦
2026-11-21 07:32:25
利库德集团提组阁条件,要求内塔尼亚胡独任总理并支持打击伊朗

利库德集团提组阁条件,要求内塔尼亚胡独任总理并支持打击伊朗

界面新闻
2026-11-21 11:51:25
江西一新娘临时加8万彩礼,新郎扭头就去取钱,新娘到娘家后慌了

江西一新娘临时加8万彩礼,新郎扭头就去取钱,新娘到娘家后慌了

涛哥讲堂
2025-01-10 14:13:19
轰动全国的“91大神”庭审细节曝光,炸翻无数人

轰动全国的“91大神”庭审细节曝光,炸翻无数人

鸣金网
2026-10-18 14:17:30
特朗普宣布重大决定:计划在卸任前发布“大规模赦免”?

特朗普宣布重大决定:计划在卸任前发布“大规模赦免”?

黑翼天使
2026-11-20 13:57:16
《伟大的长征》里最败笔的选角,把陈赓大将演成了混混,毫无军人气质!

《伟大的长征》里最败笔的选角,把陈赓大将演成了混混,毫无军人气质!

娱乐故事
2026-11-19 23:25:20
纳指再次跌超5%,历史数据表示单月第三次出现的概率超七成...

纳指再次跌超5%,历史数据表示单月第三次出现的概率超七成...

CLabs加密观察
2026-11-21 09:45:20
聊聊你祖宗干的好事儿有多精彩!网友:我爸80年代差点被满门抄斩

聊聊你祖宗干的好事儿有多精彩!网友:我爸80年代差点被满门抄斩

夜深爱杂谈
2026-11-06 21:52:01
油价【继续大跌】,汽柴油大降“超0.63元/升”,11月“先涨后跌”的油价,11月26日或再“大跌向500元/吨”

油价【继续大跌】,汽柴油大降“超0.63元/升”,11月“先涨后跌”的油价,11月26日或再“大跌向500元/吨”

油价早知道
2026-11-21 05:44:47
37岁爸爸带11岁白血病儿子在武汉跑网约车,被投诉后挂提示牌恳请包容

37岁爸爸带11岁白血病儿子在武汉跑网约车,被投诉后挂提示牌恳请包容

黄河新闻网吕梁
2026-11-21 15:03:07
1963年,已经94岁的蒋妙月,向中央提出,说想去台湾,去见一见蒋介石,毛主席指示:“好好安排一下,礼送入台吧!”

1963年,已经94岁的蒋妙月,向中央提出,说想去台湾,去见一见蒋介石,毛主席指示:“好好安排一下,礼送入台吧!”

扶苏聊历史
2026-11-18 13:35:05
激战凌晨打响,伊朗火力全开收割战果,美军溃败,特朗普不再嘴硬

激战凌晨打响,伊朗火力全开收割战果,美军溃败,特朗普不再嘴硬

墨子翟的日记y
2026-11-18 11:05:57
黎曼猜想真被Claude证明了?陶哲轩邓煜等菲尔兹奖得主回应!

黎曼猜想真被Claude证明了?陶哲轩邓煜等菲尔兹奖得主回应!

智东西
2026-11-21 07:16:31
法国着急访华,王毅把地点改在大同,给马克龙带回了一句至理箴言

法国着急访华,王毅把地点改在大同,给马克龙带回了一句至理箴言

墨兰史书
2026-10-13 19:45:04
何涛(女)出任西南医科大学党委书记

何涛(女)出任西南医科大学党委书记

高教网
2026-11-21 09:30:03
BLG内部坚决不要ELK,viper回LCK概率无限接近100%

BLG内部坚决不要ELK,viper回LCK概率无限接近100%

记录生活日常阿蜴
2026-11-21 06:23:17
俄媒:北约参与袭击克里米亚大桥

俄媒:北约参与袭击克里米亚大桥

参考消息
2026-11-20 10:56:39
35分钟轰38+9!韩旭刷爆纪录,王思雨也不差,宫鲁鸣会感到欣慰吧

35分钟轰38+9!韩旭刷爆纪录,王思雨也不差,宫鲁鸣会感到欣慰吧

萌兰聊个球
2026-11-21 15:59:53
神秘“华人”爆料,某岛上钱色交易不值一提,深层次的秘密才可怕

神秘“华人”爆料,某岛上钱色交易不值一提,深层次的秘密才可怕

林林故事揭秘
2024-12-25 12:24:41
2026-11-21 18:08:49
报错免疫体
报错免疫体
一名在需求评审和数据异常中反复横跳的产品运营。
239文章数 87关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

家居
亲子
本地
艺术
公开课

家居要闻

2026建博会(广州) 公装联探展交流活动

亲子要闻

宝宝必看的5个启蒙动画,豆瓣评分都是在9.0以上

本地新闻

乌兰察布:以前种土豆,现在种Token

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版