网易首页 > 网易号 > 正文 申请入驻

文档一改检索就变差?两个检查能塞进CI

0
分享至

大多数RAG系统的测试方式都差不多:有人问几个问题,答案看着还行,系统就上线了。然后某份文档改了,某个分块参数被调了,没人发现检索变差,直到用户来投诉。


这类问题大部分可以在CI里拦住,靠两个检查:检索有没有找到正确的文档,答案里有没有包含该有的事实。下面这套小实现用Node内置的测试运行器跑,零依赖。

思路:先攒一份真实问题集

维护一个小文件,里面放真实问题。每个问题记下两样东西:应该回答它的那份文档,以及答案里必须出现的一个短语。再放几个"文档里根本没有答案"的问题,这类问题的正确反应是承认找不到。

之后每次改动都跑两类检查:检索检查,看预期文档是否出现在结果前列;答案检查,看最终答案是否包含必需短语,或者是否老实说不知道。

作者在AI Hive平台做开发,他的说法是:在调任何参数之前,第一件该让团队建起来的东西就是一份存下来的问题集。

代码:检索器可以换,测试结构不变

示例里的检索器是对三份文档做朴素关键词匹配,答案函数直接返回命中文档的原文。这两处换成真实的索引和模型调用即可,测试结构原样保留。

语料只有三条:退款政策(收货后14天内、未使用商品可退)、标准配送时效(境内3到5个工作日)、保修(电子产品12个月制造缺陷保修)。

检索函数先做分词,去掉停用词,按问题词与文档词的重合数量打分,取前k条且分数大于0的结果。答案函数取第一条命中,没有命中就返回"我在文档里没找到"。

测试用例共四条,三条有答案、一条没有:

  • 退款问题,预期文档为退款政策,答案必须含"14 days"
  • 配送问题,预期文档为配送时效,答案必须含"3 to 5 business days"
  • 保修问题,预期文档为保修,答案必须含"12 month"
  • "你们卖宠物礼品卡吗",预期文档为空,答案必须含"couldn't find"

第一个测试算命中率:在有预期文档的用例里,看预期文档是否出现在k=2的结果中,命中率低于0.9就断言失败。第二个测试逐条检查答案是否包含必需短语。用node --test rag-eval.test.js运行,检查失败会以非零码退出,CI任务跟着失败。

第一次运行就抓到了问题

作者第一版检索器没通过自己的测试。"你们卖宠物礼品卡吗"这个问题命中了退款文档,原因是文档里出现了"for"这个词。评估是对的:一个没有答案的问题,被自信地给出了答案。

加一份简短的停用词表就修好了。放到真实流水线里,同类故障的表现是向量索引对一个它答不了的问题返回了看似合理的结果。这种用例恰恰值得留一条永久测试。

让检查真正有意义

问题要用真实的,不要用对着文档写出来的。从客服工单或搜索日志里捞,每隔几周刷新一次。"无答案"用例必须保留,用户最难堪的失败就出在这里。

阈值要设得能自圆其说。小规模问题集上0.9的检索命中率是底线,不是目标。问题越加越多就往上抬,掉下来就让构建失败。问题文件放进同一个仓库做版本管理,改动按代码来评审——为了让测试通过而删掉一个问题,等于删掉一份bug报告。

这套检查覆盖不到什么

字符串检查只能告诉你事实在不在,管不了答案写得好不好、全不全。这部分可以每月人工过一小批样例,或者在信任之后加一个模型打分检查。先从便宜的检查做起,它们失败得快,成本为零。

放在哪里跑

测试和流水线放同一个仓库,任何触及文档、分块参数、提示词或模型版本的拉取请求都触发运行。文档不在这个仓库,就每晚跑一次。无论哪种方式,把失败的问题打印进CI日志,看到红灯的人不用打开文件就知道哪条挂了。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
WTA公布赛季年终奖金榜:郑钦文收入超249万美元,为收入最高中国球员;世界第一莱巴金娜超1113万美元居首,安德列娃、萨巴伦卡分列二三位

WTA公布赛季年终奖金榜:郑钦文收入超249万美元,为收入最高中国球员;世界第一莱巴金娜超1113万美元居首,安德列娃、萨巴伦卡分列二三位

大风新闻
2026-11-18 14:26:01
一场2-2!揪出国足4大“水货” 表现拉胯 恐被邵佳一弃用 球迷:卧底

一场2-2!揪出国足4大“水货” 表现拉胯 恐被邵佳一弃用 球迷:卧底

球场新视角1号
2026-11-18 07:14:28
俄罗斯记者赴深报道APEC,提前换好现金,最后一分没花:太先进了

俄罗斯记者赴深报道APEC,提前换好现金,最后一分没花:太先进了

行者聊官
2026-11-18 11:55:37
今年养老金调整或按下暂停键,但明年的底子已经摆出来了,看看

今年养老金调整或按下暂停键,但明年的底子已经摆出来了,看看

社保小达人
2026-11-17 11:17:09
父母真看不出孩子被夺舍?网友:不是看不出,是不愿揭穿

父母真看不出孩子被夺舍?网友:不是看不出,是不愿揭穿

夜深爱杂谈
2026-11-17 20:32:15
从新产品到新场景,首发经济不止于开店

从新产品到新场景,首发经济不止于开店

新华社
2026-11-17 16:17:14
APEC不能破例!外宾安保敢搞特殊?中国可一票否决,美国也要服从

APEC不能破例!外宾安保敢搞特殊?中国可一票否决,美国也要服从

铁锤简科
2026-11-18 11:04:17
国足2比2战平巴林,邵佳一的水平明显比伊万低一个档次

国足2比2战平巴林,邵佳一的水平明显比伊万低一个档次

李广专业体育评论
2026-11-17 22:03:44
60 岁于东来英国考察归来,接受《河南日报》专访坦言:差距依旧很大,敢于正视自身短板

60 岁于东来英国考察归来,接受《河南日报》专访坦言:差距依旧很大,敢于正视自身短板

秋风妃
2026-11-18 13:12:39
三星杯决赛首局李钦诚速胜,先声夺人拿到赛点

三星杯决赛首局李钦诚速胜,先声夺人拿到赛点

行舟问茶
2026-11-18 14:13:48
美国卡住C919发动机后,世界才发现,中国造出了一台更好的

美国卡住C919发动机后,世界才发现,中国造出了一台更好的

混沌录
2026-11-17 19:43:30
赛义德用杰佛逊《古兰经》宣誓遭打脸:那是打你海盗先祖用的

赛义德用杰佛逊《古兰经》宣誓遭打脸:那是打你海盗先祖用的

移光幻影
2026-11-18 11:47:34
中国绝不会接受本土遭到攻击后,还陪着你打所谓的 "有限战争"

中国绝不会接受本土遭到攻击后,还陪着你打所谓的 "有限战争"

迷彩人生
2026-11-13 10:25:30
共和党威胁取消对乌克兰仅剩的支持,除非民主党放弃对赫格塞思和特朗普的新监督

共和党威胁取消对乌克兰仅剩的支持,除非民主党放弃对赫格塞思和特朗普的新监督

山河路口
2026-11-18 12:48:25
又一癌症疫苗迎来重大突破,股价暴涨

又一癌症疫苗迎来重大突破,股价暴涨

东方豪侠
2026-11-18 08:50:06
2012年,太原公安局长李亚力想保酒驾儿子,偷偷将89mg酒精检测改成66mg,甚至抹掉袭警情节

2012年,太原公安局长李亚力想保酒驾儿子,偷偷将89mg酒精检测改成66mg,甚至抹掉袭警情节

磊子讲史
2026-11-13 17:21:50
福建省代省长郭宁宁主持召开全省食品安全暨“校园餐”整治专题会议:要保持高压严打态势,坚持执法必严、违法必究,重拳惩治违法违规行为

福建省代省长郭宁宁主持召开全省食品安全暨“校园餐”整治专题会议:要保持高压严打态势,坚持执法必严、违法必究,重拳惩治违法违规行为

新京报政事儿
2026-11-18 10:12:02
今日重要赛事!11月18日,央视CCTV5、CCTV5+节目表

今日重要赛事!11月18日,央视CCTV5、CCTV5+节目表

薇说体育
2026-11-18 10:42:18
我表妹在暨南大学见到全红婵,她说全红婵根本就不像网上说的那样。现实生活中的全红婵,肉眼看上去一点都不觉得胖。皮肤很白,人非常可爱

我表妹在暨南大学见到全红婵,她说全红婵根本就不像网上说的那样。现实生活中的全红婵,肉眼看上去一点都不觉得胖。皮肤很白,人非常可爱

背包旅行
2026-11-17 21:26:39
山东大师王兴夫被抓捕归案,99名女徒弟揭露内幕,真相让人意外

山东大师王兴夫被抓捕归案,99名女徒弟揭露内幕,真相让人意外

诡谲怪谈
2025-03-25 17:25:18
2026-11-18 16:36:49
爬虫饲养员
爬虫饲养员
业余养了只叫“龙虾”的AI爬虫,主业是给互联网打工。
205文章数 88关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

时尚
旅游
教育
健康
公开课

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

旅游要闻

秋假遛娃剑门关,全程17000步,6个小时,喜提废腿体验!

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

情绪真能让健康人"伤心至死"?

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版