网易首页 > 网易号 > 正文 申请入驻

为什么你的RAG一上生产就翻车?四个坑和一套分阶段打法

0
分享至

概念验证阶段跑得好好的RAG,一进真实企业环境就彻底失灵。原因不神秘,四个环节各埋了一个坑,每个坑都有对应的专业修法。


坑一:垃圾进,垃圾出。基础RAG会直接翻原始文件——PDF、扫描件、没格式的表格。页眉页脚、表格里零散的单元格被当成一整块文本塞进去,数据库很快被"垃圾"污染。修法是搭一条数据布局解析流水线,用OCR和文档智能工具清洗数据、识别表格、把格式摆正。

坑二:切块切断了上下文。基础系统按固定字符数切分,一张报价表或一句关键政策条款可能被拦腰截断,数据直接作废。修法是语义切块或层级切块,按上下文的自然断点、文档标题或句子来切。

坑三:只会向量相似度搜索。用户查一个错误码、零件号或政策条款,向量检索常常忽略这个具体词,返回一堆不相关的内容。修法是混合检索加重排:向量搜索搭配传统关键词搜索(BM25),既抓意图也抓具体ID,再用重排算法给结果打分。

坑四:没有访问控制。基础RAG把所有公司文档塞进一个大索引,初级员工问一句公司薪资或高管邮件,AI照单全收。修法是文档级访问控制(ACL),检索系统必须核对用户在企业环境里的查看权限。

落到工程上,切块策略对系统准确率的影响往往比嵌入模型或大模型本身还大。生产环境的常见建议是:递归或结构化切块,块大小300-512个token,重叠50-100个token(约10-20%);用父子块保留结构;技术文档别把代码和解释拆开,法律政策别把条款拆开;先量出基线表现,再考虑语义切块或大模型切块。

检索侧已经越过纯向量搜索。混合检索(稠密加稀疏/BM25)能同时提升召回和精度,遇到带具体ID、生僻词或行话的查询尤其明显。做法是先用混合检索拿到更大的候选集,用元数据过滤控制权限和新鲜度,再用交叉编码器对头部候选重排——加一个重排环节,准确率收益明显,延迟增加有限。

查询不该一视同仁。生产系统会做分类路由、查询扩展(HyDE式或多查询)、多索引多工具,以及"我不知道"的兜底场景。复杂的多跳或对比类查询可以用轻量智能体模式,但要等检索本身跑顺之后再上,智能体模式成本不低,得算清投入产出。

生成环节要用有依据的提示词,约束大模型只使用上下文里给出的信息,并要求它标注来源;引用要结构化,且能回溯到检索到的块。输入输出都要有护栏,做PII和越界检测。条件允许就上多模型:简单查询用便宜快的模型,复杂综合用强模型。生成过程要可审计。

评估和可观测性上,测不了就改不动。可用RAGAS等工具测上下文精度/召回、忠实度、相关性、延迟(P95)、引用和用户信号,把评估接进CI/CD自动化,准备一套真实问题的黄金集,生产环境用大模型裁判加人工抽查监控样本,整条流水线做分布式追踪,方便定位坏答案出在哪一环。常见目标是忠实度0.85-0.90以上、上下文精度0.75-0.80以上,延迟控制在可接受范围。

安全与治理决定这套系统能不能被信任:检索阶段就限制文档和块的访问,做好多租户、加密和审计,谨慎处理PII,支持删除,知识要可追溯。原有的数据漏洞在生产环境会被放大,访问控制必须早做——基于元数据过滤,确保用户只能看到自己有权限的文档。

规模化阶段,最好的基础设施和缓存机制往往比换最新模型更能压延迟:共享和复制向量索引,注意分片和复制方式,避免语料增长拖慢响应;用语义缓存和热门查询缓存压token成本;采用多模型架构;在频繁重建索引和数据新鲜度之间找平衡;从第一天就按可观测性来设计,扛得住高并发和冷启动。

落地建议分三步走:

  1. 打好基础:锁定一个具体用例,清洗数据,建一套50到100+条问答的测试集,把切块策略和元数据标签调到位。
  2. 准备上生产:改进检索,上混合搜索和重排,加安全屏障、访问限制、引用和模型防护,配好监控。
  3. 再谈优化:基础稳了再加查询改写、层级检索、多模态和有限的智能体方案。

一套扎实的生产级RAG带来的是复利式收益:专家响应更快、支持工单减少、合规性改善、员工离职后知识仍留在公司,还能成为搭建更高级AI智能体的跳板。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
邝港智口供炸裂:谭方骏喜欢的人是他 蔡天凤再婚是为钱 谭家知情

邝港智口供炸裂:谭方骏喜欢的人是他 蔡天凤再婚是为钱 谭家知情

八卦宝宝
2026-11-19 16:06:38
难以置信!上海网友分享闺蜜每周六独自开钟点房休息做手工,还鼓励丈夫独自“开钟点房”,引发热议

难以置信!上海网友分享闺蜜每周六独自开钟点房休息做手工,还鼓励丈夫独自“开钟点房”,引发热议

火山詩话
2026-11-19 06:50:50
宁德向理想一天发3封要钱邮件 :战略合作伙伴的体面,是按“封”计算的!

宁德向理想一天发3封要钱邮件 :战略合作伙伴的体面,是按“封”计算的!

城事堂
2026-11-19 08:54:42
A股突然收在3577点,信号非常强烈,明天周五,或将迎来新的变化

A股突然收在3577点,信号非常强烈,明天周五,或将迎来新的变化

云鹏叙事
2026-11-19 15:04:23
缴不起、不愿缴、不合适:"社保扩面"的三重错配

缴不起、不愿缴、不合适:"社保扩面"的三重错配

六子吃凉粉
2026-11-19 13:37:01
中方:强烈不满,坚决反对!若美方执意妄为,中方将采取反制措施

中方:强烈不满,坚决反对!若美方执意妄为,中方将采取反制措施

巷北楠猫本尊
2026-11-19 12:30:32
深圳女高管和每一任男友发生关系前,都要先拉他去体检,防止被传染

深圳女高管和每一任男友发生关系前,都要先拉他去体检,防止被传染

江山挥笔
2026-11-19 14:15:33
保利集团紧急声明:如有发现,请尽快报案

保利集团紧急声明:如有发现,请尽快报案

南方都市报
2026-11-18 08:31:03
日俄见面了!普京只给30分钟,高市当面说的话,让俄罗斯不咋高兴

日俄见面了!普京只给30分钟,高市当面说的话,让俄罗斯不咋高兴

共工之锚
2026-11-19 11:05:09
知名网站创始人突发急性心梗,回家路上突然胸背剧痛,送医几分钟后心脏骤停......刚刚,团队发文

知名网站创始人突发急性心梗,回家路上突然胸背剧痛,送医几分钟后心脏骤停......刚刚,团队发文

都市快报橙柿互动
2026-11-19 11:01:52
中方紧急通知!死亡人数已有5505人,无特效药,中国人务必小心

中方紧急通知!死亡人数已有5505人,无特效药,中国人务必小心

米果说识
2026-11-19 10:11:07
日媒称高市早苗在机场受到中方“简朴迎接”引发关注,外交部:作为东道主,中方根据国际惯例,对所有参会方作出适当的礼宾安排

日媒称高市早苗在机场受到中方“简朴迎接”引发关注,外交部:作为东道主,中方根据国际惯例,对所有参会方作出适当的礼宾安排

政知新媒体
2026-11-19 15:22:03
厚颜无耻!世间怎会有如此无耻之人!自己申办2036年奥运会没底气

厚颜无耻!世间怎会有如此无耻之人!自己申办2036年奥运会没底气

果妈聊娱乐
2026-11-19 11:16:39
永州女局长风波偃旗息鼓:一个多月过去,官宣核查下,公众还要等多久

永州女局长风波偃旗息鼓:一个多月过去,官宣核查下,公众还要等多久

十为先生
2026-11-18 15:41:00
悲催!网传江苏经营20余年企业老板群内卖惨,称下月发不出工资,劝说员工自行离职另寻出路

悲催!网传江苏经营20余年企业老板群内卖惨,称下月发不出工资,劝说员工自行离职另寻出路

火山詩话
2026-11-19 19:00:24
腾讯:元宝不及预期,已大幅削减投入;WorkBuddy已是“中国使用量最高的AI产品”,有用户每月花4万买token

腾讯:元宝不及预期,已大幅削减投入;WorkBuddy已是“中国使用量最高的AI产品”,有用户每月花4万买token

大风新闻
2026-11-19 10:40:03
马斯克到底多喜欢小儿子!又又又带他来中国玩了

马斯克到底多喜欢小儿子!又又又带他来中国玩了

可达鸭面面观
2026-11-19 18:04:43
突发!黄仁勋败了,一切都结束了!

突发!黄仁勋败了,一切都结束了!

财经要参
2026-11-19 14:10:40
特朗普面对中国,有三个“不敢相信”。第一个不敢相信,是中国的“反常理性”,其次是中国的“扩张性”,而最难以置信的,就是稳定性了

特朗普面对中国,有三个“不敢相信”。第一个不敢相信,是中国的“反常理性”,其次是中国的“扩张性”,而最难以置信的,就是稳定性了

扶苏聊历史
2026-11-19 15:51:44
黄仁勋回归无望?英伟达召开全员大会,宣布全员加薪、坚持换帅

黄仁勋回归无望?英伟达召开全员大会,宣布全员加薪、坚持换帅

DeepTech深科技
2026-11-19 09:56:08
2026-11-19 20:52:49
摸鱼算法
摸鱼算法
致力于用最前沿的AI技术,换取更多发呆时间的三十岁青年。
250文章数 79关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

艺术
时尚
亲子
手机
家居

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

亲子要闻

宝宝气人但是聪明的4个行为

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

家居要闻

2026建博会(广州) 公装联探展交流活动

无障碍浏览 进入关怀版