网易首页 > 网易号 > 正文 申请入驻

RAG知识库和传统知识库到底有什么区别?

0
分享至




RAG知识库和传统知识库的核心区别在于检索方式:传统知识库靠关键词匹配,RAG靠语义理解。传统知识库能找到"包含这个词"的文档,RAG能找到"回答这个问题"的内容。这个差异看起来不大,但在企业实际使用中,体验完全不同。

这篇文章从技术原理、架构对比和企业落地三个层面把两者的区别讲清楚。

一、传统知识库的工作原理

传统企业知识库(如Confluence、SharePoint、Wiki)的检索核心是倒排索引 + 关键词匹配。你输入"采购流程",系统在索引表里查"采购"和"流程"这两个词出现在哪些文档中,按出现频率排序返回。

底层用的是BM25或TF-IDF算法,本质是统计词频:



这种方式的优点是快、准、可解释——返回的文档一定包含你搜的词。但缺点也很明显:

·搜不到同义词:文档里写的是"供应商管理",你搜"供应商考核",可能搜不到

·理解不了上下文:搜"退货流程",传统知识库把所有含"退货"的文档都返回,不管是不是讲流程的

·不能生成答案:只返回文档列表,用户得自己翻文档找答案

·不能跨文档关联:答案分散在3个文档里,传统知识库无法整合

说白了,传统知识库是个"图书管理员"——你报书名它帮你找书,但你问"这本书第三章讲什么",它答不了。

二、RAG知识库的工作原理

RAG(Retrieval-Augmented Generation,检索增强生成)知识库的检索核心是向量化 + 语义检索。它不匹配关键词,而是匹配"意思"。

完整的工作流程是这样的:

文档上传 → 文档分块(Chunking) → 向量化(Embedding) → 存入向量数据库

用户提问 → 问题向量化 → 向量检索(Top-K) → 大模型生成答案


图1:RAG知识库完整工作流程

每一步的技术细节:

1. 文档分块(Chunking)

把长文档切成小段落(通常256-1024个token)。分块策略直接影响检索质量:

·固定长度分块:每500字切一段,简单但可能切断语义

·按段落/标题分块:按文档结构切,语义更完整

·滑动窗口分块:相邻块有重叠(如overlap=100字),避免边界信息丢失

企业实践中,按段落/标题分块 + 滑动窗口效果最好。表格和流程图需要特殊处理,不能简单按文本切。

2. 向量化(Embedding)

用Embedding模型把每个文本块转成一个高维向量(通常768或1536维)。语义相近的文本,向量距离也近。



常用Embedding模型:



3. 向量检索

用户提问后,把问题也转成向量,然后在向量数据库中找最相似的Top-K个文本块。常用向量数据库:Milvus(开源,支持十亿级向量)、Qdrant(轻量,适合中小规模)、Chroma(本地开发友好)、PGVector(PostgreSQL插件,适合已有PG的企业)。

4. 大模型生成

把检索到的Top-K文本块 + 用户问题一起发给大模型,大模型基于这些上下文生成答案。这一步是RAG和传统知识库最大的体验差异——用户得到的是答案,不是文档列表。

三、5个核心区别




图2:传统关键词检索 vs RAG语义检索效果对比

四、企业落地的3个关键问题

1. 分块策略怎么选?

分块是RAG效果好坏的第一道分水岭。分太大,检索精度下降;分太小,语义不完整。

实践经验:

·规章制度类文档:按条款分块,每条一个chunk

·技术手册类文档:按章节标题分块 + 200字overlap

·FAQ类文档:一个Q&A一个chunk

·表格数据:整表保留为一个chunk,不做拆分

·通用建议:chunk大小256-512 token,overlap 10-20%

2. 要不要用混合检索?

纯向量检索在处理专有名词、产品型号、人名时会翻车——这些词的语义向量可能不够区分。比如"产品A-100"和"产品A-200",向量可能很接近但实际是两个不同产品。

解决方案是混合检索(Hybrid Search):向量检索 + 关键词检索,两路结果融合排序。




图3:混合检索(Hybrid Search)融合排序流程

混合检索的召回率比纯向量检索高15-30%,在企业知识库场景强烈建议使用。

3. 知识库更新后要重新向量化吗?

看更新方式:

·新增文档:只需对新文档分块 + 向量化,增量插入向量数据库,不影响已有数据

·修改文档:需要重新分块被修改的文档,删除旧向量,插入新向量

·更换Embedding模型:必须全量重新向量化,因为不同模型的向量空间不兼容

建议设计增量更新机制:文档变更时自动触发分块→向量化→更新流程,不需要全量重建。全量重建只用于Embedding模型升级或知识库初始化。

FAQ

Q:RAG知识库和传统知识库是替代关系吗?

A:不是替代,是增强。很多企业的做法是传统知识库做文档管理(版本控制、权限管理、协作编辑),RAG做智能检索和问答。两者可以共存:传统知识库是底层存储,RAG是上层检索和生成能力。文档存在Confluence里,RAG系统通过API读取Confluence内容做分块和向量化。

Q:RAG知识库的检索准确率能达到多少?

A:取决于文档质量、分块策略和Embedding模型。在文档结构化程度较高的企业场景(如规章制度、技术手册),Top-5召回率通常能达到85-95%。但对于非结构化的聊天记录、会议纪要,准确率会降到70-80%。混合检索可以把准确率提升5-15个百分点。

Q:搭建一个企业RAG知识库需要多久?

A:使用开源框架(LangChain + Milvus + bge模型),基础版2-3周可以跑通。但要达到生产可用的准确率,通常需要1-2个月的分块策略调优、检索参数调优和prompt优化。文档预处理(清洗、格式统一)往往是最耗时的部分。

Q:RAG知识库需要多大的存储空间?

A:以10万篇文档(平均每篇2000字)为例:原始文本约200MB,分块后约500MB(含元数据),向量化后约2-3GB(1024维 × 5万个chunk × 4字节)。加上向量数据库索引,总存储约5-8GB。这个量级用Chroma或Qdrant本地部署就够了,不需要分布式方案。

总结

传统知识库解决"文档在哪"的问题,RAG知识库解决"答案是什么"的问题。企业落地时不必二选一,用传统知识库做存储底座,RAG做智能检索层,是当前最务实的架构。

声明:个人原创,仅供参考

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
伊布:身为梅西球迷很骄傲,但本届世界杯仿佛专为阿根廷铺冠军之路

伊布:身为梅西球迷很骄傲,但本届世界杯仿佛专为阿根廷铺冠军之路

体育闲话说
2026-07-17 06:35:20
日本这次为了亚运会砸了两千多亿日元,怎么也没想到

日本这次为了亚运会砸了两千多亿日元,怎么也没想到

小马姨
2026-07-12 17:16:02
阿根廷总统拒现场观看世界杯决赛!迷信解释:我在家看梅西没输过

阿根廷总统拒现场观看世界杯决赛!迷信解释:我在家看梅西没输过

风过乡
2026-07-17 21:11:58
美国突然发现:中了中国"圈套",反应过来已经晚了!美军太疲惫

美国突然发现:中了中国"圈套",反应过来已经晚了!美军太疲惫

小兰聊历史
2026-07-17 00:57:07
法国:向中国下单3万台空调!结果劲使大了,3天半搞完2万台

法国:向中国下单3万台空调!结果劲使大了,3天半搞完2万台

热点背后的故事
2026-07-17 07:00:50
不打垮中国不罢休?内鬼身份曝光让人意想不到!还好结局大快人心

不打垮中国不罢休?内鬼身份曝光让人意想不到!还好结局大快人心

阿策聊实事
2026-07-04 04:37:57
今日重要赛事!7月17日,CCTV5、CCTV5+直播节目表

今日重要赛事!7月17日,CCTV5、CCTV5+直播节目表

薇说体育
2026-07-17 10:35:29
刘烨和刘亦菲的表演太传神了,不像演的,太贴近生活了

刘烨和刘亦菲的表演太传神了,不像演的,太贴近生活了

娱你同欢
2026-07-16 23:29:17
印度没想到,抢夺安理会席位第四天,中国突然表态了,措辞很简单

印度没想到,抢夺安理会席位第四天,中国突然表态了,措辞很简单

浮黎礼
2026-07-17 12:40:08
抛下日本,主席首访选中国,却罕见贸易逆差,背后是“神逻辑”!

抛下日本,主席首访选中国,却罕见贸易逆差,背后是“神逻辑”!

新财迷
2026-07-17 10:01:43
你们都是什么时候对男女之事开窍的?网友:果然还是拦不住有心人

你们都是什么时候对男女之事开窍的?网友:果然还是拦不住有心人

夜深爱杂谈
2026-02-21 21:37:02
若阿根廷夺冠,将创4大历史!意大利地位不保,梅西有望超越贝利

若阿根廷夺冠,将创4大历史!意大利地位不保,梅西有望超越贝利

麦子的篮球故事
2026-07-17 17:46:30
美股存储板块盘前拉升 闪迪、美光股价收复所有跌幅 SK海力士涨超3%

美股存储板块盘前拉升 闪迪、美光股价收复所有跌幅 SK海力士涨超3%

财联社
2026-07-17 19:52:05
1.3亿巨星赛后动手遭全网怒喷!完整画面曝光,球迷:我也忍不了

1.3亿巨星赛后动手遭全网怒喷!完整画面曝光,球迷:我也忍不了

往史过眼云烟
2026-07-17 19:31:20
不出意外,下半年开始,大米、面粉、食用油将迎来行业新一轮洗牌

不出意外,下半年开始,大米、面粉、食用油将迎来行业新一轮洗牌

慕名而来只为你
2026-07-16 22:45:14
伊朗要彻底打败美国,办法只有一个,就是将战火直接烧到美国本土

伊朗要彻底打败美国,办法只有一个,就是将战火直接烧到美国本土

农夫史记
2026-07-15 22:30:56
嫁到印度却以侮辱中国为业的郑墨沫,第五次入境中国被拒,太好了

嫁到印度却以侮辱中国为业的郑墨沫,第五次入境中国被拒,太好了

侠客栈
2026-07-17 13:43:56
郭富城方媛一家五口抵达杭州,郭天王罕见抱小女儿,互动温馨有爱

郭富城方媛一家五口抵达杭州,郭天王罕见抱小女儿,互动温馨有爱

小椰的奶奶
2026-07-17 12:16:43
停播!央视《小芳》剧情引大众热议:乡土题材切莫突破公序良俗底线

停播!央视《小芳》剧情引大众热议:乡土题材切莫突破公序良俗底线

昨日关注
2026-07-15 06:42:25
上海程序员失业被裁,老婆宁愿净身出户也要离婚,有房贷存款为0

上海程序员失业被裁,老婆宁愿净身出户也要离婚,有房贷存款为0

捣蛋窝
2026-07-15 23:47:53
2026-07-17 21:51:00
逐米时代
逐米时代
专注于实体企业可信数据与AI智能体的服务商
199文章数 0关注度
往期回顾 全部

科技要闻

Kimi K3突然登顶!价格也涨到了美国档

头条要闻

武契奇称支持乌领土主权完整 俄议员:他要对得起良心

头条要闻

武契奇称支持乌领土主权完整 俄议员:他要对得起良心

体育要闻

30亿欧对决,世界杯季军战毫无意义?

娱乐要闻

曲婉婷自爆患癌!全网喊“苍天绕过谁”

财经要闻

梁文锋不需要天才

汽车要闻

把中国超跑卖到英国,比亚迪正在被世界看见

态度原创

时尚
旅游
亲子
数码
本地

放暑假的中学生,挤满医院整形科

旅游要闻

黑龙江开行首趟“铁旅融合·清凉龙江”旅游专列

亲子要闻

什么是在生活里教孩子的“自然发展行为干预”?

数码要闻

亮源新创姜旭:世界模型的最终目标是让机器人理解并参与物理世界

本地新闻

十年了,为什么鬼怪CP还能让人美美嗑上?

无障碍浏览 进入关怀版