学RAG的人常卡在同一个问题上:既然最后都是把文本丢给大模型让它回答,为什么中间非要转成向量、存进数据库?直接把文字发过去不行吗?
![]()
这个问题不蠢,恰恰问到了RAG的分工边界。先把流程走一遍,答案自己就浮出来了。
RAG到底在干什么
RAG全称检索增强生成。说白了,就是让模型用你自己的文档回答问题,而不是只靠它训练时记住的东西。
比如你给公司搭了个AI助手,上传了几百份产品资料、用户手册、常见问题和公司制度。员工问"怎么重置密码",系统不会指望模型天生就知道你们公司的重置流程,而是先去文档里找到相关内容,再交给模型生成答案。
一次提问的完整链路是这样的:用户提问,系统在已存文档里搜索相关文本,取出最相关的部分,把它和原问题一起送给大模型,模型读完再生成回答。
为什么不把一万份文档全塞进去
假设公司有10000份文档。有人问密码怎么重置,把一万份全发给模型会带来四个麻烦:
- 成本:文本越多token越多,API费用越高
- 时间:每个问题都处理上千份文档,响应更慢
- 上限:模型单次请求能处理的文本量有上限
- 噪音:模型收到大量它根本用不上的信息
所以需要的不是"全给",而是一种只挑出相关信息的手段。
向量解决的是"换个说法就搜不到"
用户问"怎么重置密码",文档里写的却是"忘记登录凭证时如何恢复访问"。词不一样,意思几乎一样,普通关键词搜索很可能匹配不上。
向量就是文本的数值表示,帮计算机比较语义。意思相近的句子,向量通常也相近,哪怕用词完全不同。这样就能按含义检索,而不只是对关键词,这种做法叫语义搜索。
具体做法是:把文档切分成小块,用向量模型把每块转成向量,再把原始文本、向量和元数据一起存进数据库。用户提问时,只把问题转成向量,拿它去库里找相似内容,取回对应的原文,再连同问题送给模型。
这里有个关键点容易搞混:送给大模型生成答案的是原文,不是向量。向量只负责找,不负责答。
为什么不每次现算向量
一万份文档,如果每次提问都重新生成一遍向量,等于把同样的活反复干。所以文档向量只生成一次并存储,新问题来了只算问题那一个向量。文档有改动,就更新对应的分块和向量。
数据库返回的也不只是那串数字。因为原文和向量存在同一条记录里,搜索命中向量时,数据库会把关联的原文一起还给你。
向量为什么不能直接喂给模型
既然向量代表语义,为什么不把数字直接发给模型让它回答?
原因很直接:向量是为搜索和比较语义设计的,不是为阅读和理解原文设计的。一句话可能被转成几百上千个数字,这些数字能帮你找到相似内容,却不包含模型能直接读懂的那句话本身。模型需要的是"员工享有20天年假"这样的原文,不是一串小数。
为什么问题也要一起发
检索到的文档可能同时写着"员工享有20天年假,病假每年限10天"。同一份材料,面对"年假有几天"和"病假有几天"两个问题,答案完全不同。只发文档,模型不知道用户到底想问哪一条。
问题和原文一起发,前者告诉模型用户想知道什么,后者提供回答所需的信息,缺一不可。
三个组件各司其职:向量模型把文本转成可比较的数字,向量数据库存这些数字并找出相似内容,大模型读检索到的原文并生成人话回答。
RAG的目的从来不是帮模型理解文本,模型本来就会。它解决的是在庞杂文档里先找到对的那一段,再交到模型手上。存向量不是因为模型需要,是因为我们需要一种高效的方式,在提问之前把信息捞准。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.