为什么你的智能客服总是答非所问？

你有没有遇到过这种情况：AI回答得头头是道，但你听完只想摔键盘——因为它说的完全是另一家公司的事？

这就是Andrej Karpathy没填上的坑。

维基百科式幻觉

Karpathy有个很流行的判断：大语言模型正在成为新维基百科。问"什么是梯度下降"，直接问模型就行，何必费劲建检索管道？GPT-4比你家文档讲得清楚多了。

这话对了一半。

但知识工作的真相是：你要查的不是"梯度下降是什么"，而是"我们Q3定价模型定了什么方案""哪个客户上个月报过这个错误""Salesforce集成的当前状态是什么"。

这些从来不在任何模型里，也永远不会在。

问题一沾上你的具体语境——你的决策、你的客户、你的代码、你的历史——就必须检索。模型负责推理，但它需要你的数据来推理。

检索教程的昂贵陷阱

大多数RAG教程的问题，是默认塞给你最贵的那套方案。

每个查询都走嵌入。每个查询都碰向量索引。每个查询都跑完整管道，哪怕它答过一百遍。缓存？可选。关键词精确匹配？不演示。值0.003美元的路由决策？提都不提。

结果： hobby项目跑得挺顺，生产环境月底账单教你做人。

关键洞察是：不是每个查询都需要向量搜索。

"给我看上周标记财务的文档"——这是SQL查询。"找提到GPT-4o的内容"——这是BM25。"我们对流失模式了解多少"——这才是完整向量管道。如果前两类覆盖了40%的真实查询，全走嵌入就是纯浪费。

V4版本的做法是先分类查询意图：SQL / BM25 / VECTOR / GRAPH / VISION / OCR，再路由到对应路径。测试显示，这比全走向量平均砍掉71%的嵌入成本。贵的路径只在真需要时才跑。

堆栈选择：能省则省

具体技术栈如下：

全放Cloudflare。没有Pinecone账号。没有OpenAI的嵌入账单。没有Redis缓存。缓存直接用CF Cache API，全球分布，合理用量内免费。

成本估算：日查询1000次，智能路由下约0.11美元/月。日查询10000次，1-5美元/月。Workers免费 tier 每天前10万次请求免计算费。

被低估的反思层

反思层的重要性超出预期。

标准RAG检索文档，但不学习。每次查询从零开始，不积累、不修正、不记住什么有效什么无效。

实际系统需要一层轻量反馈：这个答案有用吗？用户后续行为是什么？哪些检索策略在特定查询类型上表现更好？

这不是复杂的强化学习，是结构化的日志+周期性复盘。但大多数RAG架构图里，这块直接空白。

为什么这很重要

企业知识检索的战场不在"能不能答"，而在"答的是不是我这摊事"。通用模型的知识边界清晰可触——就是你的内部文档开始的地方。

填这个坑不需要更贵的模型，需要更聪明的路由、更清醒的架构取舍、以及对"我的数据在哪"的诚实面对。检查你的RAG管道：有没有在不该用向量搜索的地方烧钱？有没有缓存？有没有记录答案是否真有用？

省下来的71%成本，够你跑很多轮迭代了。