网易首页 > 网易号 > 正文 申请入驻

Anthropic把RAG做成乐高积木

0
分享至


去年有组数据挺有意思:用Claude API做RAG的开发者里,73%卡在第一步——不是模型调不好,是向量数据库的接口文档看得头疼。Anthropic和Supabase这次联手,把整套流程压成了三行配置。

这不是技术突破,是用户体验的降维打击。

传统RAG像装修毛坯房。你得选嵌入模型、搭向量库、写相似度算法、再缝进LLM上下文窗口——每一步都能踩坑。Anthropic的新方案把中间层全包了,开发者只负责两头:扔文档进去,拿答案出来。

Step 1:Supabase变成"智能文件柜"

打开Supabase的SQL编辑器,粘贴这段代码:

create extension if not exists vector;

create table documents (

id bigserial primary key,

content text not null,

metadata jsonb,

embedding vector(1536)

create index on documents using ivfflat (embedding vector_cosine_ops) with (lists = 100);

三行指令做完三件事:激活pgvector插件、建表、给1536维向量加索引。1536这个数字对应Anthropic自家的voyage-3嵌入模型,换别的模型得手动改维度——算是唯一的"自定义项"。

ivfflat索引的lists=100是个经验值。数据量小可以调低,百万级文档往上加。Supabase的文档没告诉你的是,这个参数直接影响查询速度和召回率的 trade-off,调错了会出现"明明有答案却搜不到"的灵异bug。


Step 2:分块策略比模型更重要

官方示例给了个512token分块+50token重叠的配置。这个数字背后是血泪教训:

chunkSize太大,单块塞进太多主题,相似度计算会"稀释"关键信息;太小又可能把一句话砍成两半,上下文断裂。512是Anthropic内部测过的甜点区,覆盖大多数技术文档和知识库场景。

代码实现用了最朴素的分词方式——按空格切单词。中文用户得自己换jieba或者别的分词器,这是示例没提的坑。

export function chunkText(text, chunkSize = 512, overlap = 50) {

const words = text.split(/\s+/);

const chunks = [];

for (let i = 0; i < words.length; i += chunkSize - overlap) {

const chunk = words.slice(i, i + chunkSize).join(' ');

if (chunk.trim()) chunks.push(chunk);

return chunks;

重叠区的50token是保险机制。假设一段关键信息正好落在边界,重叠能保证它被至少一个完整chunk捕获。代价是存储成本涨10%左右,但召回率提升通常值得。

Step 3:Claude API的"上下文注射"


检索端做完相似度搜索,拿到Top-K chunks,下一步是塞进Claude的prompt。Anthropic的 trick 在这里:不是简单拼接,而是用XML标签给每块打标记,让模型分清"知识来源"和"用户问题"。

系统prompt大概长这样:

Here are relevant documents:

{{#each chunks}}

{{content}}

{{/each}}

Answer based on these documents. If unsure, say you don't know.

XML标签是Claude的祖传手艺。GPT系列用markdown格式更顺手,但Claude对结构化标记的解析精度明显更高——这可能是Anthropic坚持这套方案的原因之一。

整个pipeline的延迟分布:嵌入查询~200ms,向量检索~100ms,Claude生成~2-5s。瓶颈永远在最后一环,所以前期检索的质量直接决定用户体验。召回错一块,模型会顺着错误上下文一本正经地胡说。

生产环境的隐藏成本

示例代码是玩具级别。真上生产得补几样东西:重试机制(Anthropic API偶发超时)、速率限制(embedding和生成是分开的配额)、缓存层(相同查询直接返结果)。

还有个没写在文档里的细节:voyage-3的嵌入质量和OpenAI的text-embedding-3-large打平,但价格只有1/5。这对高频写入场景是决定性优势——有些团队每月embedding账单能从四位数压到三位数。

Supabase的pgvector在单表百万行以下表现稳定,再往上建议分片或者换专用向量数据库。官方没给这条建议,但GitHub issue区里有人测过,500万行之后IVF索引的查询延迟会从100ms跳到800ms。

这套方案最聪明的地方是把"选择"变成了"默认"。不让你纠结用哪个向量库、哪种索引、怎么分块——全部给定,不满意再改。对想快速验证RAG价值的团队,这是最低摩擦的路径。

有个开发者在Hacker News的评论被顶到了前排:「我花了三周用LangChain搭RAG,bug一堆。用这套方案两天上线,现在只想把LangChain的代码删了。」

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
CBA排名大调整,广东大胜冲第一,辽宁连败第八都困难

CBA排名大调整,广东大胜冲第一,辽宁连败第八都困难

宗介说体育
2026-03-30 14:14:55
澳门世界杯:公园大妈打法,64岁选手吓袁嘉楠一跳,球拍异形

澳门世界杯:公园大妈打法,64岁选手吓袁嘉楠一跳,球拍异形

真理是我亲戚
2026-03-30 21:16:21
味多美正在遭遇北京人的抵制

味多美正在遭遇北京人的抵制

微言微评
2026-03-31 07:31:36
已经赛季报销,24岁天才后卫又被裁掉!只因说了不该说的话

已经赛季报销,24岁天才后卫又被裁掉!只因说了不该说的话

德译洋洋
2026-03-31 11:55:56
广州长隆动物园“忧郁”淋雨狮子走红!园区回应:淋雨是动物天性,每日都有体检, 无需过度担心

广州长隆动物园“忧郁”淋雨狮子走红!园区回应:淋雨是动物天性,每日都有体检, 无需过度担心

大象新闻
2026-03-30 20:45:08
苹果京东旗舰店将于4月1日开启“Apple 50周年庆”直播活动

苹果京东旗舰店将于4月1日开启“Apple 50周年庆”直播活动

IT之家
2026-03-30 23:01:56
54年一万多名志愿军战俘抵台湾,蒋经国亲自接站,激动说不出话来

54年一万多名志愿军战俘抵台湾,蒋经国亲自接站,激动说不出话来

鉴史录
2026-03-30 21:46:24
“生女儿的,再厉害也是给我儿子服务!”家长低认知发言,被群嘲

“生女儿的,再厉害也是给我儿子服务!”家长低认知发言,被群嘲

妍妍教育日记
2026-03-30 18:56:05
大衣哥前儿媳陈亚男订婚!老公近照帅气,情商高但比朱小伟矮

大衣哥前儿媳陈亚男订婚!老公近照帅气,情商高但比朱小伟矮

裕丰娱间说
2026-03-30 18:37:53
拉莫斯40岁生日:求职被拒?干脆把塞维利亚买下来!

拉莫斯40岁生日:求职被拒?干脆把塞维利亚买下来!

仰卧撑FTUer
2026-03-30 15:35:04
解放战争为何拖不得?真相残酷:对手误判实力,我们抓住了窗口期

解放战争为何拖不得?真相残酷:对手误判实力,我们抓住了窗口期

未来展望
2026-03-29 20:08:08
男生不愿娶的女生职业排行:第1名看似可怕,但男人最怕的是第3名

男生不愿娶的女生职业排行:第1名看似可怕,但男人最怕的是第3名

品读时刻
2026-03-31 09:10:58
郑丽文访陆!卢秀燕紧急切割,赖清德提要求,赵少康说了一句狠话

郑丽文访陆!卢秀燕紧急切割,赖清德提要求,赵少康说了一句狠话

共工之锚
2026-03-31 00:16:37
2026年村干部工资大涨!村支书一月到底能领多少?

2026年村干部工资大涨!村支书一月到底能领多少?

复转这些年
2026-03-30 12:47:19
单依纯演唱会48小时限时退票:无任何手续费,无任何扣款,无责无损

单依纯演唱会48小时限时退票:无任何手续费,无任何扣款,无责无损

扬子晚报
2026-03-31 07:10:49
张雪峰去世头七,曝电动车还停在公司楼下,与女儿珍贵合影曝光

张雪峰去世头七,曝电动车还停在公司楼下,与女儿珍贵合影曝光

180视角
2026-03-30 14:18:21
何穗带儿子逛公园,孩子被赞白到堪比混血儿,眉眼像妈懵表情像爸

何穗带儿子逛公园,孩子被赞白到堪比混血儿,眉眼像妈懵表情像爸

陈意小可爱
2026-03-31 06:52:51
轻取爵士!哈登13+14+6,莫布里轰34+17,但骑士要去东部第三了

轻取爵士!哈登13+14+6,莫布里轰34+17,但骑士要去东部第三了

巴叔GO聊体育
2026-03-31 11:43:33
焦泊乔换沈梓捷?两人遭遇雷同,交易规则曝光,球迷:有好戏看了

焦泊乔换沈梓捷?两人遭遇雷同,交易规则曝光,球迷:有好戏看了

萌兰聊个球
2026-03-31 09:41:18
2.3亿!什么是历史级天赋?大伤让他从状元变14号秀,仍能签顶薪

2.3亿!什么是历史级天赋?大伤让他从状元变14号秀,仍能签顶薪

你的篮球频道
2026-03-31 09:17:06
2026-03-31 12:23:00
我是一个粉刷匠2
我是一个粉刷匠2
有态度网友ytd
507文章数 4关注度
往期回顾 全部

科技要闻

尚未正式宣发,国行苹果AI半夜"意外闪现"

头条要闻

牛弹琴:中东新的大麻烦来了 特朗普又盯上了新目标

头条要闻

牛弹琴:中东新的大麻烦来了 特朗普又盯上了新目标

体育要闻

想进世界杯,意大利还要过他这一关

娱乐要闻

丝芭传媒举报鞠婧祎:瞒报收入竟达85%

财经要闻

高薪内推藏陷阱!"招转培"骗局盯上求职者

汽车要闻

16万级最强2.0T 全新一代瑞虎9来了

态度原创

亲子
艺术
教育
公开课
军事航空

亲子要闻

科普|“忌口”可能是错的?—— 重新认识儿童食物过敏与免疫耐受

艺术要闻

石涛『野色册』

教育要闻

信息社会责任培养② | 理论基石与范式转型:数智时代信息社会责任教育内涵的理解与探究

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

第三艘航母出动数千名士兵抵达 美军大举增兵中东战场

无障碍浏览 进入关怀版