网易首页 > 网易号 > 正文 申请入驻

20万行里只占10行,小客户的RAG搜索九成空手而归

0
分享至

多租户RAG应用最常见的写法,是把所有客户的文本块塞进一张表、配一个HNSW索引,然后这样查:


SELECT * FROM documents WHERE metadata->>'user_id' = $1 ORDER BY embedding <=> $2 LIMIT 10;

看起来没问题,对大客户也确实基本没问题。但对只上传了一份PDF的客户,这条查询经常什么都不返回。

有人不想靠直觉,直接在真实的PostgreSQL 17.12加pgvector 0.8.7上搭了基准测试,又读了12个开源AI框架的pgvector存储代码,把每个框架实际发出的查询在同一张表上重放了一遍。

测试怎么搭的

一张表,20万行,128维向量,约2100个租户。租户规模按齐夫分布,少数大租户加一条长长的长尾。另外专门放了只拥有1、10、100、1000、10000行的探针租户,每种规模跑60次查询。索引用pgvector默认的HNSW(m=16,ef_construction=64),k=10。

标准答案用numpy在租户自己的行上做精确余弦搜索,每次运行都拿Postgres顺序扫描核对。HNSW构建有随机性,所以每个数字都是3次独立建索引的平均值。这张表上不过滤的recall@10是0.91到0.92,索引本身没毛病。

核心数字

租户ID放在JSONB元数据里——大多数框架的写法——按租户规模看recall@10:只有一份文档的客户,十次搜索里有九次返回空结果。又快又空,所以没人发现:不报错,聊天机器人只是说它不知道。

原因在HNSW和WHERE的配合方式。索引沿图走,返回全表范围内ef_search个最近的行(默认40),Postgres再在之后应用过滤。如果你的租户在20万里只占10行,这10行落进全局最近40行的概率很小。Postgres也没法退回到更聪明的做法,因为metadata->>'user_id'没有统计信息,规划器只能假设一个通用选择率,然后对所有租户都选HNSW索引,不管大小。

好消息是结果从没跨租户泄漏。测过的每种策略都只返回租户自己的行,失败永远是缺行。

框架实际发的是什么

逐个读各存储的当前源码,抄下它的搜索查询,再用该存储自己创建的索引在同一张表上重放。1行、10行、100行租户的结果里,好几行数字完全一样——这不是抄错,执行计划就是同一个:HNSW配ef_search=40,过滤条件怎么写都返回同样的40个候选,然后过滤器把大部分扔掉。

重放的可信度取决于抄得对不对,所以对其中一个存储还直接跑了库本身:langchain-postgres自带的asimilarity_search_by_vector加user_id过滤,同样的行,两次建索引下1行租户拿到0.05到0.12,其中88%到95%的搜索返回空,和重放一致。

另外三个存储压根没走HNSW。Letta存4096维向量,超过pgvector的2000维索引上限,搜索是精确的(它的标签过滤在LIMIT之后用Python跑,这是另一种返回不足的方式)。Semantic Kernel .NET默认用flat索引,等于没有向量索引。Vercel AI SDK的RAG指南按1 - (embedding <=> q) DESC排序,EXPLAIN显示它根本不用指南让你建的HNSW索引——那个是对的,只是慢。

12个存储里没有一个在主分支上设置hnsw.iterative_scan,honcho有一个开着的PR把它打开。

预编译语句的坑

Semantic Kernel是那一行里最有意思的。它过滤的是真实的tenant_id列,有统计信息,Postgres本该看出租户很小、走顺序扫描加精确排序。用普通查询它确实这么干:recall 1.00。

然后驱动开始预编译语句。psycopg 3在执行5次后预编译,PostgreSQL JDBC驱动默认同样如此,asyncpg则全部预编译。预编译语句先拿5个定制计划,之后如果看起来更便宜,Postgres就切到一个通用计划。这里确实更便宜,而通用计划对所有租户都用HNSW。recall掉到同样的0.10 / 0.08。

这是偶然发现的。第一次跑用的是psycopg,查了几次之后小租户突然开始返回空。花了一会儿才意识到数据没变,变的是计划。plpgsql函数里也一样,比如Supabase的match_documents(),因为plpgsql用同样的方式缓存计划。那个0.19只是最初几次调用的成绩。

怎么修

以下数字都在通用计划下,因为大多数应用最终会落到那里:

  • 迭代扫描有帮助,但对最小的租户,默认max_scan_tuples=20000大约一半的时候在扫到它们的行之前就停了,而且到那时花的时间已经比顺序扫描还多。调高上限能到0.87,代价是每次查询三分之一秒。
  • 在过滤键上建索引,是通用计划下对所有规模都有效的修法。CREATE INDEX ON documents (tenant_id),JSONB则用CREATE INDEX ON documents ((metadata->>'user_id')),用@>过滤就上GIN jsonb_path_ops索引。Postgres只读该租户的行并精确排序。小租户0.15毫秒,10000行租户5.4毫秒。
  • 定制计划下规划器仍会把较大租户送进HNSW,所以光建索引它们原地不动(10000行租户停在0.88)。Supabase的match_documents()配GIN索引能同时看到两头:1行和10行租户1.00(从0.19和0.08上来),100行0.98,大租户0.89 / 0.88。这正是iterative_scan该上场的地方,也是两者都该开的原因。

有一个例外,mem0撞上了。mem0把JSON键绑成参数:payload->>%s。计划还是定制的时候,payload->>'user_id'上的表达式索引能用,但psycopg一预编译,键变成$1,索引不再匹配,recall回到0.10。把键内联成字面量(校验之后),索引每次都能匹配。mem0上一个已关闭的PR #7607做的就是这件事,带上它之后每种租户规模都是1.00。

只按租户做哈希分区,在通用计划下救不了小租户(0.26和0.32);加上relaxed_order后达到1.00,耗时15到21毫秒。

真实应用里该怎么做

  1. 把租户放进真实列,或者至少给你存储实际发出的那个JSON表达式建索引。
  2. 用plan_cache_mode = force_generic_plan对你的搜索查询跑EXPLAIN。如果过滤条件只匹配几行、计划却是HNSW扫描,你就中了这个bug。
  3. 把hnsw.iterative_scan也打开。对大租户很便宜,还能兜住规划器照样送进HNSW的那些规模(1000行租户从0.78到0.98,10000行从0.88到0.93)。
  4. 拿你最小的客户去测,不是最大的。

边界条件

一台机器(2 vCPU、4 GB内存),一种表规模,128维,合成向量。真实文本嵌入的聚集方式不同,具体数字预计会变。但机制预计成立,因为它来自执行计划:20万里挑40个候选,很少能包含一个10行的租户。延迟只是在这台机器上比较策略,不是容量数据。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
北京将建设步行和自行车友好城市,打造无机动车街区

北京将建设步行和自行车友好城市,打造无机动车街区

新京报
2026-11-17 17:00:05
网传早在2020年我国财政供养人员高达6846万,网友说体制内人员在2020年后高速暴涨!

网传早在2020年我国财政供养人员高达6846万,网友说体制内人员在2020年后高速暴涨!

黯泉
2026-11-17 19:13:08
中国人的“大G”来了,29.99万级真男人座驾!

中国人的“大G”来了,29.99万级真男人座驾!

米粒说车唯一呀
2026-11-16 15:00:04
美国记者站在深圳街头惊叹不已,真正让美国害怕的,从来不是速度

美国记者站在深圳街头惊叹不已,真正让美国害怕的,从来不是速度

讲者普拉斯
2026-11-17 21:55:42
《多喜一家人》央视开播!看完4集,我敢说:与《伟大的长征》相比,观众会断崖式下跌!

《多喜一家人》央视开播!看完4集,我敢说:与《伟大的长征》相比,观众会断崖式下跌!

Haha闲聊
2026-11-17 12:37:53
女秘书穿成这样!天天在你的办公室里走来走去,你挺得住吗

女秘书穿成这样!天天在你的办公室里走来走去,你挺得住吗

史海流年号
2026-11-13 16:44:46
被丈夫满文军揭发,服刑11个月重获自由,李俐为何出狱7年才离婚

被丈夫满文军揭发,服刑11个月重获自由,李俐为何出狱7年才离婚

梦醉为红颜一笑
2026-11-17 18:57:37
父母真看不出孩子被夺舍?网友:不是看不出,是不愿揭穿

父母真看不出孩子被夺舍?网友:不是看不出,是不愿揭穿

夜深爱杂谈
2026-11-17 20:32:15
薇娅找了个好老公,东南亚的生意做大了,一年入账 34 亿

薇娅找了个好老公,东南亚的生意做大了,一年入账 34 亿

起点财经
2026-11-17 08:46:25
再这么搞下去,中国烟草员工的内退潮或将无可避免

再这么搞下去,中国烟草员工的内退潮或将无可避免

别人都叫我阿腈
2026-11-17 04:40:56
蒙古一夜变天,总统不到24小时被赶下台,换个总统邻国还是这个样

蒙古一夜变天,总统不到24小时被赶下台,换个总统邻国还是这个样

影孖看世界
2026-11-17 22:57:04
宋雨琦,巴掌大的肚兜抹胸

宋雨琦,巴掌大的肚兜抹胸

东方不败然多多
2026-11-18 04:49:01
“我儿子敢这样穿,我上去就是一巴掌”,一套低认知穿搭火了

“我儿子敢这样穿,我上去就是一巴掌”,一套低认知穿搭火了

熙熙说教
2026-11-16 18:19:14
今年最火的“过冬战袍”,把冲锋衣挤下桌

今年最火的“过冬战袍”,把冲锋衣挤下桌

DT商业观察
2026-11-17 12:12:24
郑丽文:绝不放弃武力护台,洪秀柱表态:两岸和平不能回避统一

郑丽文:绝不放弃武力护台,洪秀柱表态:两岸和平不能回避统一

混沌录
2026-11-17 22:34:08
北风进京 气温走低

北风进京 气温走低

北青网-北京青年报
2026-11-18 00:28:22
C罗接班人沦为笑话!首发2场仅1射门0射正 59分钟被换:陷7场球荒

C罗接班人沦为笑话!首发2场仅1射门0射正 59分钟被换:陷7场球荒

风过乡
2026-11-18 06:46:27
兹维列夫2-0完胜世界第4,2连胜提前晋级ATP年终总决赛四强

兹维列夫2-0完胜世界第4,2连胜提前晋级ATP年终总决赛四强

侧身凌空斩
2026-11-18 05:59:18
曝勇士或交易追梦巴特勒!负资产需搭首轮?勇媒盼5换4卡特+比塔泽

曝勇士或交易追梦巴特勒!负资产需搭首轮?勇媒盼5换4卡特+比塔泽

颜小白的篮球梦
2026-11-18 05:41:01
英伟达财报带动美股AI硬件板块盘后走高,SK海力士涨近2%

英伟达财报带动美股AI硬件板块盘后走高,SK海力士涨近2%

每日经济新闻
2026-11-18 05:59:05
2026-11-18 07:31:00
Ping值焦虑
Ping值焦虑
有态度网友ytd
201文章数 112关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

俄罗斯总统普京凌晨抵达深圳 现场画面披露

头条要闻

俄罗斯总统普京凌晨抵达深圳 现场画面披露

体育要闻

东契奇心仪之人 三年后拿着底薪站到他身旁

娱乐要闻

刘欢有6位生死之交,个个可托付后事

财经要闻

全民抛售AI,市场转折点或已悄然临近

汽车要闻

奕境X9纯电版信息曝光 将于11月27日广州车展上市

态度原创

房产
家居
健康
艺术
军事航空

房产要闻

5381亩之后,三亚绿谷,等一个500强!

家居要闻

2026建博会(广州) 公装联探展交流活动

医生眼里"很伤腰"的椅子,很多人天天坐

艺术要闻

国际名家镜头里的绝美人像,越看越惊艳,第几张美到你?

军事要闻

美乌陷入外交僵局 俄乌互攻势头不减

无障碍浏览 进入关怀版