多租户RAG应用最常见的写法,是把所有客户的文本块塞进一张表、配一个HNSW索引,然后这样查:
![]()
SELECT * FROM documents WHERE metadata->>'user_id' = $1 ORDER BY embedding <=> $2 LIMIT 10;
看起来没问题,对大客户也确实基本没问题。但对只上传了一份PDF的客户,这条查询经常什么都不返回。
有人不想靠直觉,直接在真实的PostgreSQL 17.12加pgvector 0.8.7上搭了基准测试,又读了12个开源AI框架的pgvector存储代码,把每个框架实际发出的查询在同一张表上重放了一遍。
测试怎么搭的
一张表,20万行,128维向量,约2100个租户。租户规模按齐夫分布,少数大租户加一条长长的长尾。另外专门放了只拥有1、10、100、1000、10000行的探针租户,每种规模跑60次查询。索引用pgvector默认的HNSW(m=16,ef_construction=64),k=10。
标准答案用numpy在租户自己的行上做精确余弦搜索,每次运行都拿Postgres顺序扫描核对。HNSW构建有随机性,所以每个数字都是3次独立建索引的平均值。这张表上不过滤的recall@10是0.91到0.92,索引本身没毛病。
核心数字
租户ID放在JSONB元数据里——大多数框架的写法——按租户规模看recall@10:只有一份文档的客户,十次搜索里有九次返回空结果。又快又空,所以没人发现:不报错,聊天机器人只是说它不知道。
原因在HNSW和WHERE的配合方式。索引沿图走,返回全表范围内ef_search个最近的行(默认40),Postgres再在之后应用过滤。如果你的租户在20万里只占10行,这10行落进全局最近40行的概率很小。Postgres也没法退回到更聪明的做法,因为metadata->>'user_id'没有统计信息,规划器只能假设一个通用选择率,然后对所有租户都选HNSW索引,不管大小。
好消息是结果从没跨租户泄漏。测过的每种策略都只返回租户自己的行,失败永远是缺行。
框架实际发的是什么
逐个读各存储的当前源码,抄下它的搜索查询,再用该存储自己创建的索引在同一张表上重放。1行、10行、100行租户的结果里,好几行数字完全一样——这不是抄错,执行计划就是同一个:HNSW配ef_search=40,过滤条件怎么写都返回同样的40个候选,然后过滤器把大部分扔掉。
重放的可信度取决于抄得对不对,所以对其中一个存储还直接跑了库本身:langchain-postgres自带的asimilarity_search_by_vector加user_id过滤,同样的行,两次建索引下1行租户拿到0.05到0.12,其中88%到95%的搜索返回空,和重放一致。
另外三个存储压根没走HNSW。Letta存4096维向量,超过pgvector的2000维索引上限,搜索是精确的(它的标签过滤在LIMIT之后用Python跑,这是另一种返回不足的方式)。Semantic Kernel .NET默认用flat索引,等于没有向量索引。Vercel AI SDK的RAG指南按1 - (embedding <=> q) DESC排序,EXPLAIN显示它根本不用指南让你建的HNSW索引——那个是对的,只是慢。
12个存储里没有一个在主分支上设置hnsw.iterative_scan,honcho有一个开着的PR把它打开。
预编译语句的坑
Semantic Kernel是那一行里最有意思的。它过滤的是真实的tenant_id列,有统计信息,Postgres本该看出租户很小、走顺序扫描加精确排序。用普通查询它确实这么干:recall 1.00。
然后驱动开始预编译语句。psycopg 3在执行5次后预编译,PostgreSQL JDBC驱动默认同样如此,asyncpg则全部预编译。预编译语句先拿5个定制计划,之后如果看起来更便宜,Postgres就切到一个通用计划。这里确实更便宜,而通用计划对所有租户都用HNSW。recall掉到同样的0.10 / 0.08。
这是偶然发现的。第一次跑用的是psycopg,查了几次之后小租户突然开始返回空。花了一会儿才意识到数据没变,变的是计划。plpgsql函数里也一样,比如Supabase的match_documents(),因为plpgsql用同样的方式缓存计划。那个0.19只是最初几次调用的成绩。
怎么修
以下数字都在通用计划下,因为大多数应用最终会落到那里:
- 迭代扫描有帮助,但对最小的租户,默认max_scan_tuples=20000大约一半的时候在扫到它们的行之前就停了,而且到那时花的时间已经比顺序扫描还多。调高上限能到0.87,代价是每次查询三分之一秒。
- 在过滤键上建索引,是通用计划下对所有规模都有效的修法。CREATE INDEX ON documents (tenant_id),JSONB则用CREATE INDEX ON documents ((metadata->>'user_id')),用@>过滤就上GIN jsonb_path_ops索引。Postgres只读该租户的行并精确排序。小租户0.15毫秒,10000行租户5.4毫秒。
- 定制计划下规划器仍会把较大租户送进HNSW,所以光建索引它们原地不动(10000行租户停在0.88)。Supabase的match_documents()配GIN索引能同时看到两头:1行和10行租户1.00(从0.19和0.08上来),100行0.98,大租户0.89 / 0.88。这正是iterative_scan该上场的地方,也是两者都该开的原因。
有一个例外,mem0撞上了。mem0把JSON键绑成参数:payload->>%s。计划还是定制的时候,payload->>'user_id'上的表达式索引能用,但psycopg一预编译,键变成$1,索引不再匹配,recall回到0.10。把键内联成字面量(校验之后),索引每次都能匹配。mem0上一个已关闭的PR #7607做的就是这件事,带上它之后每种租户规模都是1.00。
只按租户做哈希分区,在通用计划下救不了小租户(0.26和0.32);加上relaxed_order后达到1.00,耗时15到21毫秒。
真实应用里该怎么做
- 把租户放进真实列,或者至少给你存储实际发出的那个JSON表达式建索引。
- 用plan_cache_mode = force_generic_plan对你的搜索查询跑EXPLAIN。如果过滤条件只匹配几行、计划却是HNSW扫描,你就中了这个bug。
- 把hnsw.iterative_scan也打开。对大租户很便宜,还能兜住规划器照样送进HNSW的那些规模(1000行租户从0.78到0.98,10000行从0.88到0.93)。
- 拿你最小的客户去测,不是最大的。
边界条件
一台机器(2 vCPU、4 GB内存),一种表规模,128维,合成向量。真实文本嵌入的聚集方式不同,具体数字预计会变。但机制预计成立,因为它来自执行计划:20万里挑40个候选,很少能包含一个10行的租户。延迟只是在这台机器上比较策略,不是容量数据。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.