网易首页 > 网易号 > 正文 申请入驻

千万级向量检索,HNSW和IVF-PQ到底怎么选?

0
分享至

当RAG架构从处理几千份文档,扩展到索引数千万条高维企业向量时,向量索引拓扑的选择,就成了决定系统延迟和运营开销的最关键因素。

标准的扁平索引搜索(精确最近邻)能带来100%的召回率,但它的搜索时间复杂度是线性的O(N)。在生产环境里,查询响应时间必须保持在50毫秒以下,这种线性复杂度让它完全不具备可行性。

要在企业规模下实现亚秒级的向量相似度搜索,架构师必须在两类近似最近邻(ANN)结构之间做选择:一类是基于图的分层可导航小世界(HNSW),另一类是基于量化的倒排文件加乘积量化(IVF-PQ)。

高维向量空间(现代嵌入模型生成的维度从1,536到4,096不等)带来了一组被称为"维度灾难"的数学障碍。距离集中效应会让高维空间中最近邻和最远邻之间的欧氏距离或余弦距离趋于收敛,传统的空间划分树(比如KD树)因此失效。

生产级向量数据库用两种主要的近似思路绕开这个限制:

  • 基于图的导航(HNSW):构建一个多层邻近图,查询先在上层通过长距离链接快速跳跃,再在底层密集层做局部贪心搜索。
  • 空间划分与量化(IVF-PQ):把向量空间聚类成Voronoi单元(倒排文件),再通过乘积量化把高精度浮点向量压缩成紧凑的字节编码,以此把内存占用压到最低。

选错索引类型,后果可能是集群内存溢出(OOM)崩溃,也可能是高峰流量下无法接受的检索延迟飙升。

HNSW建立在跳表的思想之上,把它扩展成了多层图结构。底层(第0层)包含所有数据向量,并在局部相连。层级往上走,节点密度呈指数级下降,查询因此可以在向量空间里做大跨度的跳跃,再逐层下钻到精确的邻域。

面向生产环境调优HNSW时,M(每个节点的最大双向链接数)和efConstruction(构建时动态候选列表的大小)这类参数,直接决定了召回率与构建时间之间的取舍。

实际使用中,你通常会借助托管数据库(如Pinecone、Weaviate或Qdrant),但理解其内部机制依然关键。下面是一段简化的概念性Python模拟:

  • 初始化时指定维度、最大元素数、链接数M和efConstruction;
  • 插入向量时先做归一化,再存入向量表和邻接图;
  • 查询时对查询向量归一化,逐一计算点积相似度并排序,返回前K个结果。

示例中以1536维、最多10000个元素初始化引擎,插入两条文档向量,再用一条更接近第一条文档的查询向量检索,取回相似度最高的那一条。

两类结构的取舍核心很清楚:HNSW靠图导航换取高召回和低延迟,代价是内存占用和构建开销;IVF-PQ靠聚类加压缩把内存压下来,代价是量化带来的精度损失。企业级RAG管线怎么选,取决于你的内存预算、召回要求和构建时间能容忍到什么程度。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
2年跑40万公里!小米SU7车主晒电池健康度:还有91.08%

2年跑40万公里!小米SU7车主晒电池健康度:还有91.08%

快科技
2026-11-15 17:12:23
三家新能源车企纷纷倒下,这不是价格战,是蓄谋已久的资本大逃杀

三家新能源车企纷纷倒下,这不是价格战,是蓄谋已久的资本大逃杀

流苏晚晴
2026-09-01 18:39:03
男子花3500找了一个小姐,又觉得不过瘾,让小姐再喊个闺蜜过来“一起玩”

男子花3500找了一个小姐,又觉得不过瘾,让小姐再喊个闺蜜过来“一起玩”

张晓磊
2026-10-18 11:58:47
公园人工湖清淤,湖底捞出12辆共享单车,每辆车上都绑一具人形模特

公园人工湖清淤,湖底捞出12辆共享单车,每辆车上都绑一具人形模特

悬案解密档案
2025-10-29 13:36:28
北京八宝山,数万坟位期满却无人再缴,并非儿孙不孝,实在是家里兜不住了

北京八宝山,数万坟位期满却无人再缴,并非儿孙不孝,实在是家里兜不住了

扶苏聊历史
2026-11-04 18:20:53
比黄仁勋的事大:美国与8个盟友“签约”,竟要联手针对中国AI?

比黄仁勋的事大:美国与8个盟友“签约”,竟要联手针对中国AI?

互联鱼
2026-11-18 00:10:09
比股票还亏得惨的基金,今年前三季度亏损前10,有的亏近50%!

比股票还亏得惨的基金,今年前三季度亏损前10,有的亏近50%!

财经智多星
2026-10-04 10:27:17
央媒亲宣!56岁陈建斌正式上任,职务不一般,早已和吴越拉开距离

央媒亲宣!56岁陈建斌正式上任,职务不一般,早已和吴越拉开距离

削桐作琴
2026-11-09 15:29:05
美国一查中国家底才发现不得了,怪不得中国人的底气这么的足!

美国一查中国家底才发现不得了,怪不得中国人的底气这么的足!

阿器谈史
2026-11-17 12:05:39
砸8亿清退1200名中国工程师,SpaceX强行去中国化,如今怎么样了

砸8亿清退1200名中国工程师,SpaceX强行去中国化,如今怎么样了

南宗历史
2026-09-17 13:38:03
伊拉克总理下令,欠中方的工程款立即结清,只向中方提了一个要求

伊拉克总理下令,欠中方的工程款立即结清,只向中方提了一个要求

墨兰史书
2026-11-17 14:00:04
离婚当日,妻子坦白:我从来没有出轨过!我淡然点头:我知道

离婚当日,妻子坦白:我从来没有出轨过!我淡然点头:我知道

云端小院
2026-11-18 09:51:51
人体最佳睡觉时间表(建议永久收藏)

人体最佳睡觉时间表(建议永久收藏)

神奇故事
2026-11-14 23:05:28
四川商户扎堆关门避检,背后实情要看懂

四川商户扎堆关门避检,背后实情要看懂

笔墨V
2026-11-18 04:42:31
为啥别买不符合年纪的车,经常被人以为偷来的!网友:主打一个反差

为啥别买不符合年纪的车,经常被人以为偷来的!网友:主打一个反差

夜深爱杂谈
2026-11-17 17:42:47
日本获准引进AIM-120产线,将大幅提升空空导弹产能

日本获准引进AIM-120产线,将大幅提升空空导弹产能

看航空
2026-11-17 09:42:06
收视率几乎为0,县城电视台为什么还没关?

收视率几乎为0,县城电视台为什么还没关?

罗sir财话
2026-11-15 12:56:18
一个坏消息:中国75万博士生群体面临的非常严峻问题,已到跟前

一个坏消息:中国75万博士生群体面临的非常严峻问题,已到跟前

金哥说新能源车
2026-11-07 13:20:14
原价500美元的哈曼卡顿音箱,黑五直降80%到99.99美元

原价500美元的哈曼卡顿音箱,黑五直降80%到99.99美元

晚星归航2
2026-11-17 07:03:22
主将缺席!新狼王崛起!34分队史第一!狼队有机会吗?

主将缺席!新狼王崛起!34分队史第一!狼队有机会吗?

篮球盛世
2026-11-17 13:03:08
2026-11-18 10:48:49
摸鱼算法
摸鱼算法
致力于用最前沿的AI技术,换取更多发呆时间的三十岁青年。
196文章数 79关注度
往期回顾 全部

科技要闻

OPPO Reno17:手机背后竟然藏了只“喵”?

头条要闻

7岁男童做扁桃体手术后四肢瘫痪 手术录像无法读取

头条要闻

7岁男童做扁桃体手术后四肢瘫痪 手术录像无法读取

体育要闻

东契奇心仪之人 三年后拿着底薪站到他身旁

娱乐要闻

认亲被嘲讽后郭德纲委托律师发声明

财经要闻

回归英伟达,黄仁勋要先“干掉董事会”

汽车要闻

奕境X9纯电版信息曝光 将于11月27日广州车展上市

态度原创

游戏
家居
艺术
数码
公开课

《GTA6/侠盗猎车6》评测或于莫斯科时间14时解禁

家居要闻

2026建博会(广州) 公装联探展交流活动

艺术要闻

国际名家镜头里的绝美人像,越看越惊艳,第几张美到你?

数码要闻

AMD完成对Taalas收购,计划将后者芯片整合进加速器路线图

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版