网易首页 > 网易号 > 正文 申请入驻

走过十年仍在第一梯队:千亿级数据!毫秒级搜索算法!

0
分享至

2016 年,我在博士期间提出了 EFANNA 算法;一年后,我又提出了 NSG(Navigating Spreading-out Graph) ——一种能让 AI 在亿级数据中实现毫秒级查找 的图向量检索算法。

从 EFANNA 到 NSG,这些算法已经陪我走过将近十年的研究旅程。站在 2025 年的今天,我也很好奇:它们现在还处在什么位置?

自己说好不算数,我们不妨看看外部视角:学术界和工业界的评价。最近,数据库领域国际顶会 SIGMOD 2025 公布了一篇来自法国团队的系统性研究——《Graph-Based Vector Search: An Experimental Evaluation of the State-of-the-Art》。

这篇论文回顾了近十年来图向量检索算法的发展脉络,并在多个大规模数据集上对 12 种主流算法进行了对比实验(最大规模达到10亿向量)。

结果显示,性能最优的算法通常采用“邻域扩展(neighborhood propagation)”与“邻域多样化(neighborhood diversification)”两类设计策略。作为这一路线下的代表性方法,NSG 在评测中依旧展现出稳定而突出的表现,处在高召回、低延迟的第一梯队。

01

图向量检索的演化路径:

从结构探索到索引融合

我们先来看看,图向量检索算法经历了一个怎样的研究历程。这里作者们做了一个很好的脉络梳理,而我在这个总结的基础上给图算法发展进一步划分了三个阶段,如下图:


1. KNN 图与随机图

绿框是图算法发展的第一阶段:基于K近邻图和随机图的结构探索。无论什么图算法,主要通过贪婪游走(类A*算法)来完成检索。那么图结构及其理论支持最为重要。而在图几何拓扑的茫茫大海中,K近邻图(KNNG)和随机链接图拥有比较好的理论基础,那么初期的尝试也从此开始。

2. 图稀疏化:裁剪边,提升效率

红框是图算法发展的第二阶段,图的稀疏化。这一阶段研究者们发现图索引中,并不是所有边都有价值,因此我们可以对第一阶段的一些不错的图索引进行有效的裁剪,来得到一个精简、稀疏但高效的索引。

3. 索引融合:跨越单一瓶颈

最下面蓝框代表的是图算法发展的第三阶段:索引融合。这一阶段研究者们开始发现图索引的非最优性,即在特定的数据集上图算法出现明显的瓶颈,其中代表性的就是ELIPS——把图结构和Hercules EAPCA树进行结合。LSHAPG把图索引和哈希表结合。通过吸收不同向量检索算法的优势来强化效果。

从第三阶段的发展来看,我们也大概能得到一个结论:图索引的算法基础已经陷入明显的瓶颈。从我的NSG引入了图裁剪带来效果提升的理论基础后,后续几年图算法在裁剪策略上没有获得更明显、有效的提升了。

02

NSG 的定位与实证:

高性能算法第一梯队

在 SIGMOD 2025 的实验结果中,我曾提出的 NSG、SSG 依然稳居第一梯队,尤其在高召回、低延迟的任务中表现突出。这说明:尽管过去十年涌现了许多新方法,NSG 依旧是图检索的标杆算法之一。


上图我篮框圈选出来了文章实验部分NSG、SSG所在位置,处在高recall 低延迟的位置。

同时也能看到,单一图算法的优化已接近瓶颈。这为我们提供了一个重要启示:未来十年,复合索引将是主题。这一点也可以从广为人知的ANN Benchmark

https://github.com/erikbern/ann-benchmarks?tab=readme-ov-file的结果观察到:


图中第一梯队的方法Descartes(https://github.com/01-ai/Descartes)是零一万物开发的基于图和量化算法结合的复合型算法,利用了量化算法的距离计算加速和图算法的快速导航,是常见的两阶段或多阶段检索加速算法。

02

方法延伸:

从NSG到MAG的演进

如果说 NSG 解决的是 欧式空间中的图裁剪问题,那么我近年的工作则顺应了 内积相似度(cosine / dot product)崛起的趋势。

过去两年,向量检索研究已从 理论结构优化 转向 复合加速与产品化。在这一背景下,我研发了两类新算法:

1. PSP:定位与 NSG 类似,但作用在泛内积检索 场景。它首次证明了内积与欧式检索的对偶性,为内积检索奠定了系统的理论基础。

2. MAG:更强调产品化与易用性。它将内积和欧式度量统一在一套图索引中,用户无需维护多套索引,就能在两种度量之间无缝切换,大幅降低了工业应用门槛。

我们接下来的工作则是推动MAG的进一步产品化,在更加广泛的不同模态、维度、分布的大规模向量数据库中,分析当前图算法在内积、欧式两种度量下的短板,从而研发一种对数据集分布不敏感、自适应,同时融合多阶段复合索引的傻瓜式检索算法,尽量让用户可以一键集成、几乎无需调参就可以获得极致检索加速、享受高精度召回。

如果你对这方向感兴趣,欢迎加入我们的开源项目,我们的团队有工作十余年经验丰富的大厂老兵,有顶会发表多篇论文的博士生青年才俊,欢迎和我们一起探索下一代向量检索!

开源代码

NSG:https://github.com/ZJULearning/nsg

SSG:https://github.com/ZJULearning/SSG

PSP:https://github.com/ZJU-DAILY/PSP

MAG:https://github.com/ZJU-DAILY/MAG

欢迎同行们评论、留言、私信!

我是傅聪Cong,《业务驱动的推荐系统:方法与实践》作者,高性能向量检索算法NSG、SSG、PSP、MAG的发明者,资深算法专家,现居新加坡。

我们的算法团队和国内外很多一流大学和实验室都有长期paper合作,方向不限于大模型、搜推广、机器学习!

我们也非常欢迎各界研究者,一起合作探索出产学研结合、高可用性的算法!

github主页:https://github.com/CongFu92

个人邮箱:fucong92@126.com

傅聪Cong

NSG/SSG/PSP/MAG作者

向量检索/搜推广资深算法专家

别忘了点一下「在看」

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
10到15天!特朗普对伊朗最新通牒,中东火药桶是否要炸?

10到15天!特朗普对伊朗最新通牒,中东火药桶是否要炸?

上观新闻
2026-02-20 17:23:14
演员谭凯回应没戏拍回青岛开饺子店:不是没戏拍了,算是一个副业

演员谭凯回应没戏拍回青岛开饺子店:不是没戏拍了,算是一个副业

韩小娱
2026-02-20 06:37:23
中国与西班牙交手战绩:0胜2负未尝胜绩

中国与西班牙交手战绩:0胜2负未尝胜绩

懂球帝
2026-02-20 14:23:05
上海高校排名大幅洗牌:同济17,上纽大95与上应大接近立信

上海高校排名大幅洗牌:同济17,上纽大95与上应大接近立信

辉哥说动漫
2026-02-20 20:47:37
女子婚礼穿低胸婚纱引热议,全程用纸巾遮挡,网友:太尴尬了!

女子婚礼穿低胸婚纱引热议,全程用纸巾遮挡,网友:太尴尬了!

流云随风去远方
2026-02-12 17:40:44
风水有言:水即是财,欲求富贵,屋中这3处放水,财如泉涌,福运自聚

风水有言:水即是财,欲求富贵,屋中这3处放水,财如泉涌,福运自聚

烟火人间故事汇
2025-09-16 13:00:15
全都“叛变”了,台积电、三星接连宣布,外媒:中国不买了?

全都“叛变”了,台积电、三星接连宣布,外媒:中国不买了?

来科点谱
2026-02-20 07:06:13
宝马CEO最新涉华表态:对中国庞大市场与创新潜力视而不见的人,正错失巨大机遇

宝马CEO最新涉华表态:对中国庞大市场与创新潜力视而不见的人,正错失巨大机遇

环球网资讯
2026-02-20 15:48:08
赫鲁晓夫遭软禁后,发现厕所被装窃听器痛骂:你们花钱听我放屁?

赫鲁晓夫遭软禁后,发现厕所被装窃听器痛骂:你们花钱听我放屁?

楚风说历史
2026-02-21 07:00:03
生物医药企业Polaryx直接上市:市值1.26亿美元 9个月亏749万美元

生物医药企业Polaryx直接上市:市值1.26亿美元 9个月亏749万美元

雷递
2026-02-20 18:44:06
苏翊鸣穿2万LV和朱易官宣恋情,两人谈了四年,朱易和苏妈妈很像

苏翊鸣穿2万LV和朱易官宣恋情,两人谈了四年,朱易和苏妈妈很像

草莓解说体育
2026-02-20 10:50:57
康熙临终前问谁可继位,周培公只用8个字,让康熙决心传位四阿哥

康熙临终前问谁可继位,周培公只用8个字,让康熙决心传位四阿哥

千秋文化
2026-02-08 19:35:47
美国,这次闹大了

美国,这次闹大了

米筐投资
2026-02-20 07:07:19
做家务=续命?美国研究发现:每天做家务30分钟,死亡风险直降12%

做家务=续命?美国研究发现:每天做家务30分钟,死亡风险直降12%

时光派健康抗衰
2026-02-20 18:59:44
女篮集训名单迎大调整,3名核心复出参赛!12大名单预测如下

女篮集训名单迎大调整,3名核心复出参赛!12大名单预测如下

林子说事
2026-02-20 12:45:19
山东第一个「双山姆」城市,出现了

山东第一个「双山姆」城市,出现了

渝鲁大道
2026-02-20 21:32:08
辽宁一男子不愿早起11点前赶到女友家拜年后续,疑似已分手

辽宁一男子不愿早起11点前赶到女友家拜年后续,疑似已分手

九方鱼论
2026-02-20 14:11:16
陈百强自杀真相曝光!王晶揭穿32年豪门谎言:他根本不是为情所困

陈百强自杀真相曝光!王晶揭穿32年豪门谎言:他根本不是为情所困

八斗小先生
2025-12-08 11:07:02
前队友香珀特:詹姆斯会愿意为赢球降薪 钱这东西他怎么都能赚到

前队友香珀特:詹姆斯会愿意为赢球降薪 钱这东西他怎么都能赚到

罗说NBA
2026-02-21 06:14:08
美媒感慨:若不是中国还在反抗特朗普,几乎全世界都向他投降了

美媒感慨:若不是中国还在反抗特朗普,几乎全世界都向他投降了

娱乐小可爱蛙
2026-02-20 20:22:59
2026-02-21 07:31:00
开源中国 incentive-icons
开源中国
每天为开发者推送最新技术资讯
7596文章数 34501关注度
往期回顾 全部

科技要闻

莫迪举手欢呼 两大AI掌门人却握拳尴尬对峙

头条要闻

贝加尔湖遇难者遗体已被发现 涉事司机系私下接单

头条要闻

贝加尔湖遇难者遗体已被发现 涉事司机系私下接单

体育要闻

金牌夫妻!王心迪徐梦桃赛后拥抱太甜了

娱乐要闻

《将门独后》开拍,王鹤棣孟子义主演

财经要闻

特朗普全球关税被推翻!有何影响?

汽车要闻

比亚迪的“颜值担当”来了 方程豹首款轿车路跑信息曝光

态度原创

艺术
房产
游戏
健康
数码

艺术要闻

你绝对不想错过的石涛五十幅国画作品!

房产要闻

春节三亚楼市再放大招!千亿巨头,重磅推出超性价比海景现房

前LPL顶级上单沦落没队要,自述凄惨现状倒苦水:每天赚几块钱!

转头就晕的耳石症,能开车上班吗?

数码要闻

AMD "Zen 6" MSDT主流桌面处理器被曝最快2027年推出

无障碍浏览 进入关怀版