网易首页 > 网易号 > 正文 申请入驻

HubSpot 如何将语义搜索扩展至 200 亿个向量

0
分享至


作者 | Matt Saunders

译者 | 平川

SaaS 软件供应商 HubSpot详细介绍 了其语义搜索平台如何从概念验证发展成为一项内部服务。目前,该服务管理着超过 38 个团队的 200 多亿个向量。该公司表示,该系统目前支持代理、RAG 以及联系人去重功能,而且随着代理使用量的增加,检索质量和延迟问题变得比以往更加重要。

HubSpot 网站上的这篇 博文 解释说,该平台名为 VaaS(向量即服务),位于 Qdrant 之前,提供访问控制、嵌入向量生成、数据版本控制和反馈收集等功能。HubSpot 表示,选择 Qdrant 是因为它支持本地部署,具备命名向量、混合搜索、多阶段查询和加权重新排序等功能,并提供包括量化处理和磁盘存储在内的成本控制措施。


HubSpot 还表示,该公司选择在内部运行 Qdrant,是因为这样既能与内部的追踪、成本监控、速率限制、扩展和安全工具集成,又能对客户数据保持控制权。该公司称,当前的平台涵盖 200 多个索引、140 多个集群、5 个区域和 2 个环境,峰值写入流量可达每秒 10 万次请求。

在该博文中,Oleg Tereshin 和 Xin Liu 写道,早期的架构是基于 Helm 构建的,而且消费者数量比较少,但随着集群规模的扩大,手动管理变得越来越困难。他们表示,团队转而采用内部的 Kubernetes Operator 框架,因为 Helm 无法进行 API 调用以及根据外部指标自动扩展,也无法处理更复杂的、具有状态感知能力的生命周期任务。

手动运维无法适应业务增长。 —— Oleg Tereshin 和 Xin Liu

这一举措将集群管理转移到了 HubSpot 所称的 Translators 上。该组件每 60 秒会将系统目标状态与实际状态进行一次同步。该文指出,如今这种方法已经实现了集群创建与退役、分片迁移以及复制恢复的自动化,减轻了团队的运维负担。

其他向量搜索系统也面临着同样的压力。Qdrant 自身的 大规模指南 侧重于对数亿个向量进行调优,同时将延迟和准确率保持在生产环境可接受的范围内,这印证了 HubSpot 的观点:规模化既关乎运营,也关乎检索质量。

其他从业者也得出了类似的经验教训。在 LinkedIn 上的一篇博文中,Pinecone 描述 了向量规模从 4000 万跃升至 6 亿的过程,建议必须保持高召回率,将存储与计算分离,并将可靠性视为一项功能。而另一篇关于向量搜索的生产实践总结则建议采用版本化索引及过滤感知设计,并仔细监控召回率和延迟。

召回率至上。 ——Pinecone 发表在 LinkedIn 的博文

这些主题与 HubSpot 所强调的平衡分片放置、避免内存偏斜以及利用自动化控制运维工具相契合。该公司表示,某些数据集包含数十亿个数据点,即使只有一个分片失衡,也可能迫使集群在真正需要之前就进行扩展。

HubSpot 还表示,这一转变将集群启动时间从数小时缩短至数分钟,并消除了对备用集群的需求。该公司补充道,如今,同一套对账模型可以同时处理水平扩展、分片再平衡和复制恢复,这使得平台在需求增长时更易于运维。

在向量搜索市场中,这种趋势广泛存在:各团队正越来越多地设法在不牺牲性能的前提下简化检索系统。InfoQ 最近报道了 OpenSearch、 PlanetScale 和 AlloyDB 在向量搜索方面的更新。这些更新都指向同一个需求:开发者希望在数据附近实现语义检索,并且能够拥有足够的控制权来调整成本和延迟。

对于 HubSpot 而言,关键不在于向量技术本身是个新事物,而在于其周边基础设施现在必须像一个成熟的平台服务那样运行。该文明确指出,一旦检索成为多种 AI 产品的核心,数据库本身就只是问题的一部分。更艰巨的任务是围绕它构建足够的自动化机制,确保在需求持续增长的情况下保持系统稳定。

https://www.infoq.com/news/2026/07/hubspot-semantic-vector-search/

声明:本文由 InfoQ 翻译,未经许可禁止转载。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
GPT-5.6仅用1小时攻破50年数学难题!64个AI摘下图论皇冠

GPT-5.6仅用1小时攻破50年数学难题!64个AI摘下图论皇冠

新智元
2026-07-15 09:00:09
人民日报访贺荣

人民日报访贺荣

政知新媒体
2026-07-16 09:22:59
退防太深,梅西助攻恩佐瞬间,英格兰11人全部收缩在禁区内

退防太深,梅西助攻恩佐瞬间,英格兰11人全部收缩在禁区内

懂球帝
2026-07-16 05:35:03
高中签率!长鑫科技今日申购,另有一新股上市丨打新早知道

高中签率!长鑫科技今日申购,另有一新股上市丨打新早知道

21世纪经济报道
2026-07-16 07:07:03
雷军对标别克GL8,别克回应:感谢雷总肯定!网友:对标第一,学习第一,才能最终赶超第一

雷军对标别克GL8,别克回应:感谢雷总肯定!网友:对标第一,学习第一,才能最终赶超第一

大白聊IT
2026-07-15 17:39:27
香港惊现“小深圳”?新界这区击败上水夺冠,网友:一出站像异世界

香港惊现“小深圳”?新界这区击败上水夺冠,网友:一出站像异世界

王二哥老搞笑
2026-07-16 02:13:05
20+20!1米7的落选秀!3年了,太不可思议了!

20+20!1米7的落选秀!3年了,太不可思议了!

贵圈真乱
2026-07-16 13:02:50
吴绮莉直播澄清27年传闻:成龙从未要求做亲子鉴定,当年是自己不愿做

吴绮莉直播澄清27年传闻:成龙从未要求做亲子鉴定,当年是自己不愿做

动物奇奇怪怪
2026-07-16 01:04:32
“AI脸恐怖谷效应”再上热搜!生理性不适已成大众共识

“AI脸恐怖谷效应”再上热搜!生理性不适已成大众共识

新腕儿
2026-07-14 14:24:31
见证英格兰遭阿根廷淘汰,小贝抱头痛哭:这是场令人心碎的比赛

见证英格兰遭阿根廷淘汰,小贝抱头痛哭:这是场令人心碎的比赛

极目新闻
2026-07-16 12:03:04
看完心寒!夺冠功臣揭露湖人残酷真相,东契奇夺不了冠就完了

看完心寒!夺冠功臣揭露湖人残酷真相,东契奇夺不了冠就完了

削桐作琴
2026-07-15 19:24:09
国台办:只要不从事违法犯罪,台胞可以高高兴兴来大陆平平安安回

国台办:只要不从事违法犯罪,台胞可以高高兴兴来大陆平平安安回

海峡导报社
2026-07-15 12:06:02
图赫尔遭鲁尼等英格兰名宿猛批,本人发声:比赛结束后会有成百上千万的“教练”站出来,认为自己懂得更多,英足总:全力支持其留任

图赫尔遭鲁尼等英格兰名宿猛批,本人发声:比赛结束后会有成百上千万的“教练”站出来,认为自己懂得更多,英足总:全力支持其留任

政知新媒体
2026-07-16 10:52:06
一周全歼中国海军?自卫队能一波齐射500枚导弹!咱海军能防住吗

一周全歼中国海军?自卫队能一波齐射500枚导弹!咱海军能防住吗

霁寒飘雪
2026-07-16 11:33:59
禁止所有车辆通行!连续七天

禁止所有车辆通行!连续七天

珠海发布
2026-07-15 15:44:33
马云现身纽约百元平价餐厅 行踪引发世界杯观战猜想

马云现身纽约百元平价餐厅 行踪引发世界杯观战猜想

快科技
2026-07-15 14:50:06
心内科主任含泪忠告:宁可打牌,也别在夏天做这6件要命的事

心内科主任含泪忠告:宁可打牌,也别在夏天做这6件要命的事

岐黄传人孙大夫
2026-07-16 12:16:51
从搞笑中锋到绝杀英雄!28岁的劳塔罗迎来蜕变,撑起阿根廷的决赛之路

从搞笑中锋到绝杀英雄!28岁的劳塔罗迎来蜕变,撑起阿根廷的决赛之路

体坛最前线66
2026-07-16 06:47:59
做父母的会嫌弃自己子女没钱吗?网友:父母一辈子在等儿女感恩,儿女一辈子在等父母道歉

做父母的会嫌弃自己子女没钱吗?网友:父母一辈子在等儿女感恩,儿女一辈子在等父母道歉

带你感受人间冷暖
2026-07-15 00:05:10
曝具俊晔私吞大S15斤黄金欲霸占S妈房产,小S介入

曝具俊晔私吞大S15斤黄金欲霸占S妈房产,小S介入

青杉依旧啊啊
2026-07-15 22:15:50
2026-07-16 14:08:49
InfoQ incentive-icons
InfoQ
有内容的技术社区媒体
12663文章数 51985关注度
往期回顾 全部

科技要闻

SpaceX一度跌破发行价,较高点回落约40%

头条要闻

德国主持人节目中脱口而出辱华词语“ching chong”

头条要闻

德国主持人节目中脱口而出辱华词语“ching chong”

体育要闻

逆天6后卫神阵,图赫尔活活坑死英格兰

娱乐要闻

黄晓明回应赈灾车辆发生交通意外

财经要闻

长鑫科技批量造富:8名高管身家过亿

汽车要闻

零百加速1.96秒 腾势Z国内预售价68万起/四季度上市

态度原创

家居
数码
本地
房产
公开课

家居要闻

2026建博会(广州) 公装联探展交流活动

数码要闻

新U还没发就被背刺!AMD 7800X3D跌至299美元:比7700X3D更便宜

本地新闻

一脚踢进宋朝?来开封解锁宋式快乐

房产要闻

海南中考又爆了,800分以上超2万人!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版