网易首页 > 网易号 > 正文 申请入驻

向量数据库对比:Pinecone、Chroma、Weaviate 的架构与适用场景

0
分享至

向量数据库存储 Embedding,也就是文本、图像或音频的数值表示,并在查询时检索语义上最接近的结果。RAG 系统正是基于这一机制运作。本文对比三个主流方案,每个都附有 Python 代码,均来自实际在生产环境中使用三者的经验。



三种选择:Pinecone 用于生产级规模,Chroma 用于本地原型开发,Weaviate 用于混合搜索。

向量数据库究竟做了什么

对一段文本做 Embedding得到的是一个向量,比如说一个由 768 或 1,536 个数字组成的数组,代表该文本的语义含义。相似的文本产生相似的向量。向量数据库将这些向量存储下来并建立索引,以支持快速最近邻搜索。

用户提出问题时,先将问题做 Embedding再向向量数据库发起查询:"哪些已存储的向量与之最接近?"数据库返回语义上最相似的文本片段,随后将这些片段注入 LLM 的上下文。

检索环节的好坏直接决定 RAG 系统整体的表现,这一步出了偏差再好的 LLM 也只会给出自信却错误的回答。

Chroma:从原型开发开始

Chroma 开源,通过 pip install chromadb 安装,支持本地内存运行或持久化到磁盘,5 分钟内即可搭建一个可用的向量存储。

基本 Python 设置

import chromadb
from chromadb.utils import embedding_functions
client = chromadb.PersistentClient(path='./my_db')
ef = embedding_functions.OpenAIEmbeddingFunction(
api_key='your-key', model_name='text-embedding-3-small')
collection = client.get_or_create_collection('docs', embedding_function=ef)
# 添加文档
collection.add(documents=['doc1 text', 'doc2 text'], ids=['id1','id2'])
# 查询
results = collection.query(query_texts=['your question'], n_results=5)

但是Chroma 并非云原生。跨多台机器扩展需要自行管理服务器,一旦超出单机部署范围或数据集规模超过约 100 万条文档,迁移就不可避免。接口设计得干净的话过程不算痛苦,但仍需投入时间。

Pinecone:进入生产环境时的选择

Pinecone 是完全托管的云基础设施——无需自行运行服务器、管理内存或操心副本复制。免费层约可处理 100 万个 1,536 维向量,覆盖多数小型应用绰绰有余;付费层可扩展至数十亿量级。

基本 Python 设置

from pinecone import Pinecone
pc = Pinecone(api_key='your-pinecone-api-key')
index = pc.Index('my-index')
# Upsert(需要单独处理 Embedding)
index.upsert(vectors=[('id1', embedding_vector, {'text': 'doc text'})])
# 查询
results = index.query(vector=query_embedding, top_k=5, include_metadata=True)

Pinecone 的免费层确实有用。超出限额后成本随向量数量和查询量增长,日均 10,000 次查询的初创应用尚在可控范围,而大规模应用则会变成一笔可观支出。所以开始时保留切换向量存储的余地,把检索逻辑封装在清晰的接口后面。

Weaviate:用于混合搜索

纯语义搜索与纯关键词搜索都不总是最优解。语义搜索会漏掉精确匹配,用户查询"RFC 7519"时,关键词匹配远比语义相似度更快定位到结果。混合搜索将余弦相似度与 BM25 关键词匹配相结合,并对两者施加权重。

基本混合搜索

import weaviate
client = weaviate.connect_to_wcs(cluster_url='…', auth_credentials=…)
collection = client.collections.get('Document')
# 混合查询:结合语义 + 关键词
results = collection.query.hybrid(
query='your question',
alpha=0.5, # 0 = 仅关键词, 1 = 仅语义, 0.5 = 均衡
limit=5
)

知识库中若包含技术文档、API 参考或带有特定标识符、型号、代码的内容,混合搜索的表现会优于纯语义检索。一般性文本内容则差距不大,额外的复杂性未必划算。

常见问题

第一个项目应该使用哪个向量数据库?

Chroma没有悬念。pip 安装,本地运行,零配置,免费。先用 Chroma 搭建第一个 RAG 系统,日后需要扩展至生产环境,迁移到 Pinecone 或 Weaviate 只需几小时——前提是接口足够干净。

做 RAG 一定需要向量数据库吗,还是可以用普通数据库?

PostgreSQL 的 pgvector 扩展可以实现近似最近邻搜索,这是一个可行的生产方案。Supabase(托管式 Postgres)原生支持 pgvector,100 万向量以下的应用表现良好。规模再往上走专用向量数据库在性能上的优势才会真正体现出来。

应该使用哪个 Embedding 模型?

OpenAI 和google的API都是可以选择的质量可靠,价格低廉(约每百万 Token 0.02 美元),生态支持广泛。本地部署且注重隐私的场景下,通过 Ollama 运行 nomic-embed-text 是最佳免费方案;追求质量上限而不计成本,可选 text-embedding-3-large 或 Cohere 的 embed-v3。

https://avoid.overfit.cn/post/fb7124d85fa4459faac031a5fba770f2

by Pratham

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
攻不了也守不住!中国空军在西藏上空,被印度空军足足欺负了40年

攻不了也守不住!中国空军在西藏上空,被印度空军足足欺负了40年

古事寻踪记
2026-04-02 07:28:50
8岁女孩随邻居到长江游泳溺亡,邻居被判赔66万后申请再审:自己已尽到劝阻和救助义务

8岁女孩随邻居到长江游泳溺亡,邻居被判赔66万后申请再审:自己已尽到劝阻和救助义务

极目新闻
2026-04-30 19:02:12
看了一天!终于理清特朗普老婆和爱泼斯坦的瓜!

看了一天!终于理清特朗普老婆和爱泼斯坦的瓜!

啃金融
2026-04-10 22:47:23
国乒和日本队同时训练:球场里除了击球声,就是张本智和的喊叫声

国乒和日本队同时训练:球场里除了击球声,就是张本智和的喊叫声

风过乡
2026-04-30 17:23:13
云南省纪委监委公开通报7起违反中央八项规定精神典型问题

云南省纪委监委公开通报7起违反中央八项规定精神典型问题

掌上春城
2026-04-30 16:57:03
国家为何保留废弃铁路?你以为的垃圾,其实是国家的“底牌”!

国家为何保留废弃铁路?你以为的垃圾,其实是国家的“底牌”!

无情有思ss
2026-04-30 01:54:20
汽车博主:体验满血版 FSD 智驾后,我彻底服了!

汽车博主:体验满血版 FSD 智驾后,我彻底服了!

新浪财经
2026-04-30 19:52:54
高校丨“大儒”杨念群被举报与十数名女子发生不正当关系,自称“学术布拉德皮特”(简明版)

高校丨“大儒”杨念群被举报与十数名女子发生不正当关系,自称“学术布拉德皮特”(简明版)

忘忧杂话店
2026-04-29 15:25:20
记者:皇马欣赏前摩洛哥主帅雷格拉吉,内部讨论热度高于穆帅

记者:皇马欣赏前摩洛哥主帅雷格拉吉,内部讨论热度高于穆帅

懂球帝
2026-04-30 22:33:28
电磁炉为啥悄无声息退出中国家庭?内行人透底玄机,看完彻底懂了

电磁炉为啥悄无声息退出中国家庭?内行人透底玄机,看完彻底懂了

老特有话说
2026-04-30 11:36:13
女子吐槽“老公养的盆栽”,太丑了,网友:不懂,别乱说话

女子吐槽“老公养的盆栽”,太丑了,网友:不懂,别乱说话

观察鉴娱
2026-04-19 16:03:01
下一代旗舰系列的定价大概率是4999,5999,6999元起

下一代旗舰系列的定价大概率是4999,5999,6999元起

新浪财经
2026-04-29 23:44:36
急派心腹来华背后,特朗普正不计代价求和伊朗,中方拿捏时机到了

急派心腹来华背后,特朗普正不计代价求和伊朗,中方拿捏时机到了

邱震海
2026-04-30 20:00:03
母亲和情夫一起10年,父亲默不作声纵容,却在他50岁生日那天反击

母亲和情夫一起10年,父亲默不作声纵容,却在他50岁生日那天反击

白云故事
2025-04-24 10:35:08
亚朵,挤满偷偷开房的成年人

亚朵,挤满偷偷开房的成年人

广告案例精选
2025-10-03 15:00:51
吉利银河 M7 远航家上市!10.98 万起,综合续航1730km,油耗3.35L!

吉利银河 M7 远航家上市!10.98 万起,综合续航1730km,油耗3.35L!

聊聊车生活
2026-04-30 22:21:06
一个害国害民的历史罪人,老百姓还把他当成英雄崇拜

一个害国害民的历史罪人,老百姓还把他当成英雄崇拜

小豫讲故事
2026-04-19 06:00:10
《蜜语纪》聂予诚不育实锤,才是纪封扳倒魏总的致命杀招

《蜜语纪》聂予诚不育实锤,才是纪封扳倒魏总的致命杀招

怂熊剧场
2026-04-29 12:17:55
美国政坛要出大事了:万斯大概率要当选总统。

美国政坛要出大事了:万斯大概率要当选总统。

阿振观点
2026-04-21 05:22:52
PS5联网验证新规彻底翻车!索尼股价应声暴跌

PS5联网验证新规彻底翻车!索尼股价应声暴跌

游民星空
2026-04-29 21:18:11
2026-04-30 23:55:00
deephub incentive-icons
deephub
CV NLP和数据挖掘知识
1986文章数 1461关注度
往期回顾 全部

科技要闻

9000亿美元估值,Anthropic即将反超OpenAI

头条要闻

英国国王给特朗普送了口钟 还贴脸开大"有需要尽管敲"

头条要闻

英国国王给特朗普送了口钟 还贴脸开大"有需要尽管敲"

体育要闻

季后赛场均5.4分,他凭啥在骑士打首发?

娱乐要闻

孙杨博士学历有问题?官方含糊其辞

财经要闻

易会满被“双开”!

汽车要闻

专访捷途汪如生:捷途双线作战 全球化全面落地

态度原创

时尚
本地
亲子
艺术
军事航空

春天穿衣要杜绝老气感!衣服选对、搭配到位,减龄舒适又得体

本地新闻

用青花瓷的方式,打开西溪湿地

亲子要闻

4月30日,国际不打小孩日,今天请紧急收住巴掌,放过家里的小孩,也放过崩溃的自己

艺术要闻

安东·爱德华·基尔德鲁普:19世纪丹麦风景画家

军事要闻

意大利议会批准:捐赠航母给印度尼西亚

无障碍浏览 进入关怀版