Groq推理芯片成本仅为英伟达的五分之一，速度却翻倍！

随着人工智能计算能力的持续增长，计算基础设施提供商 Nebius 的一位专家接受了 AlphaSense 的采访，阐述了该行业的现状。

尽管英伟达 (NVIDIA) 的领先人工智能 GPU 在性能方面仍然处于行业领先地位，但这位专家认为，其他替代方案正日益受到欢迎，尤其是在行业成本指标发生变化的情况下。

此外，由于提供商可以轻松实现 100% 的利用率，从而降低成本并最大程度地提高投资回报，因此对人工智能计算能力的需求依然旺盛。

专家表示，随着行业从按GPU每小时成本转向按百万代币成本成本，NVIDIA芯片的替代方案越来越受欢迎。

据专家介绍，目前人工智能基础设施行业的定价取决于所使用的GPU类型以及容量是预先预留还是按需使用。对于按需使用，NVIDIA的H100 GPU每小时收费2.95美元，H200每小时收费3.50美元，而最新的Blackwell B200每小时收费在4.90美元到6.50美元之间。

相关报道：高通数据中心CPU传闻来得正是时候，因为智能体人工智能正进入超高速发展阶段

但是，如果预留容量，价格就会下降。对于涵盖一到两年合同期限且至少需要 10,000 个 GPU 的预留容量，H100、H200 和 B200 的价格分别为 1.50 美元、2.20 美元，而 B200 的价格至少为 3.50 美元。

企业转型：为什么推理正在推动基于令牌的定价

2025年底，英伟达宣布与芯片初创公司Groq达成一项非独家授权协议。该协议是英伟达当时迄今为止规模最大的一笔交易，涵盖了Groq的人工智能推理技术。据Nebius专家称，目前推理技术占企业工作负载总需求的90%到95%。这是因为企业现在更多地依赖预训练模型或API，而不是自行开发软件。

专家表示，人工智能基础设施市场的变化不仅限于从训练转向推理。另一个变化是成本结构的转变，以及对英伟达GPU替代芯片需求的增长。

每百万代币成本：NVIDIA Blackwell 与 Groq 对比分析

目前，一种新的收费模式是按代币或百万代币向用户收费。据了解，Groq 的芯片价格非常实惠，每百万代币仅需 5 到 10 美分。相比之下，NVIDIA 的 GPU 价格高出五倍，B100、B200 或 B300 的价格为每百万代币 25 美分。此外，Gross 的芯片不仅价格低廉，速度也更快。Nebius 的专家表示，Gross 的芯片每秒可处理高达 800 个代币，几乎是 NVIDIA 芯片每秒 450 个代币的两倍。

指标

NVIDIA（Blackwell B200）

Groq LPU

成本（每百万代币）

0.25美元

0.10 美元（便宜 60%）

吞吐量（令牌/秒）

450

800

（速度提升 77%）

主要工作量

重型训练/企业

高速推理