推理芯片又火了，但这个市场不会出现另一个英伟达

最近，推理芯片市场又热了起来。

过去两周，OpenAI 发布首款自研推理芯片 Jalapeño，Etched 带着 8 亿美元融资走出隐身模式，Anthropic 被曝与三星讨论定制芯片，DeepSeek 和智谱也传出自研消息。Meta 的新一代 MTIA 计划于 9 月启动制造，Positron 则在洽谈约 7.5 亿美元新融资。

SambaNova 的估值变化最能说明市场情绪。去年 12 月，Intel 曾接近以约 16 亿美元收购这家公司，谈判后来搁置。今年 7 月，SambaNova 完成 10 亿美元融资的首次交割，投后估值达到 110 亿美元。7 个月内，资本市场给它的价格翻了近 7 倍。

回望前一两年，Groq、Cerebras、Graphcore、SambaNova 等公司先后以推理效率、低延迟或新型芯片架构进入市场，许多都打着“挑战英伟达”的旗号。后来，Graphcore 低价卖给软银，Groq 把推理技术授权给英伟达，Cerebras 虽然完成上市，收入和毛利率仍受到质疑。英伟达的市场地位并没有明显动摇。

既然上一批挑战者没有改变格局，资本为什么又一次涌入推理芯片？

单从名单上来看，这一轮还真是有些不同。上一轮的主角大多是芯片创业公司；最近下场的还有 OpenAI、Meta、Google、Amazon 和 Anthropic，还有媒体报道 DeepSeek 与智谱也在筹备各自的推理芯片。它们过去是芯片的买家，现在开始参与定义和设计芯片，而且手里握着创业公司最缺的东西：模型、用户和长期运行的推理负载。

那么问题来了，模型厂商涌入，是否足以让这一轮走向不同的结果呢？以及，它们为什么选择从推理入手？推理市场是否真的能容纳多种芯片？英伟达过去建立的优势，又有多少能够从训练延伸到推理？

回答这些问题，需要先回到上一轮竞争的起点：为什么那么多芯片公司挑战英伟达，市场上却始终没有出现一个稳定的第二名。

训练市场为什么只剩英伟达

英伟达在 AI 训练市场的地位，通常被归因于 GPU 性能和 CUDA。但这个解释其并不完整，更完整的来说，是训练需要的各项能力最终被英伟达集中到了一套系统里。

目前，前沿模型训练仍在快速变化。模型架构、并行方式、数据精度和通信方法都可能在一代产品中调整。研究人员需要足够通用的芯片，也需要成熟的编译器、算子库和调试工具。集群扩大到数千乃至数万颗芯片后，网络、通信和系统稳定性的重要性又会超过单颗芯片的峰值性能。

而英伟达所提供的已经不只是一颗 GPU。CUDA、NVLink、网络芯片、服务器和软件工具共同构成了一套可以反复使用的平台。模型公司更换芯片，意味着大量软件和工程工作需要重做。

过去十年，挑战者在这件事上不断失败。Intel 2016 年收购 Nervana，几年后终止相关产品；2019 年又以约 20 亿美元买下 Habana Labs，Gaudi 系列一直没有形成足以动摇英伟达的规模。Wave Computing 申请破产。Graphcore 巅峰估值达到 28 亿美元，2024 年以据报道约 5 亿美元的价格卖给软银。

图丨英特尔 Gaudi 3（来源：Intel）

这些公司未必输在单颗芯片性能上。更核心的原因在于，训练客户需要一整套能够跟上模型变化的系统，而软件生态和集群经验会随着客户数量继续积累。领先者会获得更多用户，也获得更多反馈，再把反馈写进下一代硬件和软件。后来者需要同时追赶芯片、软件、网络和客户习惯。

推理的情况则不是这样。在模型投入使用后，负载会在一段时间内变得相对稳定。运营方知道自己要运行哪些模型，也能大致预测请求长度、并发量和延迟要求。芯片不必为所有可能出现的算法保留同样多的灵活性，可以把更多资源放到具体任务上。

更重要的是，推理场景之间差异很大。实时语音要求低延迟，批量生成更关心吞吐量；长上下文需要更大的内存，简单对话看重单位成本；搜索和金融业务追求快速响应，视频生成可以等待更久，却会持续占用更多计算资源。

训练只在乎谁最强，所以收敛到了一家。但推理在乎的东西太多，延迟、容量、功耗、单位成本，不同场景排序完全不同，没有一颗芯片能同时在所有维度上领先。理解了这个区别，我们也就理解了如今市场的火热：推理市场结构性地存在多条路线，所以资本同时押注是合理的，甚至是不同类型的公司都找到了自己非做不可的理由。

造模型的人开始造芯片

Google 是最早把模型和芯片放在一起设计的公司。TPU 已经迭代多年，最初主要服务 Google 内部业务，后来逐步通过云服务向外部客户开放。最新一代 TPU 又拆分为训练芯片 TPU 8t 和推理芯片 TPU 8i，分别针对不同负载。

Amazon 也在做类似的事。它的 Trainium 同时覆盖训练和推理，Graviton 则用于通用云计算。Amazon 今年披露，Graviton、Trainium 和 Nitro 等自研芯片业务的年化收入已经超过 200 亿美元，AWS 新增计算能力中有一半以上运行在 Graviton 上。

实际上，在研发出 Graviton 后，Amazon 并没有把 Intel 和 AMD 赶出 AWS，却改变了两家公司与 AWS 之间的关系。AWS 可以把适合的负载迁移到自研 CPU，也可以继续采购外部产品。自研芯片只要承担一部分足够稳定的业务，就能降低成本，并在采购谈判中增加一个选择。

Meta 正把同一思路用到 AI 上。公司已经在推荐、广告和内容分发中部署数十万颗 MTIA，未来两年计划推进 MTIA 300、400、450 和 500 四代产品，后两代将主要处理生成式 AI 推理。通过复用芯片模块、机架和软件，Meta 希望把更新周期压缩到 6 个月左右。

但这不意味着 Meta 会停止购买 GPU。今年 2 月，Meta 宣布与英伟达扩大合作，将部署数百万颗 Blackwell 和 Rubin GPU；随后又与 AMD 签署最高 6 吉瓦的长期协议。与此同时，Meta 还租用 Google TPU，并讨论从 2027 年开始直接采购。

Meta 的采购名单越来越长，自研芯片只是其中一项。它的意义在于，新增推理负载不必全部交给某个外部供应商。只要 MTIA 能接走一部分稳定业务，Meta 就可以少付一些采购成本，也可以更灵活地安排数据中心容量。

大模型公司的动机更直接，对于它们来说，推理成本就是毛利率。OpenAI 和 Broadcom 合作的推理 ASIC Jalapeño 六月底发布，从立项到流片只用了九个月，OpenAI 负责提出模型、算子、内存和推理系统的需求，博通完成芯片实现和网络设计，Celestica 参与板卡、机架及系统集成。这是一项联合定制工程，OpenAI 掌握需求定义，半导体和系统公司负责把它变成可以部署的产品。据 Broadcom CEO Hock Tan 称，这颗芯片能比传统 GPU 省大约一半成本。

而 Anthropic 目前仍处于更早阶段。它已经大量使用 Google TPU、AWS Trainium 和英伟达 GPU，7 月初又被曝与三星讨论一款采用 2 纳米工艺的定制芯片。公司尚未决定是否正式推进。但即使项目成立，预计自研芯片也只会先作为现有算力的补充。

几家公司都没有表现出彻底离开英伟达的打算。它们在做的是把硬件选择从一种增加到几种，再把最稳定、规模最大的推理负载逐步转移出去。

这一趋势也养大了博通。博通 2026 财年第二季度来自 AI 半导体的收入已经达到 108 亿美元，同比增长 143%，主要来自定制加速器和 AI 网络。陈福阳预计，2027 财年的 AI 半导体收入可能超过 1000 亿美元。

博通很少以自有品牌与英伟达正面竞争。它帮助 Google、Meta、OpenAI 等客户实现芯片，再提供网络和系统组件。大模型公司想自己定义芯片，博通则把这件事做成了一门可以复制的生意。

中国公司还要考虑能不能拿到芯片

DeepSeek 和智谱面临的条件不同。

路透社 7 月 7 日报道，DeepSeek 的推理芯片项目已进行约一年。公司正在接触芯片设计、代工和存储企业，也在非公开渠道招聘芯片工程师。项目仍处于早期阶段，连代工伙伴都没有确定。

DeepSeek 此前已经尝试把更多工作迁移到国产硬件。路透社去年报道称，DeepSeek 在使用华为昇腾芯片训练新模型时遇到稳定性、芯片互连和软件问题，后来采用英伟达芯片训练、昇腾芯片推理的组合。今年发布的 V4 又进一步适配了昇腾平台。

推理芯片是这条路线的延伸。DeepSeek 熟悉自己的模型结构，也积累了低精度计算、混合专家模型和推理优化经验。如果一颗芯片只服务 DeepSeek 的模型，它可以围绕这些特征设计，不必照顾所有框架和客户。

困难也显而易见。先进制程、高带宽内存、封装和软件工具都受到供应限制。芯片完成设计，并不等于能够顺利量产。美国模型公司做定制芯片，主要考虑成本、效率和供应商议价；DeepSeek 还要同时考虑哪些硬件能够长期获得。

智谱的项目比 DeepSeek更早。The Information 的报道显示，智谱向部分中国芯片设计企业作了初步询问，评估为 GLM 定制 ASIC 的可能性。智谱此前已经投入大量工程资源，让 GLM 适配昇腾、寒武纪、摩尔线程等国产算力平台。

广泛适配解决“在哪里能跑”，定制芯片解决“跑一次要多少钱”。随着 GLM 的调用量继续增长，后一个问题正在变得越来越重要。智谱是否拥有足以摊平芯片设计成本的稳定负载，目前仍需要更多数据。

创业公司各自寻找一小块市场

模型厂商和云厂商会优先拿走最稳定、规模最大的内部负载。Google 可以让 TPU 先运行 Gemini，Meta 可以把推荐、广告和生成式 AI 任务迁移到 MTIA，OpenAI 也能根据 ChatGPT、Codex 和 API 的使用方式设计 Jalapeño。它们不需要向外部客户证明芯片适合所有模型，只要在自家业务中节省足够多的成本，项目就有继续投入的理由。

创业公司没有这样的内部需求，所以它们必须找到一批需求足够明确、又没有能力自研芯片的客户，再证明自己的方案比通用 GPU 更合适。

这部分市场并不整齐。企业本地部署、低延迟服务、大内存模型、批量生成和主权算力项目，对芯片的要求差别很大。创业公司通常不会同时解决所有问题，而是选择其中一种需求，把产品做得更专用。

Etched 押注的是模型架构。它的 Sohu 是一款专门运行 Transformer 的 ASIC，把这类模型常用的计算模式直接固化到硬件中。芯片不必为其他算法保留太多通用能力，理论上可以获得更高的利用率和吞吐量。代价也很明确：如果主流模型架构发生较大变化，Sohu 很难像 GPU 一样通过软件更新继续适配。

Etched 宣称，一台装有 8 颗 Sohu 芯片的服务器可以提供相当于 160 颗 H100 的推理吞吐量。不过这个结果尚未经过独立测试。公司公布的超过 10 亿美元合同也是远期订单，客户名称、付款条件和取消条款都没有披露。Sohu 计划在今年夏天开始交付，届时才能看到纸面性能能否转化成稳定部署。资本已经给 Etched 约 50 亿美元估值，产品验证则刚刚开始。

图丨EtchedSohu（来源：Etched）

SambaNova 寻找的是另一类客户。摩根大通选择它作为推理基础设施合作伙伴，主要需求是把模型部署在企业内部，让敏感数据留在自己的系统中。大型银行、政府和受监管行业通常不会把所有数据交给公有云，也未必愿意完全依赖英伟达的标准服务器。SambaNova 提供芯片、服务器和软件组成的完整系统，希望用本地化部署换取长期客户。

这条路线更接近传统企业 IT 生意，销售和交付周期也更长。客户需要验证安全、稳定性、软件兼容和运维能力，芯片跑得快只是采购条件之一。SambaNova 去年底一度接近以约 16 亿美元卖给 Intel，今年 7 月却以 110 亿美元估值完成新一轮融资。估值在 7 个月内大幅上升，说明资本重新看好企业推理需求；摩根大通等客户能否复制，才会决定这种估值能否站住。

Positron 主要解决内存和功耗问题。大模型在解码阶段需要反复读取模型权重和 KV Cache，芯片拥有多少内存、能多快读取数据，经常比峰值算力更重要。Positron 的第一代 Atlas 使用 FPGA，公司称其内存利用率和每瓦性能优于 H100。下一代 Asimov 才是自研 ASIC，目标是给单颗加速器连接更大的高速内存。

目前，Positron 的性能数据主要来自公司测试，也没有提交公开的 MLPerf 结果。投资者押注的不是一款已经得到充分验证的芯片，而是一个判断：未来大模型推理的主要瓶颈会从计算能力逐渐转向内存容量、带宽和电力。

Groq 则长期专注低延迟。它使用大量片上静态随机存取存储器（SRAM），减少处理器访问外部内存的时间，让 token 以较稳定的速度输出。这种架构适合实时对话、语音和智能体通信，但片上内存容量有限，运行大型模型往往需要连接更多芯片。

2025 年 12 月，英伟达与 Groq 签署非独家技术许可协议，并招募其创始人和部分核心员工。Groq 公司仍然独立运营，没有被英伟达整体收购。此后，英伟达把 Groq 的低延迟推理技术加入 Vera Rubin 平台，用于新的 LPU 和 LPX 系统。

这笔交易一方面证明低延迟推理具有价值，另一方面也暴露了独立芯片公司的处境。Groq 建立了有辨识度的技术路线，却仍然需要英伟达的资本、客户渠道和系统平台把它推向更大规模。

一级市场同时投资 Etched、SambaNova 和 Positron，并不意味着投资人认为它们会共同成为综合性芯片巨头。更可能的判断是，推理市场会长期保留多种需求，每家公司都有机会占据其中一部分。Etched 服务愿意押注 Transformer 的客户，SambaNova 寻找企业本地部署，Positron 解决内存和功耗，Groq 面向低延迟任务。

市场足够分散，为创业公司提供了入口；但入口很多，不等于每个入口都能形成一门有利润的生意。

Cerebras 是目前少数已经进入公开市场、能够作为参照的非英伟达芯片公司之一。它并非只做推理，但高速推理已经成为其重要卖点。公司 5 月通过 IPO 募集 55.5 亿美元，首日上涨 68%；6 月公布首份财报后，股价又回到发行价附近。

导火索是它将第二季度的毛利率指引从 47% 一口气砍到了 36% 至 38%，全年经营亏损率预计 28% 到 32%。公司没有把毛利率下降完全归因于价格竞争，因此不能简单得出“为了降价（和英伟达）抢客户”的结论。但数据至少说明，芯片制造、系统部署和推理服务需要持续投入，需求增长不会自动变成高利润。

如果 Google、Meta、Amazon 和头部模型公司都逐渐扩大自研芯片部署，这些独立厂商能够争取的客户将主要包括三类：没有能力设计芯片的企业和云服务商，需要本地部署的政府与金融机构，以及自研芯片尚未到位、需要补充算力的模型公司。

这批客户确实存在，规模也在扩大。问题在于，它们是否愿意长期使用一套规模较小、软件生态尚未成熟的硬件平台。50 亿或 110 亿美元的估值，最终需要由连续采购、稳定利用率和可重复的毛利来支撑。融资和远期合同只能让公司走到量产，无法替它完成后面的验证。

英伟达开始接受一个更分散的市场

去年 12 月，英伟达与 Groq 签订非独家技术许可协议，并吸收了 Groq 的创始人及部分核心员工。Groq 公司仍然独立运营。英伟达在年报中为这笔交易确认了 144 亿美元商誉和 25 亿美元技术类无形资产，合计约 169 亿美元。

今年 3 月的 GTC 上，英伟达把 Groq 的低延迟推理技术带进 Vera Rubin 平台，发布 Groq 3 LPU 和 LPX 机架。此前为推理设计的 Rubin CPX 没有出现在最新路线图中，英伟达后来确认，现阶段的重心已经转向 Groq LPU。

（来源：PCMag）

同月，英伟达向 Marvell 投资 20 亿美元，将 Marvell 的定制芯片和网络产品接入 NVLink Fusion。AWS 也计划让 Trainium4 支持 NVLink。这意味着即使客户使用自研 ASIC，仍然可以采用英伟达的互连、CPU、网卡和机架标准。

黄仁勋曾在 CES 2026 上说九成的 ASIC 项目会失败，在媒体圆桌上说专用芯片“没有竞争力”，到了 GTC 又说“推理的拐点已经到来，需求还在往上走”。再结合后来的举措，可以发现英伟达实质上已经接受了推理市场的分化。其实英伟达也不需要所有推理任务都运行在 GPU 上，只要更多芯片接入它的网络和系统，市场分化也能成为另一种收入来源。

TrendForce 预计，2026 年云厂商自研 ASIC 服务器的出货量将增长 44.6%，GPU 服务器增长约 16.1%。这个预测更像是市场扩张后的分流。训练、快速变化的模型和通用推理仍然需要 GPU；稳定的大规模负载会逐渐迁移到定制芯片；对延迟、内存和本地部署有特殊要求的客户，则会尝试创业公司的产品。

短期内，几条路线都可能增长。更长时间看，现在的公司数量远远超过市场能够养活的数量。

训练时代，人们不断寻找“下一个英伟达”，最后没有找到。而推理市场不太会重复这个过程。英伟达仍可能是其中规模最大的公司，但最大的买家正在设计自己的芯片，剩下的需求又分散在不同场景里。

因此，推理芯片不会只剩一个赢家，但可能也留不下现在这么多玩家。

参考资料：

1.https://openai.com/index/openai-broadcom-jalapeno-inference-chip/

2.https://techcrunch.com/2026/06/30/nvidia-competitor-etched-hits-5b-valuation-1b-in-sales-for-ai-chip/

3.https://techcrunch.com/2026/07/02/anthropic-is-discussing-a-new-custom-chip-with-samsung/

4.https://www.cnbc.com/2026/07/08/sambanova-ai-chip-funding-valuation.html

5.https://www.bloomberg.com/news/articles/2026-07-08/nvidia-rival-positron-holds-talks-to-raise-funds-at-5-billion-valuation

6.https://techcrunch.com/2026/07/09/metas-new-ai-chips-will-begin-production-in-september/

7.https://www.infoq.cn/article/sLYxUorQQs5K17DILrx8

8.https://www.cnbc.com/2025/12/24/nvidia-buying-ai-chip-startup-groq-for-about-20-billion-biggest-deal.html

9.https://www.cnbc.com/2025/10/23/anthropic-google-cloud-deal-tpu.html

10.https://www.bloomberg.com/news/articles/2026-06-23/cerebras-projects-2026-sales-that-leave-investors-wanting-more

11.https://www.tomshardware.com/pc-components/gpus/nvidia-removes-rubin-cpx-accelerators-from-its-roadmap-groq-3-lpus-take-center-stage-as-cpx-is-removed

12.https://www.deloitte.com/us/en/insights/industry/technology/technology-media-and-telecom-predictions/2026/compute-power-ai.html

注：封面/首图由 AI 辅助生成