OpenAI掀桌，自研芯片超越英伟达

这颗与博通联合开发的700W推理芯片首次公布实测数据，在能效和延迟表现上展现出亮眼成绩，同时也将HBM4供应和规模化部署的问题带到了台前。

就在英伟达宣布将为OpenAI数据中心提供最高1050亿美元融资支持后不到两周，OpenAI又在Hot Chips大会上公布了其首款自研芯片Jalapeño的最新测试成绩，并称其在AI推理任务上的表现超过了英伟达GB300。

Jalapeño是OpenAI与博通共同开发的一款推理ASIC。在SemiAnalysis公开的InferenceX测试中，Jalapeño的每千瓦吞吐量达到英伟达GB200和GB300机架系统的1.5至1.9倍，同时端到端延迟降低1.7至3.6倍。值得注意的是，Jalapeño的芯片功耗额定值为700W，而此次对比的英伟达加速器额定功耗分别为1200W和1400W。OpenAI计划在今年晚些时候将Jalapeño部署到自有数据中心。

这组成绩来自三个公开模型：GPT-OSS 120B、DeepSeek R1 670B，以及Moonshot AI推出的1万亿参数Kimi K2.5。OpenAI表示，在更低延迟的运行条件下，Jalapeño的优势更加明显。在GB300此前最快的time-between-tokens设置下，Jalapeño的每千瓦吞吐量优势最高达到8.6至104.3倍。

来源：OpenAI

但这不是一次“全面对决”

OpenAI在测试中按照各加速器公布的封装TDP进行了功耗标准化，Jalapeño的额定功耗为700W，而实际测试中的持续功耗不超过550W。如果采用每颗加速器的全部系统功耗进行比较，Jalapeño为1.18kW，GB300则为2.55kW，两者之间的差距会有所缩小。此外，如果将Jalapeño与采用多Token预测的GB300进行比较，其峰值能效优势也会缩小至约1.5倍。

这组成绩不能简单理解为Jalapeño已经全面击败了英伟达。还有一个更重要的限定条件：这次测试并没有加入英伟达下一代Vera Rubin平台。

Vera Rubin是英伟达下一代AI计算平台，而OpenAI计划在2026年下半年部署的首个1GW规模英伟达系统就属于这一平台。因此，目前Jalapeño公布的成绩，主要是与现有的GB200、GB300系统进行比较，并不能直接说明它已经超过了下一代Vera Rubin。

同时，Jalapeño的定位本身也与英伟达的通用AI加速器有所不同。它是一款专门面向推理的ASIC，不负责模型训练，而模型训练恰恰是英伟达GPU目前仍然占据明显优势的领域。

因此，更准确的说法应该是：OpenAI正在推理这一特定工作负载上，用自研芯片挑战英伟达现有产品的性能和能效，而不是已经全面取代英伟达。

SemiAnalysis表示，其与OpenAI工程师在OpenAI实验室中运行了InferenceX测试，并认为Jalapeño已经超过其测试过的英伟达、AMD和Google芯片。

Jalapeño为什么能做到更高能效？

那么，Jalapeño究竟是怎么做到的？

这颗芯片今年6月首次亮相，从RTL设计到流片仅用了9个月。每个Jalapeño封装包含一个计算Die和6颗HBM4堆栈，总容量达到216 GiB，带宽达到15.4 TB/s。

相比之下，GB300搭载288GB HBM3E，额定功耗为1400W。按照额定功耗计算，Jalapeño每瓦所对应的内存容量约高出50%。

OpenAI在Hot Chips上的介绍显示，Jalapeño的设计重点并不是简单增加HBM带宽，而是让芯片能够更充分地利用现有的HBM带宽。这也是Jalapeño架构设计的核心之一。

现代大语言模型推理过程中，不同阶段存在不同的性能瓶颈。Prefill阶段主要受计算能力影响，而Decode阶段则更加依赖内存带宽。此外，当模型状态需要在不同计算核心和芯片之间移动时，通信本身也会增加延迟，并让部分计算资源处于等待状态。

因此，Jalapeño从设计之初就试图减少数据移动和通信带来的开销。包括生成过程中使用的KV Cache在内的模型状态，可以被明确放置并保持在本地，同时根据不同推理阶段调用相应的计算、内存和网络资源。

换句话说，OpenAI并不是单纯设计一颗计算芯片，而是从模型推理的实际需求出发，把计算、内存、网络以及机架级系统放在一起进行设计。

OpenAI开始把AI用于做芯片

这也体现出OpenAI做自研芯片的另一层意义：它可以直接利用自身对模型和工作负载的理解来定义芯片。

在Jalapeño的开发过程中，OpenAI自己的AI模型也参与了芯片设计。OpenAI表示，AI帮助工程团队探索不同实现方案、缩短设计、测量和验证周期，并持续根据模型工作负载进行迭代，还参与优化芯片中的算术电路，使芯片能够在规定时间内容纳更多计算性能。

同时，Jalapeño也被设计成一个更加明确、可预测的编程目标。工程师可以通过本地存放、芯片之间的通信方式以及同步机制，为AI优化计算任务的映射和调度提供了明确的规则。

这种方式也被OpenAI用于后续的软件优化。借助Codex和GPT-Astra，团队在两个月内将三个原本不属于Jalapeño首批生产计划的开放权重模型优化到较高性能。其中，部分GPT-OSS注意力模块和混合专家模块的AI生成实现，比此前由人工专家编写的实现快1.5至1.8倍。不过，这一数据只针对特定模块，并不代表完整模型都实现了相同比例的提升。

自研芯片的下一道门槛：HBM

从这里看，Jalapeño真正值得关注的地方，并不只是一次基准测试成绩，而是OpenAI正在尝试建立一套从模型、软件到芯片和系统的协同开发模式。

但Jalapeño大规模部署也面临一个现实问题：HBM。

目前HBM已经成为半导体产业最紧张的关键资源之一。三星、SK海力士和美光的HBM产能已经销售至2027年，供应紧张程度甚至让英伟达开始测试搭载最低192GB内存的精简版Rubin Ultra配置。SK海力士CEO Kwak Noh-jung也曾警告称，2027年可能成为HBM供应紧张程度最严重的一年。

与此同时，美光在Hot Chips上表示，在容量相同的情况下，HBM所消耗的晶圆面积大约是DDR5的3倍，而且随着HBM不断迭代，这一差距还会进一步扩大。

因此，如果OpenAI按照此前与博通签署的10GW部署协议大规模扩展Jalapeño，其对HBM4的需求也将快速增加。这意味着，OpenAI不仅需要面对芯片设计和制造问题，还需要进入与英伟达争夺HBM产能的市场。

第二代已经在路上

但Jalapeño显然不会止步于第一代。

据报道，第二代芯片已经接近流片，预计将在未来几个月完成，第三代芯片也已经开始进行概念设计。第一代Jalapeño据报道采用台积电3nm级工艺，这也意味着未来一段时间，OpenAI仍将与Blackwell、Rubin等产品共享晶圆、内存和先进封装等产业资源。

有意思的是，就在OpenAI公布Jalapeño测试成绩之前，英伟达刚刚宣布为OpenAI在俄亥俄州的数据中心提供最高1050亿美元的融资支持。

也就是说，一边是OpenAI拿着自研芯片的成绩单与英伟达正面比较，另一边却仍然需要英伟达提供大规模基础设施支持。

OpenAI硬件副总裁Richard Ho也明确表示，英伟达仍然是“非常好的合作伙伴”，OpenAI依然需要大量使用英伟达产品。

这或许才是Jalapeño此次亮相最值得关注的地方，OpenAI并不是要马上摆脱英伟达，而是在训练之外的推理环节，开始建立属于自己的硬件选择。

从第一代Jalapeño，到正在推进的第二代和第三代芯片，OpenAI正在把自研芯片从一次性的定制项目，逐渐变成一个持续迭代的平台。

对于AI芯片市场来说，竞争也正在从“谁提供最强的通用加速器”，进一步延伸到“谁能够针对自己的模型和实际工作负载，把整个推理系统做得更快、更省电”。

Jalapeño或许还无法撼动英伟达在整个AI计算市场中的地位，但OpenAI已经开始证明，在AI推理这个越来越重要的战场上，模型公司自己做芯片，确实可能成为一种新的选择。

*声明：本文系原作者创作。文章内容系其个人观点，我方转载仅为分享与讨论，不代表我方赞成或认同，如有异议，请联系后台。