OpenAI自研芯片Jalapeño跑赢英伟达GB300，最大卖点是高吞吐、低延迟

Jalapeño对比英伟达GB300时，在响应速度和单位功耗吞吐量上取得领先，而且没有使用MTP。但OpenAI并没有把它包装成“英伟达杀手”，因为它暂时只负责推理，训练仍高度依赖GPU。

OpenAI正在把自研芯片推到与英伟达(NVDA.O)直接比较的位置。该公司披露，首款自研大模型推理芯片Jalapeño在公开基准测试中超过英伟达GB300，在单位功耗能够处理的AI工作量和响应速度两项指标上取得领先。

不过，这并不意味着OpenAI已经能够摆脱英伟达。Jalapeño目前只面向推理，不用于大模型训练，而且测试的比较对象也不是英伟达刚开始出货的新一代Vera Rubin。OpenAI硬件负责人Richard Ho明确表示，英伟达是一个非常好的合作伙伴，仍然需要大量英伟达芯片。

Jalapeño更直接的目标，是把部分推理负载转向OpenAI自己的基础设施，降低模型运行成本。Richard Ho称，只要未来能够扩大产量，而且实际成本节省达到预期，OpenAI希望让更多AI任务由自研芯片承担。

对比GB300，功耗和响应速度同时领先

专注于半导体与AI行业的独立研究机构SemiAnalysis指出，Jalapeño由OpenAI与博通合作开发，从2024年年中开始组建团队和推进设计，到完成流片约用了16个月。

在Hot Chips大会上，OpenAI公布了首批性能结果。Jalapeño采用SemiAnalysis的InferenceX进行测试，对比对象是英伟达GB300，当时GB300是这一公开基准体系中的领先产品。

按照测试结果，Jalapeño不仅每名用户的Token生成速度更高，每千瓦能够提供的吞吐量也更高。Richard Ho表示，最重要的是，这些结果显示，与当前最先进水平相比，性能提升非常、非常显著。

SemiAnalysis称，Jalapeño在几乎所有测试场景中的性能功耗比都超过GB300，而且取得这些结果时没有使用多Token预测，也就是MTP。相比之下，其他芯片采用的是各自表现最好的配置，并使用了MTP。

在DeepSeek R1模型上，并发量为1时，Jalapeño每名用户生成速度超过700 Token/秒。OpenAI还公开测试了自身较小的开放模型，以及DeepSeek和Moonshot AI的第三方模型，其中在Kimi模型上的优势更明显。

OpenAI称，内部测试中Jalapeño也运行了一些尚未发布的大型先进模型。公司据此认为，随着工作负载变得更大、更复杂，这套设计的价值可能进一步提升。

700瓦运行，OpenAI更看重成本

Jalapeño的另一个重点是功耗。Richard Ho表示，这款芯片能够在约700瓦功耗下取得较强性能，而电力正是大型AI数据中心的重要成本来源。

他在接受彭博采访时称，随着Jalapeño扩大部署，“它应该会大幅降低成本”。OpenAI希望通过更低的单位推理成本，支撑不断增加的模型调用和用户需求。

这也是OpenAI设计Jalapeño时重点解决数据搬运和通信问题的原因。公司称，芯片专门优化了Prefill和通信阶段，因为这些环节经常成为推理瓶颈。

OpenAI表示，设计Jalapeño是为了尽量减少数据移动和通信延迟。模型状态，包括生成回答时使用的KV Cache，可以被明确放置并尽量保留在本地，再根据不同推理阶段调用相应的计算、内存和网络资源。

SemiAnalysis认为，Jalapeño并不是一款只针对OpenAI模型设计的高度专用芯片，而是一款通用推理处理器，可以运行不同模型和工作负载。其优势更多来自软硬件协同，而不是对单一推理环节进行极端优化。

自研芯片不会取代英伟达

Jalapeño目前的定位也决定了它无法全面替代英伟达。它针对的是Inference，也就是模型完成训练后响应用户请求和执行任务的阶段，并不负责大模型训练，而训练仍是英伟达GPU的重要优势领域。

此外，Jalapeño此次没有与已经开始出货的Vera Rubin进行测试。因此，现有结果只能说明它在当前与GB300的测试中表现领先，不能直接推导为OpenAI已经超过英伟达最新一代芯片。

Richard Ho预计，Jalapeño将在2026年底以“非常小的规模”开始部署，更大规模使用要到2027年。届时，英伟达产品也可能已经进一步迭代。

OpenAI同样不会停止使用其他推理芯片供应商。公司目前部分模型仍使用Cerebras Systems的技术。Richard Ho表示，Jalapeño能够处理更大的模型，但短期内不会取代Cerebras，因为OpenAI对算力的需求仍然巨大。

“我们需要如此多的算力，这就是为什么我们签下了这么多不同的供应商。”他说，“这种情况还会持续一段时间。”

Jalapeño也不是一次性项目。OpenAI计划将其发展为多代际平台，让模型、芯片、内存和AI产品共同演进。公司还使用自身AI模型参与芯片开发，以加快设计流程。

Richard Ho透露，第二代芯片已经进入较深入的开发阶段，预计将在“未来几个月”完成流片，第三代产品的概念设计也已经启动。