英伟达Vera Rubin全面投产，每Token成本骤降35倍的背后

来源：市场资讯

（来源：机器学习算法那些事）

英伟达Vera Rubin全面投产

每Token成本骤降35倍的背后

30倍每兆瓦吞吐、35倍降本、3400 tokens/s——当智能体把Token消耗放大15倍，电力正在取代算力成为AI工厂真正的稀缺资源

撰文 · 2026年8月25日 ｜ 阅读约12分钟

8月24日，Hot Chips 2026大会，英伟达在一天之内打出三张牌：推理加速器Groq 3 LPX宣布全面投产；新一代Vera Rubin NVL72公布基于真实芯片的智能体负载实测数据——每兆瓦吞吐量最高达到上一代GB300 NVL72的30倍，每Token成本最高降低35倍；SpaceXAI宣布采用Vera CPU，并计划把优化版Vera Rubin系统送入近地轨道。

消息发布的时点耐人寻味——就在英伟达周三季度财报发布的前一天。三条消息看似独立，实则指向同一个判断：随着智能体成为AI应用的主流形态，衡量算力平台的标准正在被改写。过去比的是训练峰值算力，现在比的是同样一兆瓦电力、同样的基础设施预算，能支撑多少智能体任务、能以多低的价格卖出每一个Token。

这不是一次常规的制程迭代。从七颗芯片的异构协同，到机架级的推理软件栈，再到卫星形态的轨道数据中心，英伟达正在把AI工厂从口号变成工程体系——而这套体系的第一性原理，已经变成了电表上的读数。

新闻速览

事件

Vera Rubin平台全系产品进入全面投产，推理加速器Groq 3 LPX量产，同日公布AgentX实测数据与SpaceXAI轨道计算合作

时间

2026年8月24日，Hot Chips 2026大会

关键数据

每兆瓦吞吐量最高30倍、每Token成本最高降低35倍、Token生成速度3400 tokens/s

测试基准

SemiAnalysis AgentX智能体工作负载（DeepSeek V4 Pro，1.6T参数）

平台构成

七芯片五机架：Vera CPU、Rubin GPU、Groq 3 LPX、NVLink 6、BlueField-4 DPU等

商业落地

Nebius为首个客户（Token Factory，年内上线），Groq为早期采用者

太空计划

Starmind AI卫星2027年第四季度发射，单星功率120kW

前置交易

2025年12月约200亿美元Groq技术授权，英伟达史上最大交易

一、一天三条重磅：Vera Rubin的拼图补齐了

先看这次发布最容易被忽略的定语——全面。英伟达此次确认进入量产的不只是Groq 3 LPX，而是整个Vera Rubin产品线：Vera CPU、Rubin GPU、Vera Rubin整机架服务器、Groq 3 LPX以及全套网络技术。Vera Rubin系统出货正在加速，量产其实早在2026年上半年就已启动，本次Hot Chips上的官宣，更像是给这条产线补上了最后一块拼图。

Groq 3 LPX的来历值得单独交代。2025年12月，英伟达与推理芯片公司Groq达成约200亿美元的技术授权协议——这是英伟达有史以来最大的一笔交易。交易采用非独占授权而非整体收购，Groq创始人Jonathan Ross与总裁Sunny Madra随技术一同加入英伟达；芯片由三星代工，每颗集成500MB片上SRAM。

芯片

角色与关键规格

Rubin GPU

大规模模型计算与长上下文处理，单GPU配288GB HBM4，带宽22TB/s

Vera CPU

智能体编排、代码执行与数据处理，88个自研Olympus核心，内存带宽1.2TB/s

Groq 3 LPX

低延迟Token生成专用加速器，源自Groq的LPU架构

NVLink 6 Switch

机架内scale-up互联，单GPU双向带宽3.6TB/s

BlueField-4 DPU

数据搬运与基础设施处理卸载

ConnectX-9 SuperNIC

网络接口加速

Spectrum-6以太网

机架间scale-out互联

至此，Vera Rubin已经不再是一块GPU，而是一套包含七款芯片、五类专用机架的完整体系。GPU仍然位于系统核心，但它不再独自承担AI基础设施的全部竞争任务——不同芯片处理最适合自己的计算阶段，再由高速互联与软件系统组合成一条完整的Token生产线。

“推理是AI的增长引擎。Grace Blackwell和NVL72以前所未有的性能与效率革新了大语言模型推理；Vera Rubin以面向智能体时代的工作负载优化配置延续了这一愿景，用LPX推进超快Token生成的性能前沿。这改变了智能的生产方式——恰逢全球AI计算需求加速之际，带来吞吐量、效率和响应速度的又一次巨大飞跃。”——英伟达创始人兼CEO黄仁勋

值得注意的是，英伟达特意强调Groq 3 LPX与GPU是互补而非替代关系：GPU仍是训练与通用推理的主力，LPX专攻延迟敏感的Token生成。用英伟达高级总监Dion Harris的话说：“这不是要取代GPU，而是让合适的处理器去干工作负载中合适的那部分。”

二、30倍从何而来：智能体改写了基准测试

要理解30倍这个数字，先要理解智能体负载为什么不一样。传统聊天或文档摘要的输入输出通常在1K～8K Token；而智能体会话中，上下文跨步骤累积，可以达到数十万Token。英伟达展示的一条真实智能体轨迹中，主Agent的上下文从约6万Token一路增长到接近40万Token，期间还穿插着2511次子Agent请求。

英伟达援引OpenRouter的数据：智能体AI工作负载消耗的Token数量最高可达简单聊天请求的15倍，真实AI流量的平均Prompt长度已增长约4倍。以一个投资研究智能体为例：它可能先查财务数据库，再搜新闻与公告，调用子Agent做同业对比与估值建模，最后综合成建议——每一步累积的Token都会成为下一步的输入。

简单聊天请求

1×

单轮输入输出，长度可预期

智能体请求

15×

上下文跨步骤累积至数十万Token

Token消耗量级对比（据OpenRouter数据） · 真实AI流量平均Prompt长度已增长约 4倍

正因如此，固定长度Prompt的传统跑分已经无法反映真实性能。英伟达采用了SemiAnalysis的AgentX工作负载——回放真实生产风格的智能体编程会话，保留原始的上下文增长、工具调用延迟与子Agent生成过程，以此评估计算系统处理真实Agent请求的能力。

一句话定义：AgentX衡量的不是单次推理的速度，而是整座AI工厂在真实智能体会话下的吞吐、延迟与成本结构。

结果相当惊人。在DeepSeek V4 Pro（1.6T参数）工作负载、每用户每秒160 Token的交互目标下，Vera Rubin NVL72每兆瓦吞吐量最高达到GB300 NVL72的30倍，每Token成本最高降低35倍。交互性上限同步上探——Vera Rubin可达约每用户280 Token/s，Blackwell不足180。

平台

每兆瓦吞吐量

每百万Token成本

H200 NVL8（Hopper）

基准

GB300 NVL72（Blackwell）

最高15×

最高降低10×

Vera Rubin NVL72最高30×最高降低35×

均为英伟达自测数据（AgentX，DeepSeek V4 Pro负载），待SemiAnalysis审核；尚未计入Vera CPU的工具调用性能

而在参数量更大的Kimi K3 2.8T模型上，GB300 NVL72相对H200的每兆瓦吞吐优势进一步拉大到80倍——模型越大，新架构的红利越明显。

需要强调的是，30倍不是芯片速度快了30倍。英伟达明确说明，这是机架级系统的协同设计结果：Rubin GPU配288GB HBM4（带宽22TB/s），NVLink 6为单GPU提供3.6TB/s双向互联带宽，再加上一整套为智能体重构的推理软件栈。

• Prefill/Decode分离

  ——上下文处理与Token生成各自独立扩展

• 速率匹配

  ——同步两类GPU的Token生产速度以最大化效率

• 大规模专家并行

  ——MoE专家子网络分布至整个scale-up域

• 分布式KV缓存与卸载

  ——内存跨GPU扩展，冷上下文分层到主机与存储

• KV感知路由

  ——新请求路由至已持有对应缓存的GPU，避免重算

电力管理同样是倍增器。NVIDIA DSX MaxLPS技术在GPU、机架与负载三个层级动态管理功耗，可在同样的兆瓦预算内部署最多40%更多的GPU——对拿不到更多电力的AI工厂而言，这几乎等于凭空扩产。

关键洞察：每兆瓦经济学

电力是新的硬约束 对电力受限的AI工厂而言，每兆瓦吞吐量决定收入上限，每百万Token成本决定利润率——英伟达已把这两项作为平台设计的直接目标。

评价体系正在迁移 硬件迭代重心从训练更大模型，转向单位能耗有效Token产出、单位成本任务处理能力与智能体任务时延。

数据边界说明

上述结果均由英伟达使用AgentX工作负载自测，目前待SemiAnalysis审核，且尚未计入Vera CPU在工具调用上的贡献。在第三方独立复测落地之前，30倍应被视作方向性信号，而非精确结论。

三、Groq 3 LPX：200亿美元买来的“解码专机”

大模型推理粗略分为两个阶段：Prefill（读取并处理Prompt与累积上下文，计算密集）与Decode（逐个生成新Token，延迟敏感）。对拥有数十万Token上下文的智能体而言，两个阶段对硬件的要求截然不同——Prefill需要算力与内存吞吐，Decode拼的是单Token生成延迟。这正是Groq 3 LPX的切入点。

一句话定义：Vera Rubin GPU负责大规模上下文处理，Groq 3 LPX专攻延迟敏感的Token生成——分工而非替代。

规格上，一个完整LPX机架容纳256颗LP30加速器，提供315 PFLOPS的FP8推理算力；片上SRAM总计128GB，SRAM带宽40 PB/s，机架级通信带宽640 TB/s。与依赖HBM的GPU架构不同，LPU架构强调极快的SRAM访问、确定性的编译器调度与严格受控的数据移动，以此压低推理期间的延迟波动。

指标

数值

加速器数量

256颗LP30

FP8推理算力

315 PFLOPS

片上SRAM

128GB（单芯片500MB）

SRAM带宽

40 PB/s

机架互联带宽

640 TB/s

速度成绩来自第三方。Artificial Analysis在Gemma 4 31B模型、100K上下文测试中测得Groq 3 LPX达到3431 tokens/s——该模型有记录以来的最快成绩，比最近的竞争平台快约4倍；英伟达自家SPEED Bench编码测试中，中位生成速度达到4767 tokens/s。英伟达称，这让多步智能体任务得以以分钟计而非以小时计。

更重要的是组合方式。LPX可直接与Vera Rubin NVL72协同部署：Rubin负责Prefill、LPX接管Decode；也可进一步拆分Attention与FFN计算，或让LPX充当投机解码的draft model。NVIDIA Dynamo负责在不同处理器之间调度负载——智能体背后的计算系统，正在越来越接近一座异构计算工厂。

商业化已经启动。AI云厂商Nebius是首个客户，将在其生产推理平台Nebius Token Factory中部署LPX机架，年内上线；Groq自己也将成为早期采用者，正与戴尔合作在其专用推理云中部署。Dion Harris点破了商业逻辑：对售卖Token的云厂商而言，LPX意味着可以向延迟敏感客户收取溢价——响应速度本身，正在变成一种可售卖的商品。

四、SpaceXAI入局：AI工厂开进近地轨道

第三条消息最富想象力。英伟达宣布SpaceXAI将大规模部署Vera CPU——这款被称作首款为智能体打造的CPU采用88个英伟达自研Olympus核心与高带宽LPDDR5X内存（1.2TB/s），在智能体、强化学习与数据处理负载中比x86 CPU快最高1.8倍。它在AI系统中扮演的是新角色：GPU负责模型计算，Vera承担任务编排、代码执行与数据处理，让GPU始终有活干、让智能体跑得快。

真正的看点是Starmind——SpaceX规划的轨道AI数据中心星座。2026年1月，SpaceX已向美国联邦通信委员会（FCC）提交申请，计划发射最多100万颗计算卫星。每颗Starmind卫星本质上是一套太空优化版Vera Rubin NVL72机架系统，单星功率120kW（峰值150kW），卫星间以激光链路互联——相当于把一台分布式太空超级计算机铺在近地轨道上。

要素

参数与规划

监管申请

2026年1月向FCC申请，最多100万颗计算卫星

单星形态

太空优化版Vera Rubin NVL72机架（Rubin GPU与Vera CPU）

单星功率

120kW，峰值150kW，硬件代号AI1

星间互联

激光链路

首批发射

2027年第四季度

规模化目标

2028年达到显著规模

时间表比市场预期更激进。马斯克在X上确认，与英伟达联合设计的太空优化版Vera Rubin NVL72将于2027年第四季度发射入轨，2028年达到显著规模——这比SpaceX招股书中披露的2028年计划提前了一年。他称卫星形态的数据中心比传统机架更简单、成本更低、密度更高、重量更轻，且不占土地、散热压力更小。

地面上的算力扩张同样惊人：SpaceX计划2026年底拥有超过2GW的AI算力，2027年底“更接近10GW而非5GW”，多个项目累计明年有望达到20GW；马斯克坦承部分项目可能延期，预计2027年底实现在线约15GW，并表示SpaceX预计将在2027年获得英伟达GPU“非常大比例”的份额。今年6月刚刚完成IPO的SpaceX，正把轨道数据中心从招股故事变成时间表。

“智能体AI需要一种新型计算系统——不仅要能生成答案，还要能采取行动。Vera赋予AI智能体实时行动的能力：执行代码、处理数据、协调复杂任务。SpaceXAI正在把这一架构从地面AI工厂延伸至轨道计算的下一个前沿。”——英伟达超大规模与高性能计算副总裁Ian Buck

冷静地看，轨道计算并不是把服务器搬上天那么简单：有限能源、更复杂的散热条件、高可靠性要求与长期无人维护能力，都是全新的工程约束。双方也未披露具体投资金额——这部分合作目前更接近方向公告，而非工程交付。

五、产业变局：新坐标、新对手与四个冷思考

把三条消息放在一起看，AI基础设施竞争的坐标系正在移动。天风国际证券最新研报的判断与此呼应：当前前沿AI竞争正向Agent执行框架与商业化兑现深化，硬件迭代重心将从追求训练更大模型，转向单位能耗有效Token产出、单位成本任务处理能力与智能体任务执行时延。

竞争维度也变了。英伟达在训练市场的统治地位并未自动延伸到推理市场——在推理市场，每Token成本与能效比和峰值算力同样重要，AMD、Cerebras等专业芯片公司一直瞄准同一类延迟敏感负载。用200亿美元把Groq的LPU架构收编进自家平台，正是英伟达对这一软肋的正面回应。

值得关注的机遇

01Token成本曲线整体下移 — 每Token成本最高降低35倍，直接改写智能体应用的经济模型，长链路任务从“烧不起”走向“可日常”

02响应速度成为新商品 — 3400 tokens/s级生成速度让多步任务以分钟计，云厂商得以开设延迟敏感的溢价服务层级

03电力约束出现解法 — DSX MaxLPS在同等兆瓦预算内部署最多40%更多GPU，tokens/MW成为可以直接经营的财务指标

但在为这些数字兴奋之前，还有四个需要冷静审视的问题：

四个冷思考

01数据尚待独立验证 — 30倍与35倍均为英伟达自测结果，仍待SemiAnalysis审核；引用时需注明来源与边界，避免把厂商叙事当作行业事实

02真实负载因模型而异 — 实际能效高度依赖模型架构、上下文长度、批处理策略与软件优化，30倍是特定条件下的最优区间而非普遍承诺

03轨道计算远未闭环 — 太空能源、散热、辐射加固与无人维护均为未解难题，Starmind目前是激进的时间表而非已验证的工程路线

04生态锁定进一步加深 — 七芯片五机架的“极致协同设计”意味着客户深度绑定英伟达体系，异构供应商的替代空间被进一步压缩

结语：智能的定价权，正在向电力转移

回看这次Hot Chips上的三连发，真正值得记住的不是30倍、35倍或3400 tokens/s这些具体数字，而是它们共同指向的产业逻辑：当智能体把Token消耗放大15倍，当上下文动辄数十万Token，制约AI的稀缺资源正在从芯片转向电力，衡量AI工厂的标尺正在从峰值算力转向每兆瓦吞吐与每Token成本。

这也解释了为什么英伟达要把摊子铺得这么大——GPU、CPU、LPU、DPU、网络、软件栈，甚至把整套架构送上卫星。未来的AI基础设施竞争，不再是单点芯片的性能竞赛，而是从电力入口到Token出口的整条流水线之争。

基础设施叙事切换 AI算力竞争的主叙事正从“训练更大模型”切换为“更便宜地生产Token”——英伟达用Vera Rubin把这一切换写进了产品定义。

对应用层的意义 Token成本每降一个数量级，就有一批此前不经济的智能体应用被解锁——35倍的降幅若经独立验证落地，将成为智能体大规模商用的最直接推手。