吞吐量狂飙10倍！英伟达Vera Rubin开始批量“进厂”，谷歌微软甲骨文都用上了

芯东西（公众号：aichip001）
作者 刘煜
编辑 陈骏达

芯东西8月7日报道，7月21日，英伟达公布了Vera Rubin AI基础设施平台最新进展。该公司Vera Rubin NVL72正全面加速量产，目前已有机架部署在CoreWeave、谷歌云、微软智能云和甲骨文云基础设施等合作伙伴的数据中心。

与此同时，AI云服务商Nebius已在芬兰AI工厂收到首套Vera Rubin NVL72系统，并计划进一步扩展全球部署规模。该平台配套部署Spectrum-6 102.4T以太网交换机，用于实现Vera Rubin NVL72整机柜与外围大规模AI算力集群的高速互联组网。

经过三代机架级协同设计的迭代，Vera Rubin NVL72系统实现了托盘内无电缆、无风扇、无液冷软管的极简设计，将计算托盘的组装时间从过去的数小时大幅缩短至仅需1分钟。

该系统采用45℃高温液冷进水设计，无需传统冷水机组仅依靠干式冷却器就能完成整机散热。针对新建AI算力工厂，采用这套高温干式冷却搭配闭环液冷的组合方案，每兆瓦算力每年能够节省数百万加仑用水量（1美制加仑≈3.785升）。

CoreWeave、微软、SpaceXAI和特斯拉等企业正在部署Spectrum-6交换机，以此加快自家AI算力工厂的建设。此外，NVLink Fusion向第三方XPU开放了英伟达基础设施平台，使合作伙伴能够基于NVLink扩展技术和生态系统开发自己的计算方案。

Vera Rubin平台从芯片到电网进行了全栈协同设计，旨在提供最高的每瓦性能和最低的Token成本。英伟达称，该平台覆盖全球30个国家、超过350个工厂节点，已形成目前规模最大的机架级AI基础设施供应链体系。

一、Vera CPU 单线程性能提升1.6倍，内存延迟降低40%

Vera Rubin平台围绕Vera CPU、Rubin GPU、NVLink 6 Switch、ConnectX‑9 SuperNIC、BlueField‑4 DPU、Spectrum‑6 Ethernet Switch以及首次纳入该平台体系的Groq 3 LPU七款芯片，和Vera Rubin NVL72、Vera CPU机架、Groq 3 LPX、Spectrum-6 SPX以及Vera BlueField-4 STX五种机架系统展开协同设计。

其中，Vera CPU是该平台的关键组成部分。该CPU针对AI Agent工作负载设计，采用定制Olympus核心，相比竞品芯粒（chiplet）方案，单线程性能可提升2倍、核间带宽提升3倍、内存延迟降低40%。

同时，美国AI推理云厂商DeepInfra基于其生产级AI智能体基础设施对Vera CPU进行了基准测试，其算力平台每周处理约5万亿Token，其中约30%来自AI Agent系统。

测试结果显示，在保持相同服务质量的前提下，Vera CPU支持的并发AI智能体数量比其他CPU提升高达1.6倍，编排速度快2.2倍，同时还能提高基础设施的利用率和成本效益。

商业化落地方面，今年7月21日，微软与法国AI公司Mistral官宣扩大合作，Mistral将大规模搭载英伟达新一代Vera Rubin GPU（数千块）扩充算力池，搭建可支撑模型训练、推理、大规模商用部署的共享算力底座，同时承接微软日益增长的云AI业务需求。

在网络侧，Vera Rubin平台引入第六代NVLink纵向扩展技术。在复杂工作负载下，该技术相比通用以太网吞吐量提升超过2倍、延迟降低约1/3、数据包处理速度提升10倍。

针对跨数据中心场景，Spectrum-XGS以太网方案跨站点吞吐量提升1.9倍，进一步提升了多站点通信能力。

在横向扩展方面，Spectrum-X以太网平台集成102.4T的Spectrum-6交换机、1.6T的ConnectX-9 SuperNIC、自适应路由、拥塞控制和遥测技术等组件，使其RDMA带宽比通用以太网高出1.6倍，能提供更高规模的AI集群互联能力。

该交换机搭载英伟达共封装光学（CPO）技术实现集群横向扩容，这也是全球首款实现规模化量产的CPO架构交换机。对比传统插拔式光模块交换机，它的电源能效提升5倍、平均无故障工作时长提升10倍。

CoreWeave、Lambda、甲骨文云基础设施均是该CPO交换机技术的早期客户。

二、Vera Rubin NVL72每兆瓦吞吐量提升10倍，推理成本可降至1/10

CoreWeave是首批完成Vera Rubin NVL72部署和验证的AI云服务商。

硬件层面，CoreWeave以英伟达102.4 Tb/s Spectrum‑6交换芯片作为核心组网器件，整机柜交换机采用液冷散热方案实现高密度硬件堆叠，最终单台交换机整机柜总带宽达到1.64 Pb/s。对比前代风冷架构交换机机柜，整体网络吞吐容量实现翻倍。

网络架构层面，CoreWeave采用无阻塞、多平面、多轨道的叶脊（Spine and Leaf）组网方案。该架构能够消除集群内通信瓶颈，以保障基于Vera Rubin NVL72搭建的超大规模GPU算力系统中，所有GPU节点之间可实现无阻塞高速互连通信。

该公司首次放出了Vera Rubin NVL72上机实测的性能报告。实测显示，在部署DeepSeek-R1时，对比上代Grace Blackwell NVL72，Vera Rubin NVL72每消耗1兆瓦电力，其AI Token每秒吞吐量提升了10倍。

DeepSeek-R1采用混合专家（MoE）架构，在大规模部署时，GPU之间的All-to-All通信成为影响效率的重要因素。Vera Rubin NVL72通过260 TB/s的NVLink 6互连架构，提升GPU之间的数据交换效率，使整个机架能够作为统一计算单元运行。

除CoreWeave外，Vera Rubin NVL72还被用于谷歌云推出的新一代A5X裸金属实例。伦敦AI初创公司Ineffable Intelligence成为首批采用该实例的用户之一，其正在开发基于强化学习的“Superlearner”系统。

不同于依赖静态数据集训练的大语言模型，Ineffable的系统通过与环境持续交互生成经验，并进行策略更新。这类工作负载需要高算力、低延迟以及高带宽互连。

谷歌云A5X实例基于Vera Rubin NVL72机架级系统构建，相比上一代系统，该实例每Token推理成本降低至原来的1/10，每兆瓦Token吞吐量提升了10倍。

A5X搭载英伟达ConnectX-9 SuperNICs，搭配谷歌新一代Virgo高速网络架构，可在单数据中心内部扩容部署数万颗Rubin系列GPU，做多地域组网时，整体集群规模能够逼近百万颗GPU级别。

结语：简化高密度算力交付，减少算力周期成本

相较于前代AI算力方案，Vera Rubin平台通过全栈协同重构AI算力集群的部署、运行与能耗体系。其极简模块化的机架设计，压缩了算力设备的部署与运维成本，一定程度上解决了传统高密度算力集群装配繁琐、故障率高的痛点。

同时，依托新一代高速互联网络、规模化CPO交换技术与节能液冷方案，该平台实现了算力吞吐量、能效、成本的多重优化，精准适配大模型MoE架构、AI Agent、强化学习等新型复杂AI负载的落地需求，也为当前规模化、商业化的AI应用提供了更成熟的底层支撑。

来源：英伟达官网