英伟达Hot Chips连轰大招：Groq 3 LPX全面量产，SpaceXAI部署Vera，首提Scale-In网络基础设施

芯东西（公众号：aichip001）
作者 ZeR0
编辑 漠影

芯东西8月26日报道，本周Hot Chips大会期间，英伟达公布多项重要进展，包括：宣布交互式AI推理加速器NVIDIA Groq 3 LPX现已全面量产，宣布SpaceXAI将部署NVIDIA Vera CPU，展示最新一代硬件加速的Spectrum-X以太网架构Spectrum-X多平面，推出专为智能体AI工厂打造的Scale-In基础设施，并介绍将XPU与英伟达AI平台连接的NVLink Fusion。

针对智能体时代的全新基础设施需求，英伟达重新设计了AI工厂的网络架构。纵向扩展（Scale Up）利用NVLink将GPU整合为一个庞大的计算域，横向扩展（Scale Out）使用Spectrum-X以太网交换机和SuperNIC（结合Spectrum-X多平面技术）连接数十万个GPU，跨区扩展（Scale-Across）连接不同区域范围内的工厂，上下文扩展（Context-Scale）为工作负载扩大内存可用性，新增的向内扩展（Scale In）专为安全、数据和运营提供加速。

这五大支柱共同构建了整个AI工厂的扩展体系。而NVLink Fusion则是英伟达将定制芯片引入英伟达AI基础设施平台的方式。

一、Groq 3 LPX全面量产，Nebius成首家采用的AI云服务商

智能体AI带来了两项不同的计算挑战：高效处理海量上下文，以及以极低延迟生成Token。

交互式AI推理加速器NVIDIA Groq 3 LPX专为提升Vera Rubin平台的交互性而打造，它决定了为单个用户生成Token的速率，从而决定了智能体完成每一步任务的快慢。

英伟达宣布，Groq 3 LPX现已全面量产。

智能体系统能够在数百乃至数千个推理步骤中生成海量Token。因此，更快的Token生成速度对于智能体进行实时推理、执行任务以及完成复杂任务至关重要，使智能体能够在保持流畅用户体验的同时，拥有更充裕的时间去检查文件、编写和测试代码、调用工具、验证结果并进行迭代。

NVIDIA Groq 3 LPX通过大幅提升Token生成速率，可支持高度响应的智能体系统，进一步扩展了NVIDIA Vera Rubin系统的推理性能。

在Artificial Analysis基准测试中，在运行开源智能体模型Gemma 4 31B并处理10万Token的上下文时，Groq 3 LPX创造了每秒3400个输出Token的纪录，创下该模型迄今记录到的最快性能表现。

Groq 3 LPX能将智能体编程等任务的完成时间从数小时缩短至数分钟。其在智能体及延迟敏感型工作负载上的响应速度比同类型平台快了4倍。

AI云正日益成为AI经济的引擎，为企业和开发者提供先进的基础设施，以支持大规模的训练、推理与逻辑运算。对于提供延迟敏感型、高并发推理工作负载的云服务商而言，Groq 3 LPX提供了一种在成熟的机架级系统中部署差异化计算的途径。

Nebius成为首家采用NVIDIA Groq 3 LPX的AI云服务商，计划将Groq 3 LPX引入其生产级推理平台Nebius Token Factory，为开发者提供极致的Token生成速度，以支持快速响应的智能体AI应用。

继Nebius之后，专注于AI推理的云服务商Groq也计划成为该平台的首批采用者。

通过对7款芯片和5个专用机架的极致协同设计，NVIDIA Vera Rubin成为一个全面的AI工厂平台。其中，Vera Rubin与Groq 3 LPX可满足客户AI工厂多样化的工作负载需求。

这些机架级平台还搭载了NVIDIA BlueField-4 DPU，并与Vera CPU机架、Vera BlueField-4 STX存储以及Spectrum-6 SPX以太网协同工作，旨在以最高的每瓦吞吐量和最低的推理延迟，对多智能体系统进行优化。

二、SpaceXAI将部署Vera CPU，还把加速计算架构延伸至太空

英伟达宣布，SpaceXAI将部署英伟达Vera CPU，以加速其下一代智能体AI应用。

智能体AI应用越来越依赖CPU来编排工具、执行代码、处理数据以及在模型调用间隙运行模拟任务。SpaceXAI将使用Vera来加速这些应用工作负载。这不仅能帮助AI智能体更迅速地执行任务，还能确保GPU获得充足的数据输入并保持满载运行。

Vera是首款专为AI智能体打造的CPU，旨在加速模型推理过程中高度依赖CPU的密集型任务，涵盖工具调用、代码执行、数据处理、任务编排以及模拟等环节。

该CPU搭载了88个英伟达专门设计的Olympus核心，采用英伟达空间多线程技术，并配备高带宽LPDDR5X内存，可提供高达1.2TB/s的内存带宽。

在智能体AI、强化学习和数据处理等工作负载中，与传统的x86 CPU相比，Vera的任务完成速度最高可提升1.8倍。

SpaceXAI总裁Mike Nicolls称：“Vera为我们提供了强大的CPU性能和内存带宽，以处理海量的编排调度、代码执行和数据处理工作，同时确保GPU能够专注于其最擅长的计算任务。这意味着我们的AI智能体性能大幅提升，且每一瓦算力都能产出更多切实有用的工作。”

此外，SpaceXAI计划依托NVIDIA Vera Rubin平台扩展Grok背后的AI基础设施，同时其第一代Starmind卫星将搭载优化的Vera Rubin系统，把这项算力延伸至太空。

Vera Rubin平台在计算、网络和软件层面进行了协同设计，旨在对AI工厂进行全局优化。该平台将英伟达加速计算、NVLink互连技术、Spectrum-X以太网网络、BlueField数据处理以及软件整合于一个统一架构中。其设计初衷是在大规模部署时提供卓越的性能与高能效，同时降低每Token成本。

随着SpaceXAI向十亿瓦级迈进，Vera Rubin为其下一代AI工厂的高效扩展提供了统一的架构基础。

SpaceXAI与英伟达的合作已不再局限于地球上的AI工厂。

SpaceXAI正在为太空轨道打造AI计算基础设施。该公司计划推出的第一代Starmind AI卫星，将基于优化的Vera Rubin机架级系统打造，从而把同一套加速计算架构延伸至太空。英伟达与SpaceXAI正致力于使这一基础架构适配轨道计算的各项需求，同时保持统一的英伟达架构与软件生态系统。

三、Spectrum-X多平面：无需增加新层级，即可实现大规模扩展

NVIDIA Spectrum-X多平面支持以太网扩展至前所未有的规模，同时避免了因增加额外网络层级所带来的延迟、抖动和成本问题。

Spectrum-X以太网是一个专为AI优化的端到端以太网平台，结合了NVIDIA Spectrum-X以太网交换机、SuperNIC和软件，显著提升基于以太网AI基础设施的AI工厂和云服务的性能与效率。

与通用以太网相比，该平台可将AI网络性能提升1.6倍，并在多租户环境中提供一致、可预测的性能表现。

传统AI工厂若要突破现有最大集群规模，通常需要增加第三层网络，这会增加延迟、导致性能出现不可预测的下降，并推高布线、光模块和电力成本。

Spectrum-X多平面采用了一种更简单的方法：将每台服务器的网络连接拆分为多个独立的路径或平面（planes），每个平面各自运行轻量化的两层网络，进而形成了一个扁平、简单的网络，可轻松扩展至512,000个GPU，同时避免了第三层网络带来的额外成本和复杂性。

上述过程是自动完成的。NVIDIA ConnectX SuperNIC内置专用硬件引擎，负责管理各个平面之间的流量均衡，并在发生故障时立即重新路由。因此，应用程序和软件只需将其视为单一快速、可靠的连接。

在八平面拓扑中，即使一个平面发生故障，网络仍能保持约90%的总带宽，基于硬件的恢复速度比基于软件多平面负载均衡的恢复速度快了11倍。这使得AI工厂的产出提升了1.6倍。

这种可靠性源于Vera Rubin NVL72的极致协同设计，涵盖了交换机芯片、SuperNIC和软件。

基于102.4Tb/s Spectrum-6以太网ASIC的Spectrum-X SN6000系列交换机，以及ConnectX-9 SuperNIC，为每个GPU提供高达1600Gb/s的带宽，都是专为Vera Rubin NVL72 AI工厂量身定制。

Spectrum-XGS以太网还把这种协同设计延伸至跨数据中心，使多个站点设施能够作为一个统一的AI超级工厂运行，并将多站点的 NCCL 集合通信性能提升1.9倍。

四、全新网络基础设施Scale-In：专为智能体AI工厂打造，由BlueField-4和DOCA提供支持

英伟达推出了专为智能体AI工厂打造的全新加速网络基础设施NVIDIA Scale-In，这是NVIDIA AI网络的第五大支柱。

Scale-In将专属的加速能力延伸至AI工厂安全保障、管理和运营等基础设施服务中。

NVIDIA Scale-In由NVIDIA BlueField-4处理器和DOCA软件平台提供支持，并通过NVIDIA Spectrum-X以太网连接，将传统的南北向接入网络转化为一个统一的加速基础设施域。

云计算曾为数据中心带来了软件定义网络（SDN）、可组合性和弹性，使用户、应用、数据和服务能够动态扩展。智能体AI代表着新一代平台级转变。AI工厂将庞大的加速计算能力与不断增长的用户、应用和自主智能体结合在一起，它们持续不断地与数据、存储和服务进行交互。这改变了支撑AI运行的基础设施需求。

如今，网络、存储、网络安全和运维必须与AI计算同步加速，将软件定义的灵活性与专用硬件加速及全栈协同设计相结合。

NVIDIA Scale-In提供多租户网络、高性能存储访问、芯片级安全、弹性配置和实时可观测性，同时保持基础设施处理独立于主机计算资源。

通过将这些服务作为AI工厂的一部分进行加速和协同设计，Scale-In可使安全、数据访问和运维与AI计算同步扩展，最终为大规模部署和运营智能体AI提供了安全、高效且易于管理的共享基础设施。

五、NVLink Fusion：将XPU接入英伟达领先的AI平台

英伟达NVLink Fusion将定制芯片引入英伟达全球领先的AI基础设施平台，助力超大规模企业和AI原生公司以更高的性能、更强灵活性和更快速度构建半定制AI工厂。

随着AI模型规模和复杂度持续增长，仅依靠原始算力已无法满足需求。AI工厂还需要具备高带宽、低延迟的纵向扩展网络、经过验证的机架级架构，以及涵盖供电、散热、管理软件和供应链的完整生态系统。

NVLink Fusion将NVIDIA AI平台纵向整合、横向开放的理念延伸至定制芯片领域，通过将定制XPU和CPU连接到英伟达的纵向扩展和横向扩展技术栈，有效应对这些挑战。

该平台包含第六代NVIDIA NVLink和NVLink Switch等专为纵向扩展而打造的网络，以及NVLink-C2C实现XPU与CPU之间的高能效互连 。

通过NVIDIA MGX生态系统，用户还可以利用经过生产验证的机架设计、组件、制造合作伙伴的解决方案，以及面向分布式计算、解耦工作负载和集群管理的开放、可扩展软件。

通过在统一架构上对基于GPU和XPU的系统进行标准化，NVLink Fusion助力将数据中心的建设部署与芯片就绪状态进行解耦。

运营商可共用机架空间、网络、散热、供电和管理系统，后续根据供应情况与工作负载需求的变化，灵活调整GPU和XPU的组合。

合作伙伴能在自身差异化领域自由创新，同时可以借助英伟达在计算、网络、基础设施和软件方面的技术，打造灵活、统一的AI工厂。

结语：英伟达加速计算正延伸到更广泛环境

英伟达创始人兼CEO黄仁勋谈道，推理是AI的增长引擎。Vera Rubin通过专为智能体AI时代打造、针对工作负载优化的AI工厂配置，并借助LPX实现超快的Token生成速度，不断突破性能边界。

英伟达超大规模与高性能计算副总裁Ian Buck认为，智能体AI需要一种全新的计算系统，它不仅要能生成答案，更要能采取行动。

据他分享，英伟达Vera CPU为AI智能体提供了实时行动所需的CPU性能，使其能够执行代码、处理数据并协调复杂任务，而SpaceXAI正在将这一架构从超大规模AI工厂延伸至轨道上的计算新前沿。

如今，英伟达计算基础架构更加灵活与多元，逐渐能够跨越更为广泛的环境，从地面数据中心延伸到轨道AI基础设施。

英伟达多种网络技术与CPU、GPU的不断优化与深度协同设计，正将逐代积累的经验源源不断地带给客户，为AI工厂带来更大效益。