英伟达全新AI平台Vera Rubin亮相，单 Token 成本降至 1/10

来源：环球网

【环球网科技综合报道】3月17日消息，据Investing报道，在今年的GTC 大会上，英伟达正式发布了Vera Rubin AI 平台，专为智能体 AI 发展打造。这一平台被视作英伟达在 AI 基础设施领域的代际飞跃，也标志着其开启史上最大规模的 AI 基建布局，将全面覆盖从大规模预训练到实时智能体推理的 AI 全生命周期，为智能体 AI 技术发展提供强有力的算力与技术支撑。

英伟达创始人兼首席执行官黄仁勋表示，Vera Rubin AI 平台在核心算力、推理加速、数据存储等多个维度实现技术突破，从底层基础设施层面优化 AI 全流程运算效率，助力智能体 AI 的规模化落地。

在核心算力层面，平台搭载的新一代 NVL72 机架实现效率突破性提升，通过 NVLink 6 完成 72 块 Rubin GPU 与 36 块 Vera CPU 的连接。相较于上一代 Blackwell 平台，该系统完成混合专家大模型（MoE）训练仅需四分之一的 GPU，每瓦推理吞吐量提升 10 倍，成功将单 Token 成本降至原来的十分之一，大幅降低了 AI 模型训练与推理的成本。同时，专为验证 AI 模型结果设计的 Vera CPU 机架集成 256 块液冷 CPU，运行效率达到传统 CPU 的两倍，运算速度提升 50%，进一步提升 AI 模型验证环节的效率。

针对智能体系统低延迟、长上下文的核心需求，英伟达同步推出 Groq 3 LPX 推理加速机架。该系统配备 256 个 LPU 处理器，与 Vera Rubin 平台结合后，每兆瓦推理吞吐量最高可提升 35 倍，有效解决智能体 AI 运行过程中的延迟问题，适配长上下文的运算需求。

数据存储环节的技术升级同样亮眼，全新 BlueField-4 STX 机架构建起 AI 原生存储基础架构。依托全新的 DOCA Memos 框架，该系统能高效处理大型语言模型生成的海量键值（KV）缓存数据，在显著降低能耗的同时，将推理吞吐量最高提升 5 倍，让 AI 多轮交互的响应速度大幅加快，更好地匹配智能体 AI 的实际应用场景。（纯钧）