![]()
IBM公司子公司红帽正采取比以往更加积极的策略,确保其软件堆栈在英伟达公司新一代人工智能硬件上市的第一天就能正常运行。公司高管表示,这一策略是由对更大规模、更强能力的AI模型架构需求激增所推动的。
红帽本周披露,红帽企业Linux将在英伟达新款Vera Rubin平台今年晚些时候发布当天就提供支持。这一协议标志着两家公司之间更紧密的合作流程。Vera Rubin图形处理器是英伟达下一代机架级架构的核心,该架构围绕其基于Grace CPU的设计构建,用于训练和运行多万亿参数的AI系统。据英伟达介绍,该产品拥有3360亿个晶体管,可提供50千万亿次浮点运算的性能,训练速度比前代Blackwell GPU快250%。
红帽首席技术官克里斯·莱特在简报会上表示,红帽的这一举措是对全行业硬件开发步伐加速的回应,企业正努力跟上这一步伐。
莱特说:"你可以看到英伟达的硬件交付周期正在加速到年度周期,而在过去,新的GPU或加速器每两年甚至三年才会推出。"
因此,他表示,红帽和英伟达正在开发过程的更早期就开始合作。"我们有着长期的工程合作伙伴关系,"莱特说。"这是在此基础上的加倍投入,确保我们从最早的阶段就参与进来,与红帽堆栈、英伟达软件和硬件共同设计解决方案。"
全方位支持
红帽表示,其对Vera Rubin的支持涵盖用于硬件启用的RHEL、用于集群编排的OpenShift以及红帽的AI软件层,用于推理、模型部署和智能体工作负载。经验证的英伟达GPU OpenRM驱动程序和CUDA工具包将通过RHEL存储库直接访问,RHEL将支持英伟达的机密计算框架,涵盖整个AI生命周期,提供工作负载保护的加密证明。
英伟达企业AI产品副总裁贾斯汀·博伊塔诺表示,英伟达正在加速硬件开发,以适应模型规模的爆炸式增长和新型推理智能体。他说,目前最前沿的开放模型已达到一万亿个参数,英伟达预计到明年年底将使用十万亿参数的模型。
新类别的"推理模型"不仅预测序列中的下一个Token,还生成有助于解决复杂任务的中间推理步骤,这进一步放大了需求。"那些驱动智能体的推理模型每年又带来5倍的Token增长,"博伊塔诺说。这种组合导致的计算需求"在这一点上简直疯狂"。
年度更新
同样的动力正推动英伟达在标准化机架级蓝图上转向年度更新周期。"我们共同设计这些机架级架构,这实际上是六个不同的处理器,以确保我们尽可能高效地驱动数据和模型,"博伊塔诺说。
预计早期采用者将包括超大规模和专注于AI的"新云"提供商、大型金融机构以及构建私有AI基础设施的公共部门组织。莱特表示,Vera Rubin将吸引"为其终端客户构建解决方案的云提供商",以及"构建自己内部基础设施的重要大规模企业"。
Rubin的一个关键企业功能是机架级机密计算,它将硬件级加密保护从CPU扩展到GPU和互连。英伟达使用基于硬件的方法,将CPU的可信执行环境扩展到GPU,为AI工作负载创建统一的安全域。
博伊塔诺表示,安全性变得越来越重要,因为"很多模型提供商不想将他们的模型权重交付到他们不运营的数据中心"。机密计算"将为在您数据中心运行的这些前沿模型开放市场"。
Q&A
Q1:Vera Rubin平台有什么特殊性能优势?
A:Vera Rubin图形处理器拥有3360亿个晶体管,可提供50千万亿次浮点运算的性能,训练速度比前代Blackwell GPU快250%。它是英伟达下一代机架级架构的核心,专门用于训练和运行多万亿参数的AI系统。
Q2:为什么英伟达要加速硬件更新周期?
A:主要原因是AI模型规模爆炸式增长和新型推理智能体的出现。目前最前沿的开放模型已达到一万亿个参数,预计到明年年底将使用十万亿参数的模型。推理模型驱动的智能体每年还带来5倍的Token增长,导致计算需求激增。
Q3:机架级机密计算功能解决了什么问题?
A:机架级机密计算将硬件级加密保护从CPU扩展到GPU和互连,为AI工作负载创建统一的安全域。这解决了很多模型提供商不愿意将模型权重交付到他们不运营的数据中心的安全顾虑,为在企业数据中心运行前沿模型开放了市场。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.