软银发布AI数据中心运营软件栈Infrinia

软银推出了Infrinia AI Cloud OS，这是一个用于运营AI数据中心的软件栈，能够自动化基础设施管理并为大语言模型提供推理服务。

该软件处理从BIOS配置到GPU平台上Kubernetes管理的各项任务，包括英伟达的GB200 NVL72。

软银在声明中表示："通过部署Infrinia AI Cloud OS，AI数据中心运营商可以在多租户环境中构建Kubernetes即服务（KaaS），以及作为自己GPU云服务一部分的推理即服务（Inf-aaS），后者通过API提供大语言模型推理功能。"

该公司表示，开发这款软件是为了解决运行GPU云服务所涉及的操作复杂性。

此外，该公司在声明中补充说，与定制解决方案或内部开发相比，该软件栈预计将降低总拥有成本（TCO）以及运营负担。

Forrester副总裁兼首席分析师Charlie Dai表示，这次发布标志着软银从硬件扩展到GPU云软件层。Dai说："这将软银从纯基础设施运营商提升为AI原生平台级竞争者。"

核心功能特性

据软银介绍，该软件提供两个主要服务。Kubernetes即服务组件自动化从BIOS和RAID设置到操作系统、GPU驱动程序、网络、Kubernetes控制器和存储的整个堆栈。

根据公告，当用户创建、更新或删除集群时，它使用英伟达NVLink和内存分配重新配置物理连接。软银表示，系统根据GPU邻近性和NVLink域配置分配节点以减少延迟。

Dai指出，企业目前面临复杂的GPU集群配置、Kubernetes生命周期管理、推理扩展和基础设施调优挑战，这些都需要深厚的专业知识。

他说，软银的自动化方法通过处理BIOS到Kubernetes配置、优化GPU互连以及将推理抽象为基于API的服务来解决这些痛点。Dai表示，这使团队能够专注于模型开发而不是基础设施维护。

推理即服务组件让用户通过选择大语言模型来部署推理服务，无需配置Kubernetes或底层基础设施。软银表示，它提供OpenAI兼容的API，并在包括GB200 NVL72在内的平台上跨多个节点扩展。

根据公告，该软件包括通过加密通信实现的租户隔离、自动化系统监控和故障转移，以及用于连接门户、客户管理和计费系统的API。

市场竞争格局

此次发布使软银能够在预计从2025年的82.1亿美元增长到2030年的266.2亿美元的市场中竞争。

软银面临来自超大规模云提供商和专业GPU供应商的竞争。AWS、微软Azure和谷歌云分别通过EKS、AKS和GKE提供支持GPU的托管Kubernetes服务。包括CoreWeave、Lambda Labs和RunPod在内的专业提供商已经构建了针对类似运营挑战的Kubernetes原生平台。

CoreWeave运营着45000个GPU，是英伟达首个Elite级云服务提供商。据Contrary Research称，Lambda Labs在2024年创造了4.25亿美元的收入，并以每小时2.49美元的价格提供H100实例。

Dai表示，软银以软件为中心的方法标志着竞争优势从GPU可用性向平台自动化的转变。他说："随着GPU即服务需求加速，差异化越来越依赖于智能编排、推理抽象和集成的AI生命周期工具。"Dai表示，市场正在向全栈AI原生云平台而非原始计算配置方向发展。

未来部署计划

软银计划首先在自己的GPU云服务中部署该软件，然后扩展到外部客户。该公司表示，Infrinia团队旨在将软件部署到海外数据中心和云环境。

软银总裁兼首席执行官宫川潤一在声明中说："AI基础设施的进步不仅需要GPU服务器和存储等物理组件，还需要整合这些资源并使其能够灵活大规模交付的软件。"软银表示，与定制解决方案或内部开发相比，该软件旨在降低总拥有成本和运营负担。该公司没有透露定价或可用性细节。

Q&A

Q1：Infrinia AI Cloud OS是什么软件？

A：Infrinia AI Cloud OS是软银推出的AI数据中心运营软件栈，能够自动化基础设施管理并为大语言模型提供推理服务。该软件处理从BIOS配置到GPU平台上Kubernetes管理的各项任务，包括英伟达的GB200 NVL72。

Q2：这个软件能解决什么问题？

A：该软件主要解决运行GPU云服务的操作复杂性问题。它通过自动化BIOS到Kubernetes配置、优化GPU互连以及将推理抽象为基于API的服务，让团队能够专注于模型开发而不是基础设施维护，同时降低总拥有成本。

Q3：软银在GPU云服务市场面临哪些竞争？

A：软银面临来自AWS、微软Azure、谷歌云等超大规模云提供商的竞争，以及CoreWeave、Lambda Labs、RunPod等专业GPU供应商的挑战。市场正从单纯的GPU可用性竞争转向平台自动化和智能编排的全栈AI原生云平台竞争。