NVIDIA Run:ai平台正式开源，助力AI工厂生态建设

英伟达近日宣布，将完整的NVIDIA Run:ai平台以开源软件形式对外开放，为客户、开发者和生态系统合作伙伴提供生产级AI工作负载和GPU编排能力。此次发布是对NVIDIA DSX AI Factory平台的重要扩展，将NVIDIA Run:ai打造成一个开放基础平台，使更广泛的生态系统能够更快地将差异化解决方案推向市场，以应对不断变化的客户需求。

过去几年，NVIDIA Run:ai帮助众多组织在Kubernetes上大规模运行AI工作负载，通过动态分配GPU资源并管理从数据处理、训练到推理的全生命周期工作负载。

通过将NVIDIA Run:ai平台能力作为NVIDIA DSX AI Factory的一部分进行开源，现在每一个NVIDIA DSX生态合作伙伴和AI云服务商都能够提升工作负载吞吐量、改善GPU利用率，并更高效地运营共享AI基础设施。

本文详细介绍此次开源发布的内容，其中包括完整的NVIDIA Run:ai平台以及四个可独立采用的组件：KAI调度器、GPU分割算子、KAI资源管理、工作负载映射。这些组件连同额外的平台代码一起构成了完整的NVIDIA Run:ai平台。平台团队和生态合作伙伴可以整体采用NVIDIA Run:ai，在其基础上构建自己的产品和服务，也可以根据需求集成单个组件。

如何采用开源NVIDIA Run:ai

NVIDIA Run:ai可以直接作为开源软件采用，也可以通过NVIDIA DSX生态合作伙伴提供的方案接入。

直接部署开源平台

NVIDIA Run:ai的完整源代码已发布在NVIDIA DSX AI Factory GitHub组织下的NVIDIA Run:ai代码仓库中。团队可以查看代码、参与开发贡献、在平台基础上进行构建，或独立采用其模块化组件。

完整的开源NVIDIA Run:ai平台也已在NVIDIA NGC上作为社区产品提供，并附有用于安装集成化技术栈的Helm图表。

需要说明的是，NVIDIA Run:ai源代码受其适用的开源许可证约束。从NGC下载社区产品需要接受适用的NVIDIA软件许可协议以及NVIDIA AI产品的特定条款。使用该社区产品不需要付费的NVIDIA Run:ai订阅或NVIDIA支持权益，且不包含NVIDIA企业级支持服务。

通过NVIDIA DSX生态合作伙伴采用开源NVIDIA Run:ai

开源的NVIDIA Run:ai使NVIDIA DSX生态合作伙伴能够直接获取AI工作负载和GPU编排方面的创新成果，并将其应用于自身的NVIDIA DSX AI工厂解决方案中。通过采用完整平台或集成单个组件，合作伙伴能够更快地将这些创新推向市场，更迅速地响应不断变化的客户及运营需求。

Crusoe公司将NVIDIA Run:ai与Crusoe托管Kubernetes服务集成，将GPU工作负载编排与托管Kubernetes及GPU基础设施相结合。

Mirantis公司通过NVIDIA Run:ai扩展k0rdent AI，打造具备全生命周期管理能力的"从硬件到模型"AI工厂技术栈，实现基础设施自动化配置和GPU利用率最大化。

Nebius公司在其Nebius AI Cloud中以一键式应用部署的方式提供NVIDIA Run:ai，使客户能够在Nebius托管Kubernetes服务上更便捷地部署和运行完整平台。

OpenNebula Systems公司通过OneKS将NVIDIA Run:ai与OpenNebula AI Cloud平台集成，将GPU工作负载编排与基础设施配置及生命周期管理相结合，服务于开放和自主可控的AI云。

Rafay公司正在扩展其NVIDIA Run:ai集成方案，将其打造成完全托管的服务。Rafay自动化整个技术栈，从GPU基础设施、集群到NVIDIA Run:ai控制平面和租户管理，使AI云服务商和企业能够通过自己的自助服务目录提供该服务。

Saturn Cloud公司集成NVIDIA Run:ai，帮助AI云运营商通过其Token Factory平台推出白标AI推理服务，将GPU编排与专用及多租户模型服务、按Token计量以及自动计费相结合。

Spectro Cloud公司将NVIDIA Run:ai集成到PaletteAI中，使客户能够通过PaletteAI Studio进行部署，并采用与其AI基础设施相同的生命周期自动化管理方式。

vCluster公司通过预验证的部署模板提供NVIDIA Run:ai，为每个租户建立完整环境，使运营商能够在强化租户边界的同时，让NVIDIA Run:ai继续在统一的GPU资源池上进行调度。

针对NVIDIA Enterprise AI Factory部署场景，NVIDIA Run:ai将继续通过NVIDIA支持的商业方案提供，包括作为独立产品、通过NVIDIA Mission Control和NVIDIA AI Enterprise，以及部分云市场。具体的可用性、授权及支持条款因不同方案而异。

对于已拥有自有平台、仅需补足特定能力缺口的团队，以下内容介绍了各模块化组件可独立使用的方式与场景。

NVIDIA Run:ai平台的模块化开源组件

本部分详细介绍此次开源发布中包含的四个组件：KAI调度器、GPU分割算子、KAI资源管理和工作负载映射。结合额外的平台代码，这些组件构成了完整集成的NVIDIA Run:ai平台。用户可以整体采用NVIDIA Run:ai，也可以根据自身需求集成单个组件。

KAI调度器：NVIDIA Run:ai背后的调度引擎

KAI调度器是驱动NVIDIA Run:ai平台的Kubernetes原生调度器。英伟达已将KAI调度器以Apache 2.0许可证形式开源，并将其贡献给云原生计算基金会（CNCF）作为沙箱项目。KAI仍然是NVIDIA Run:ai背后的核心引擎，所有调度器相关开发工作都在社区代码仓库中进行，确保每一项改进都流入同一代码库。英伟达将持续为该项目的维护者提供支持，并与更广泛的生态系统合作，推动大规模AI工作负载调度技术的发展。

KAI调度器专为大规模GPU工作负载打造，协调以下能力：

支持预调度内存模拟的组调度，确保多Pod任务按"全部或无"的原则进行放置，避免不必要的驱逐

公平共享（包括基于时间的公平共享）和配额分配，保持团队间资源份额的平衡

调度决策层面的拓扑感知和资源紧凑排布

支持多种GPU共享方式，允许多个工作负载共享单个或多个GPU（包括MIG、MPS、时间片共享、HaMi、CUDA 13.4 MPS分割）

支持动态资源分配（DRA）

要了解更多核心功能，请访问KAI调度器的GitHub代码仓库。

对于需要公平访问集群资源和拓扑感知放置的多样化AI工作负载，可以使用KAI调度器。它能够在现有集群中与当前软件技术栈并行部署，而不需要完整的NVIDIA Run:ai平台。

欢迎关注该项目，在CNCF Slack的#kai-scheduler频道中提问，并在KAI调度器GitHub代码仓库中参与贡献。

GPU分割算子：面向Kubernetes的GPU分割算子

长期以来，NVIDIA Run:ai平台一直支持GPU分割分配，使多个工作负载能够在具备硬性内存隔离的情况下共享一块GPU。分割可以按需申请并即时配置，不需要管理员提前为每个节点进行设置。这是机器学习团队中使用最广泛的能力之一，适用于不需要占用GPU全部显存的工作负载，包括交互式笔记本和较小模型的推理任务。NVIDIA Run:ai率先通过自有专有实现方式提供了这一体验。

GPU分割算子将CUDA原生GPU分割能力引入Kubernetes，此前的专有实现已被弃用，转而采用CUDA 13.4中提供的原生能力。CUDA驱动程序会为每个工作负载强制设置GPU显存的硬性上限，每个工作负载只能看到分配给自身分割部分的显存。而仍然需要解决的问题是，如何在Kubernetes上以简洁的方式使用这一能力。这正是GPU分割算子所提供的：一个能够在集群上启用CUDA GPU分割的算子，同时配备指标导出工具，可实现对每个Pod分割使用情况的可见性监控。它是一个Kubernetes集成层，使工作负载能够使用CUDA原生分割能力，并且与调度器无关。

对于能够共享未被充分利用的GPU容量的工作负载，包括笔记本、开发环境和较小模型，可以使用GPU分割算子。GPU分割算子与KAI调度器集成，将可用的GPU容量转化为实际的放置决策，同时也与其他调度器保持兼容。

GPU分割算子将CUDA 13.4原生GPU分割能力引入Kubernetes，并与KAI调度器集成。如需开始使用，请参阅GPU分割算子相关文档。

KAI资源管理：组织管理层

调度器决定工作负载如何放置，而KAI资源管理则决定谁能获得什么资源：

项目与部门：这是一种组织架构，即"组织层"，将资源映射到使用这些资源的团队和项目上。

基于组织层级的资源管理：能够按照组织架构在团队间分配、保障和共享GPU容量，并支持公平共享和配额机制。

节点池：对异构硬件进行分组和定向调度，确保工作负载落在合适的资源上。

通过这些功能，平台团队能够超越基础的Kubernetes调度能力，按照组织实际运作方式来管理GPU：按团队、按部门、按项目、按资源保障进行管理。

对于由多个团队共享、需要明确容量份额分配的异构集群，可以使用KAI资源管理。例如，平台团队可以将集群50%的资源保障给研究团队，同时防止任何单一团队占用剩余容量。如果目前仍在用表格手动跟踪配额权限，或为每个团队手动维护命名空间，这一层正好可以替代这些工作。它可以与KAI调度器结合，在集群中共同使用。

关于这些概念如何映射到实际部署场景的更多内容，请参阅KAI资源管理相关文档。

工作负载映射：面向Kubernetes的工作负载管理契约

工作负载映射是NVIDIA Run:ai用来支持任意工作负载类型的契约机制。KAI调度器利用它实现调度和组调度语义；平台的其他部分则利用它实现工作负载发现、监控和生命周期管理。

在Kubernetes中，AI工作负载几乎从来不是简单的Deployment或Job资源，而通常是PyTorchJob、RayCluster、JobSet、KServe推理服务、Dynamo图部署，或是企业自定义的资源类型。每种类型都有自身的内部结构、具有不同角色的组件（如驱动与工作节点、主节点与工作节点、预填充与解码节点）、各自的扩缩容和组调度语义，以及各自的状态报告方式。

工作负载映射提供了一种一致的方式，将这些工作负载在整个生命周期中作为一等对象处理：

描述Pod、组件及其角色

提交与配置

支持组调度和拓扑感知的调度

持续一致地观测状态与健康情况

在准入或运行阶段应用策略

这一工作负载管理层位于Kubernetes基础原语与为用户服务的调度器、仪表盘、SRE和故障排查工具、成本管理工具、备份工具以及机器学习平台之间。工作负载映射为每种工作负载类型定义一次统一标准，而不是让每个工具针对每种自定义资源（CRD）单独构建局部的私有集成，从而使任何平台或工具都能一致地对其进行调度、观测、操作和治理，而无需为每种CRD硬编码处理逻辑。

对于需要理解和管理多种Kubernetes工作负载类型、且不希望为每种CRD硬编码处理逻辑的平台和工具，可以使用工作负载映射。它以Go语言库形式发布，可以在非结构化对象上离线运行，因此采用时无需向集群中添加任何额外组件。它的设计定位十分明确：工作负载映射仅描述工作负载结构，不负责调度、排队、自动扩缩容或跨集群传播。

更多内容请参阅dsx-ai-factory/workload-map的GitHub代码仓库，并查看相关采用项目案例。

相关开源平台软件

以下开源项目解决了AI基础设施领域的其他相关挑战，可以独立采用，也可以整合进包含完整NVIDIA Run:ai平台或部分组件的更广泛解决方案中。

Model Streamer：降低冷启动延迟

在Kubernetes上冷启动一个推理工作负载可能需要数分钟时间，在此期间GPU已被分配却处于闲置状态，仅用于完成一个步骤：将模型权重从存储加载到GPU中。Model Streamer能够并发读取权重数据，并将其直接流式传输到GPU显存中，从而大幅缩短大模型的加载时间。

自发布以来，Model Streamer已在整个推理技术栈中得到广泛采用，包括多家推理引擎、云服务商和存储平台厂商。

推理引擎

Model Streamer已被上游集成到vLLM和SGLang中，可通过--load-format runai_streamer参数启用，同时也集成到ModelExpress中。其支持范围涵盖本地文件系统、S3兼容存储以及网络文件共享，还包括下文详述的多个云端后端。

云服务商

各大云服务商现已在自身文档中对Model Streamer进行了说明。

亚马逊云科技（AWS）：Model Streamer已集成在vLLM深度学习容器中，并成为官方EKS文档中推荐用于运行AI/机器学习推理任务的快速方案，针对S3进行了并发性和分块大小的调优。

谷歌云：与英伟达合作构建的原生Cloud Storage支持，包括GKE文档中介绍的从存储桶直接流式传输到加速器显存的方法。

微软Azure：由微软和NVIDIA Run:ai联合开发的Azure Blob Storage集成方案，为Azure客户提供一流的模型流式加载体验。公开发布的基准测试数据显示，在8张英伟达H100虚拟机上，加载速度比默认加载方式快3至6倍，并能保持约80 Gbps的稳定速率，而默认方案约为40 Gbps。

存储平台

多家AI数据基础设施合作伙伴已独立对Model Streamer进行了基准测试并公布了结果：

WEKA仅用3.5秒即完成显存加载，比从本地NVMe加载快约40%，使企业能够构建PB级的共享模型库，加快模型就绪速度，而无需在推理环境中维护重复的模型副本所带来的时间、精力和容量成本。

VAST Data测得加载时间为1.7秒，相比从本地NVMe加载提升了60%。

DDN在8张GPU上实现了65.5GB的Qwen3-32B模型在4秒以内完成流式传输，并据此测算，相比使用本地存储，每日最多可节省10%的GPU运行成本。

当新副本启动、模型权重加载成为主要瓶颈时，可以使用Model Streamer。

Grove：一套API，适配任意推理架构

新兴的工作负载模式，包括智能体流水线、解耦式服务以及混合专家模型训练，通常由多个相互连接、需要协同扩缩容的组件组成。Grove提供了一套用于编排此类工作负载的Kubernetes API，适用范围从单个Pod到跨越数万张GPU的大规模部署。

Grove提供拓扑感知的自动扩缩容和分层组调度能力，使预填充和解码等组件能够以"全部或无"的方式启动。在英伟达GB200 NVL72上，它还能够自动管理ComputeDomain资源，仅通过一个注释即可实现多节点NVLink性能，而无需手动编写YAML配置文件。

Grove是NVIDIA Dynamo中的一个模块化组件，可独立使用，目前已在多家企业的大规模训练和推理流水线中投入使用。近期的开发工作包括对llm-d和Volcano调度器后端的支持，Kueue支持也正在推进中。

对于具有明确角色划分和耦合扩缩容需求的图结构工作负载，可以使用Grove。

开始使用开源NVIDIA Run:ai

NVIDIA Run:ai现已作为开源软件在NVIDIA DSX AI Factory GitHub组织中发布。要了解更多信息并开始使用，可参考以下资源：

NVIDIA Run:ai完整平台

KAI调度器调度引擎

用于项目、部门、配额和节点池管理的KAI资源管理

用于Kubernetes上CUDA GPU分割、带有每Pod指标的GPU分割算子

工作负载映射工作负载管理契约

相关开源项目包括：

用于快速模型权重加载的Model Streamer

用于多组件推理编排的Grove

我们非常期待将这项工作带给开源社区，并以开放的方式共同构建下一代AI工作负载和GPU编排技术。我们欢迎各界的贡献、问题反馈和建议。

Q&A

Q1：NVIDIA Run:ai开源后包含哪些核心组件？

A：此次开源包括完整的NVIDIA Run:ai平台以及四个可独立采用的组件：KAI调度器、GPU分割算子、KAI资源管理和工作负载映射，这些组件共同构成了完整的平台能力。

Q2：企业如何获取和使用开源的NVIDIA Run:ai？

A：可以直接从NVIDIA DSX AI Factory GitHub组织获取完整源代码并自行部署，也可以通过Crusoe、Nebius、Rafay等多家NVIDIA DSX生态合作伙伴提供的集成方案接入使用。

Q3：Model Streamer能带来什么实际效果？

A：Model Streamer通过并发读取并流式传输模型权重到GPU显存，大幅缩短大模型加载时间，多家存储厂商测试显示加载速度比本地NVMe提升40%至60%，有效降低冷启动延迟和GPU闲置成本。