网易首页 > 网易号 > 正文 申请入驻

用英伟达Kubernetes引擎管理GPU基础设施集群

0
分享至


英伟达宣布推出两个开源项目,用于在GPU基础设施上构建和运营托管Kubernetes服务——英伟达Kubernetes引擎(NVKE)和英伟达Kubernetes配方(NVKR)。这两个项目目前均已进入公开预览阶段。

AI工厂客户通常希望通过他们已经熟悉的Kubernetes API、工具和生态系统来使用GPU算力,同时由工厂负责运营集群。要实现这项服务,需要具备API驱动的资源配置、租户隔离、升级和恢复能力,并辅以服务承诺。此外,还需要针对不同GPU代次和Kubernetes版本,对GPU硬件、网络、驱动程序和运行时软件进行验证。

NVKE和NVKR将这项工作分为集群管理和可复现软件构建两部分。NVKE提供运行托管Kubernetes服务所需的软件,安装在工厂的基础设施上,并提供用于配置和管理集群的API。NVKR则使用配方来构建这些集群所需的操作系统镜像、容器镜像和软件包,配方定义了经过验证的软件版本与GPU代次组合。AI工厂仍然保留对自身软件、运营、服务和客户体验的掌控权。团队可以同时采用NVKE和NVKR项目,也可以独立使用其中一个。

NVKE和NVKR都是英伟达DSX AI工厂平台的组成部分,该平台帮助AI工厂设计、构建和运营GPU基础设施。这两个项目均以Apache 2.0许可证在GitHub上发布,团队可以查看代码、并行开发并贡献改进。在公开预览期间,API、配置和行为可能会在不同版本之间发生变化。目前尚不建议在生产工作负载中使用NVKE和NVKR,详情请参见预览状态和已知限制说明。

本指南将介绍如何使用NVKR构建节点镜像、部署NVKE管理平面,以及配置客户Kubernetes集群。

NVKE与NVKR如何协同工作

NVKR负责构建软件:它根据特定的源版本生成节点镜像、二进制文件、容器镜像和Helm图表,并记录构建输入信息。

NVKE负责管理集群:它使用这些构建产物来配置和运营Kubernetes集群。

团队既可以同时使用这两个项目,也可以分别使用。NVKE在运行时不依赖NVKR,而NVKR也可以为其他Kubernetes管理系统构建软件产物。

nvkectl会在引导主机上启动一个临时的种子集群,并用它来组建管理集群。NVKE管理平面(包括REST API和控制器)运行在管理集群上。管理平面为AI工厂客户创建工作负载集群,每个集群都拥有各自独立的Kubernetes控制平面、etcd和节点池。节点机器来自英伟达基础设施控制器(NICo),该控制器通过CAPNICo(NICo的Cluster API基础设施提供程序)管理裸金属服务器的生命周期。

节点必须出示经过验证的SPIFFE身份,才能获得加入集群的凭证。NVKE遥测管道是一个基于OpenTelemetry的Helm图表,用于收集日志、指标和追踪数据,并通过OTLP将其导出到监控后端。

在每个工作负载集群内部,团队可以通过AI集群运行时(AICR)添加GPU加速运行时,通过NodeWright添加节点软件包,并通过NVSentinel实现故障自动修复。

NVKE是经过认证的Kubernetes AI平台和Kubernetes安装程序,已在Kubernetes 1.36版本上通过一致性测试。

从裸金属到客户集群

本指南介绍如何从机架中安装的服务器开始,通过NVKR构建节点镜像、使用nvkectl部署NVKE管理平面,并通过NVKE API创建客户集群,完成客户Kubernetes集群的配置。NVKE文档列出了所有标志和选项,以及最新的操作步骤。

本指南所需前提条件:

用于管理集群的三台CPU服务器,以及站点网络上一台单独的Linux引导主机,该主机需安装containerd、nerdctl、kind、Helm和kubectl

用于工作负载集群控制平面的三台CPU服务器

一组用作工作节点的GPU服务器资源池

一套已部署并登记了可用容量的NICo安装环境

一台支持Docker和KVM的Linux构建主机

一台用于存放节点镜像的HTTP服务器、一个用于存放控制器镜像的容器镜像仓库,以及用于下载安装过程中所需开源镜像和Helm图表的互联网访问权限

构建节点镜像

NVKR定义了英伟达为NVKE验证的Kubernetes软件配置,并提供了将该定义转化为可部署构建产物的可复现流水线。NVKR根据版本锁定的源代码构建节点镜像,并记录每一项输入内容,使团队能够识别每个镜像中包含的软件,并可在之后重新构建该镜像。管理集群和每个节点池可以运行不同的镜像,例如针对不同CPU架构或GPU代次分别使用不同镜像。

团队在构建主机上克隆NVKR代码仓库,然后运行快速入门脚本以构建nvkectl、NVKE控制器镜像及其Helm图表,并运行第二个脚本构建节点镜像(本指南中命名为node-image-01)。

$ git clone https://github.com/dsx-ai-factory/nvkr.git && cd nvkr

$ bash scripts/nvkr-quickstart.sh

$ NVKE_OS_ARCH=amd64 scripts/nvke-os-local.sh node-image-01

节点镜像构建过程会从源代码编译NVKE节点代理和OVN-Kubernetes,并添加经过校验和锁定的Kubernetes 1.36软件包以及SPIRE代理的上游发行版。随后,该流程从Ubuntu安装程序启动一台虚拟机,安装这些代理程序,并将Kubernetes和网络相关软件包暂存到磁盘上。最终生成的是一个QCOW2磁盘镜像。团队需要将控制器镜像推送到镜像仓库,将nvkectl复制到引导主机,并将QCOW2镜像放置到HTTP服务器上。

部署NVKE管理平面

NVKE管理平面运行在一个名为管理集群的Kubernetes集群上。团队在引导主机上运行以下命令,开始创建管理集群:

$ nvkectl bootstrap site -f site-a.yaml \\

--nvke-controller-image registry.example.com/nvke/nvke-controller:

站点规范文件site-a.yaml包含NICo为三台管理集群服务器完成配置所需的输入信息。该引导命令会在引导主机上启动一个临时Kubernetes集群,这个临时集群使用kind运行单个Kubernetes节点,并承载配置过程中所需的NVKE软件。

NVKE控制器向NICo请求三台服务器,NICo会使用之前构建好的节点镜像启动这些服务器。当三个节点全部加入集群后,引导流程会删除临时集群,只留下管理集群。随后,团队在管理集群上安装NVKE管理平面,并运行nvkectl config set-site命令,将命令行工具与NVKE API连接起来。

发布供客户使用的发行版集合

客户可以从AI工厂发布的发行版列表中按名称选择,而无需直接处理操作系统镜像或cloud-init配置。

一个发行版集合包含三个组成部分:

机器镜像包含NICo用于引导服务器启动的iPXE脚本。

集群发行版将机器镜像与准备控制平面节点所需的cloud-init配置配对,并记录cloud-init安装的Kubernetes版本。

节点池发行版为工作节点提供相应的镜像和配置。

$ nvkectl create machineimage -f machineimage.yaml

$ nvkectl create clusterrelease -f clusterrelease.yaml

$ nvkectl create nodepoolrelease -f nodepoolrelease.yaml

创建客户集群

客户集群请求包含与站点规范相同的NICo输入信息,外加一个Kubernetes版本。控制平面和每个节点池都有各自的实例类型、VPC前缀和发行版。在此示例中,控制平面和GPU节点池都引用了名为k8s-1.36.3-amd64的发行版。

name: customer-a

controlPlaneKubernetesVersion: 1.36.3

etcdEncrypted: true

controlPlaneVIP: 10.0.20.10

nico: {orgID:, siteID:, vpcID:}

controlPlaneConfig:

desiredCount: 3

nico: {instanceTypePreference: [], vpcPrefixIDs: [], release: k8s-1.36.3-amd64}

nodePools:

- name: gpu

nodeNamePrefix: gpu

desiredNodeCount: 4

nico: {instanceTypeID:, vpcPrefixIDs: [], release: k8s-1.36.3-amd64}

团队将此请求保存为customer-a.yaml,然后运行以下命令,通过nvkectl将其提交至NVKE REST API。

$ nvkectl create cluster -f customer-a.yaml

集群状态将保持为“配置中”,直到第一个控制平面节点运行完kubeadm init,并且NVKE完成OVN-Kubernetes和NodeLocal DNSCache的安装。之后状态将变为“已配置”。

为客户授予访问权限

客户通过kubeconfig访问集群的Kubernetes API,而AI工厂则继续通过NVKE API对其进行管理。要为客户授予访问权限,团队需要从管理集群获取该集群的kubeconfig,并安全地将其共享给客户。

$ nvkectl get kubeconfig customer-a --output-file customer-a.kubeconfig

kubeconfig written to customer-a.kubeconfig

正在使用NVKE和NVKR构建的AI工厂与合作伙伴

英伟达云合作伙伴Firmus和SK电讯正在将NVKE和NVKR集成到各自的AI工厂中,以构建和部署承载AI工作负载的Kubernetes集群。

此外,英伟达合作伙伴Mirantis、Rafay、Spectro Cloud、OpenNebula Systems和vCluster正在将NVKE和NVKR的相关组件集成到其托管Kubernetes产品中,以帮助各自的AI工厂客户在Kubernetes上运行AI工作负载。Netris也正在为其网络自动化解决方案启用NVKE支持。

现已开放公开预览

NVKE和NVKR目前处于公开预览阶段,尚不建议用于生产环境的工作负载。这些项目正在快速演进,NVKE API可能会在不同版本之间发生变化。预览状态页面列出了当前的各项限制。

团队可以根据自身基础设施需求对这两个项目进行评估,并查阅NVKE和NVKR公开路线图中的规划工作。相关反馈和贡献将有助于塑造NVKE、NVKR以及整个DSX AI工厂技术栈的未来方向。

开始使用

NVKE和NVKR是开源组件,可通过英伟达DSX AI工厂GitHub组织获取,CAPNICo同样位于该组织下。可以从NVKE文档入手,或者在单台机器上尝试本地快速入门体验——无需GPU或英伟达账户。

欢迎通过Slack邀请链接加入英伟达DSX AI工厂Slack工作区的#nvke频道参与讨论,与社区分享你的构建成果。

欢迎前往KubeCon英伟达展位(170号展位),了解更多Kubernetes深度解析内容并观看现场演示。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
11月27日开始正式落地!有线电视迎来新规,每家每户都要了解清楚

11月27日开始正式落地!有线电视迎来新规,每家每户都要了解清楚

浩渺青史
2026-11-20 01:07:29
七旬老太去北京看病,发现医生竟是她在云南当知青时生下的孩子

七旬老太去北京看病,发现医生竟是她在云南当知青时生下的孩子

兰姐说故事
2025-01-16 05:05:03
2027届郑州暗考遇冷:不是没人考,是不敢赌了

2027届郑州暗考遇冷:不是没人考,是不敢赌了

音乐时光的娱乐
2026-11-21 03:52:05
丁太升评赵本山《慌啥子嘛》:姿态不居高临下,带有泥土气息的质朴表达

丁太升评赵本山《慌啥子嘛》:姿态不居高临下,带有泥土气息的质朴表达

娱乐嗑学家.
2026-11-19 16:32:07
NBA最新MVP榜:字母哥从第11飙升至第3,东契奇蝉联榜首

NBA最新MVP榜:字母哥从第11飙升至第3,东契奇蝉联榜首

体坛周报
2026-11-21 07:06:19
1.26 亿!利物浦盯上曼城头号巨星!伊劳拉酝酿史诗级挖角

1.26 亿!利物浦盯上曼城头号巨星!伊劳拉酝酿史诗级挖角

澜归序
2026-11-21 10:55:51
不得了!日本做了一个极其恶劣的决定!

不得了!日本做了一个极其恶劣的决定!

故事终将光明磊落
2026-11-20 14:44:07
深圳APEC国宴菜品出圈,背后坐镇大厨,40个竟全是来自顺德

深圳APEC国宴菜品出圈,背后坐镇大厨,40个竟全是来自顺德

巷北楠猫本尊
2026-11-21 02:40:07
印媒愤愤不平!当了三年轮值主席,始终轮不到印度主办峰会

印媒愤愤不平!当了三年轮值主席,始终轮不到印度主办峰会

比利
2026-11-21 01:05:34
深圳APEC最治愈的一幕:真正的大国格局,从不用统一定义体面!

深圳APEC最治愈的一幕:真正的大国格局,从不用统一定义体面!

故事终将光明磊落
2026-11-21 09:45:41
红果当下最火3部短剧,榜首一集就把人看住了

红果当下最火3部短剧,榜首一集就把人看住了

乡野小珥
2026-11-20 03:04:06
1879年,浙江巡抚谭钟麟午睡醒来,经过通房丫鬟的房间时与她有了关系;正是这一次,这名丫鬟后来生下了一位国民政府主席

1879年,浙江巡抚谭钟麟午睡醒来,经过通房丫鬟的房间时与她有了关系;正是这一次,这名丫鬟后来生下了一位国民政府主席

人生录
2026-11-20 00:05:12
成都这个下穿隧道,马上要开修了

成都这个下穿隧道,马上要开修了

记录生活日常阿蜴
2026-11-21 08:54:26
山东省原副省长闫剑波,辞去山东省委委员职务;今年9月已跨省任厦门代市长;曾任禹城市委书记、济宁市委副书记、威海市委书记等职

山东省原副省长闫剑波,辞去山东省委委员职务;今年9月已跨省任厦门代市长;曾任禹城市委书记、济宁市委副书记、威海市委书记等职

极目新闻
2026-11-20 18:40:29
一名助理被带走调查!徐欣莹夜赴地检署绝食抗议,控司法粗暴介选

一名助理被带走调查!徐欣莹夜赴地检署绝食抗议,控司法粗暴介选

海峡导报社
2026-11-21 07:44:07
新一代本田冠道发布:新增三排成七座、中国特供变全球

新一代本田冠道发布:新增三排成七座、中国特供变全球

快科技
2026-11-20 16:43:35
沈阳新娘远嫁杭州,娘家30口人自驾送亲,新郎只愿付当天住宿费

沈阳新娘远嫁杭州,娘家30口人自驾送亲,新郎只愿付当天住宿费

兰姐说故事
2025-08-21 20:05:04
三十年前,瑞典的人均GDP高达3.2万美元,甚至比美国还高出18%,街头安全到可以夜不闭户;如今到处都是难民,本地人都不敢出门

三十年前,瑞典的人均GDP高达3.2万美元,甚至比美国还高出18%,街头安全到可以夜不闭户;如今到处都是难民,本地人都不敢出门

回京历史梦
2026-11-21 09:31:06
比迪亚斯更亏!利物浦恐放走头号核心!伊劳拉彻底慌了

比迪亚斯更亏!利物浦恐放走头号核心!伊劳拉彻底慌了

澜归序
2026-11-21 10:23:38
开国少将黎原,评价华国锋:他只是表面文弱,其实是个实干家

开国少将黎原,评价华国锋:他只是表面文弱,其实是个实干家

吕醿极限手工
2026-11-15 15:47:27
2026-11-21 12:47:00
至顶科技 incentive-icons
至顶科技
科技产业媒体与 AI 产业服务机构
23593文章数 49740关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

特朗普在白宫点赞深圳 称美国一些城市"脏得让人恶心"

头条要闻

特朗普在白宫点赞深圳 称美国一些城市"脏得让人恶心"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

虞书欣擦边自拍、霸凌同事、媒体点名?

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

家居
教育
时尚
手机
军事航空

家居要闻

2026建博会(广州) 公装联探展交流活动

教育要闻

五角星数线段,看着简单,多数孩子数错

运动风,漫不经心地穿才“松弛”!

手机要闻

首款鸿蒙AI手机!华为星芒OSTA O1Pro发布,售价5499元起

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版