网易首页 > 网易号 > 正文 申请入驻

大型挂机现场:马斯克的55万英伟达GPU,利用率才11%

0
分享至

编辑 | 泽南

AI 时代堆 GPU,原来是这么个堆法?

马斯克旗下的 xAI 目前 GPU 资源利用率只有大概 11%。相关报告指出,其 AI 软件栈的优化效果不尽如人意。近日,《The Information》的报道引发了人们的关注。

目前,xAI 在其 Memphis 和 Colossus 数据中心集群中运营着约 55 万块英伟达 GPU,包括 H100 和 H200 两种型号,其中部分设备采用了液冷散热配置。尽管这些 GPU 属于上一代产品(早于最新的 Blackwell 系列),但其规模已经令人叹为观止。

拥有如此庞大的 GPU 存量,xAI 的模型算力利用率(MFU,Model FLOPs Utilization)却只有 11%。打个不恰当的比喻,在 xAI 服务器中已安装的这 50 万块 GPU 中,实际可用的算力仅相当于约 6 万块 GPU 的水平。究竟是什么原因导致了如此低的效率?

首先,对于较小规模的部署环境(例如 1000-10000 块 GPU)而言,多节点之间的协调计算通常不成问题。但随着服务器规模的不断扩大,当需要集成数十万颗 GPU 时,设备的空闲时间便会迅速累积,导致整体利用率急剧下滑。由此引发的软件栈内部的一系列不一致性问题,目前正在 xAI 的实际运行中暴露无遗。

在超级集群中,GPU 芯片本身的计算速度相对很快,瓶颈在于高带宽内存(HBM)的数据读写速度和成千上万台服务器之间网络传输的通信开销。只要数据传输出现微小的延迟或网络拥堵,整个集群的 GPU 就会被迫 “原地挂机” 等待数据加载。

另一方面,AI 模型的训练通常是间歇性的。GPU 在实际计算时满载运转,但在研究人员分析训练结果、调整参数或处理数据管道时,大量设备就会处于闲置(Idle)状态。

虽然 11% 是一个显然偏低的数字,但 The Information 的报道也揭示了 AI 领域的一些行业潜规则:算力浪费是普遍的现象,有些大厂的研究人员为了避免被管理层批评,或者害怕闲置的 GPU 配额被其他团队抢走,甚至会故意重复运行一些无意义的训练任务来 “刷高” 利用率数据。

该说不说,这么做也是为了保住团队自己的 GPU 配额。

当然,这并非 xAI 独有的难题,它实际上是整个 AI 行业普遍存在的一种结构性问题 ——AI 基础设施要在如此庞大的规模下实现高效运行,是一项极其艰巨的挑战。

运行 AI 云基础设施所需的优化技能涵盖数据、算法、模型、计算、内核、交互(人类 - AI - 世界、智能体之间),以及全局优化,在工程上难度极高。

一些科技巨头着重优化了大规模基础设施堆栈,已经能够实现超过 40% 的利用率。Meta 和谷歌便是此类典范,其 GPU 的利用率分别高达 43% 和 46%。

xAI 遇到的困境证明了在当前的 AI 军备竞赛中,“买到 GPU” 只是第一步,用好才是关键。硬件规模已经超出了现有软件架构的调度能力。

不过,xAI 已在着手解决这一问题,并设定了利用率达到 50% 的目标。尽管目前尚无确切的时间表,但其核心改进将聚焦于基础设施与软件堆栈的优化。随着未来工作负载逐步迁移至那些专为驱动 “智能体 AI”(Agentic AI)需求而设计的硬件平台之上,xAI 极有可能将其庞大的 GPU 集群对外提供租赁服务。

马斯克也在寻求转变,押注于自研算力的 “TeraFab” 项目:一方面,他正在推动多款自研芯片,将其纳入 xAI 的 “AI 芯片家族” 之中;另一方面,马斯克也希望借助英特尔的 14A 制程技术,为未来的 xAI、SpaceX 及其它相关业务打造尖端解决方案。

xAI 的困境提醒了所有追赶者:AI 竞赛的下半场,拼的可能不再是谁能买到更多显卡。

参考内容:

https://www.theinformation.com/newsletters/ai-agenda/xai-shows-hard-use-lot-gpus

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
画面曝光!男子闯入C-130“大力神”运输机内部:剪断电线、砸坏仪表盘、倾倒腐蚀性物质,使美军机报废,被起诉

画面曝光!男子闯入C-130“大力神”运输机内部:剪断电线、砸坏仪表盘、倾倒腐蚀性物质,使美军机报废,被起诉

大风新闻
2026-11-18 14:36:05
刘嘉玲晒照为章泽天庆生,梁朝伟罕见同框,“奶茶妹妹”蕾丝衫优雅

刘嘉玲晒照为章泽天庆生,梁朝伟罕见同框,“奶茶妹妹”蕾丝衫优雅

娱乐嗑学家.
2026-11-18 09:39:43
被丈夫满文军揭发,服刑11个月重获自由,李俐为何出狱7年才离婚

被丈夫满文军揭发,服刑11个月重获自由,李俐为何出狱7年才离婚

梦醉为红颜一笑
2026-11-17 18:57:37
因老婆养花,家里搞得像“灵堂”,江苏一男子发帖求助:咋办啊

因老婆养花,家里搞得像“灵堂”,江苏一男子发帖求助:咋办啊

坠入二次元的海洋
2026-11-19 05:00:42
当着全世界的面!日本给赖清德“当头一棒”,祖国统一众望所归

当着全世界的面!日本给赖清德“当头一棒”,祖国统一众望所归

阿器谈史
2026-10-18 16:00:56
真正的思念,总是会无声无息的

真正的思念,总是会无声无息的

疾跑的小蜗牛
2026-11-18 21:04:36
ESPN NBA专家揭露安东尼·戴维斯,6000万美元交易难题

ESPN NBA专家揭露安东尼·戴维斯,6000万美元交易难题

好火子
2026-11-18 23:29:25
胜任了,以色列宣布了!

胜任了,以色列宣布了!

故事终将光明磊落
2026-11-18 16:01:07
笑死了!文吉儿回应火车换位置全过程,没想到评论区句句都是梗

笑死了!文吉儿回应火车换位置全过程,没想到评论区句句都是梗

喵喵娱乐团
2026-11-18 20:50:49
“挺帅的儿子,让你养自卑了!”一段母子俩买衣服视频惹怒了网友 :你替他选的“好衣服”,养出的是没主见的孩子

“挺帅的儿子,让你养自卑了!”一段母子俩买衣服视频惹怒了网友 :你替他选的“好衣服”,养出的是没主见的孩子

蝴蝶花雨话教育
2026-11-19 06:46:57
渣叔慧眼识珠!上任6场提拔3大新人 悉数坐稳德国主力

渣叔慧眼识珠!上任6场提拔3大新人 悉数坐稳德国主力

球事百科吖
2026-11-18 06:35:06
公交系统终于想通了:与其让一城人抢上车,不如让他们先举手

公交系统终于想通了:与其让一城人抢上车,不如让他们先举手

琴音缭绕回
2026-11-18 12:25:15
宋庆龄一辈子没有生养,1981年法医对她的遗体进行解剖检查,这才揭开了她心底最痛苦的隐情

宋庆龄一辈子没有生养,1981年法医对她的遗体进行解剖检查,这才揭开了她心底最痛苦的隐情

扶苏聊历史
2026-11-12 18:31:31
赌场还是屠宰场?A股正在把散户吃干抹净

赌场还是屠宰场?A股正在把散户吃干抹净

A活着
2026-10-12 17:03:56
6平方档口,却集齐了21个“APEC朋友”的签名!APEC期间,老外纷纷来深圳华强北扫货

6平方档口,却集齐了21个“APEC朋友”的签名!APEC期间,老外纷纷来深圳华强北扫货

每日经济新闻
2026-11-18 20:00:37
全民拒接陌生电话,运营商、快递员、疾控中心为此付了多少成本?

全民拒接陌生电话,运营商、快递员、疾控中心为此付了多少成本?

小鹿姐姐情感说
2026-11-18 03:24:23
大幂幂不是白叫的

大幂幂不是白叫的

草莓解说体育
2026-10-24 07:40:22
疑似用虾滑充当肿瘤?中南大学湘雅二医院被爆出史诗级全AI论文

疑似用虾滑充当肿瘤?中南大学湘雅二医院被爆出史诗级全AI论文

西虹市闲话
2026-11-16 18:42:42
震惊!济南41岁医学硕士、医院科室原主任醉驾获刑,被予以开除处分,有人感慨“不至于一棒子打死”

震惊!济南41岁医学硕士、医院科室原主任醉驾获刑,被予以开除处分,有人感慨“不至于一棒子打死”

火山詩话
2026-11-18 07:25:09
中央机关公务员工资,到手大概多少?

中央机关公务员工资,到手大概多少?

网观天下
2026-11-19 07:31:36
2026-11-19 08:24:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14506文章数 142760关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

欢迎晚宴合影期间 普京与特朗普握手交流

头条要闻

欢迎晚宴合影期间 普京与特朗普握手交流

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

教育
艺术
手机
本地
房产

教育要闻

今年的秋假结束了,今晚!南京又要有多少娃熬夜通宵了?

艺术要闻

洛阳发现唐代墓志,将魏碑、唐楷精髓融于一体,比欧颜柳赵的字更耐看!

手机要闻

苹果自家App Store终于适配iPhone Duo,铰链屏裂事件又有新进展

本地新闻

乌兰察布:以前种土豆,现在种Token

房产要闻

周大生出手!海棠湾又一大商业体来了

无障碍浏览 进入关怀版