网易首页 > 网易号 > 正文 申请入驻

十万加速器塞不进一个机房,AI集群为何要跨区组网?

0
分享至

单个数据中心的电力和散热,已经装不下现代AI集群了。在SC26(Supercomputing 2026)上,俄亥俄州立大学的研究人员讨论了高性能网络技术的演进,核心判断是:这种规模的分布式计算,远不是把网线换快一点就能解决,需要把负载铺到不同地理区域的数据中心里去。


现代AI集群通常容纳超过10万个AI加速器,还可能挂上数百万个CPU端点。这对网络带宽、延迟和拥塞管理提出了极高要求。与此同时,加速器的算力增长持续快于通信能力,更快的AI GPU并不必然带来应用性能的等比例提升。网络基础设施的效率,直接决定大规模AI系统能把算力用出几成。

传统上,高性能计算依赖两个互连域:纵向扩展(scale-up)和横向扩展(scale-out)。前者用AMD的Infinity Fabric、Intel的UPI、Nvidia的NVLink,或UALink这类新兴方案,把紧耦合系统内的处理器和加速器连起来;后者通常靠以太网、InfiniBand、HPE Slingshot,或较新的Ultra Ethernet,把单台服务器或机架级系统连成更大的集群。两者对带宽、延迟、可扩展性的要求不同,用途也不同。

现在出现了第三个互连域:跨域扩展(scale-across)。与通常只在单个数据中心内连接系统的横向扩展不同,跨域架构把高性能连接延伸到不同楼宇、园区甚至区域之间。这样做的目的,是把多个位置的计算和其他资源合起来达到一定性能水平,而不是硬把过多加速器塞进一个数据中心——受供电、散热或物理空间限制,这件事可能很难,甚至做不到。

转向跨域架构的动作已经开始。Google今年早些时候推出了Virgo网络架构,用来支撑超出单个数据中心空间和电力容量的AI负载。该公司的思路是把整个计算设施园区当作一个系统来对待,只是为加速器之间、服务器之间、数据中心之间的通信分别设置专用网络。Cisco和Marvell也在开发跨域部署所需的技术,包括高容量路由器、交换芯片和光互连,用来连接地理上分散的集群。

把AI基础设施伸出单栋设施之外,技术挑战不小。现代纵向扩展网络在相对短的距离内能提供极高带宽和极低延迟,但数据中心之间的通信要面对长距离连接的物理限制。即便是光网络也无法消除传播延迟,拥塞、丢包和同步开销还会进一步压低有效性能。用高速链路把两个大型GPU集群连起来,并不等于它们就能像一套紧耦合的计算系统那样运转。

这对AI训练尤其关键,加速器之间要频繁交换模型参数、梯度和中间结果。大规模负载需要高效的集合通信,单个加速器受到的延迟会急剧拉低整个集群的性能。分布式计算的效率不只取决于原始网络带宽,还取决于网络拓扑、拥塞管理、通信协议和软件实现。

为应对这些限制,网卡和交换机正变得比以往更复杂。现代网络接口控制器可以在不持续占用CPU的情况下执行远程直接内存访问(RDMA)操作;HPE Slingshot的硬件集合通信、Nvidia的SHARP等技术,能把部分通信操作卸载到网络基础设施本身。SmartNIC和数据处理单元(DPU)用专用硬件承担选定的网络与基础设施功能,进一步减轻主机处理器的负担。这些能力可以在不必然要求更快物理互连的前提下,提升分布式应用的效率。

软件的作用同样重要。libfabric、MPI、UCX这类通信框架,决定应用如何交换数据、如何用上现代网卡的能力。GPU感知通信和GPUDirect RDMA等技术,可以省掉经由主机内存的不必要搬运;经过优化的集合操作,能降低大量加速器之间的通信开销。

AI基础设施的复杂度上升,也在改变运维者评估网络性能的方式。行业仍在推出更快的互连技术,包括标称带宽800 Gb/s和1.6 Tb/s的各类千兆以太网版本,但峰值传输速率并不能完整描述一套系统的能力——实际应用性能取决于多个因素,包括网络硬件和软件如何配合完成数据传输、防止拥塞、在数千个处理器之间同步计算。

跨域互连架构的出现,反映的是AI基础设施设计上的根本变化。单颗加速器的算力在涨,AI集群的规模在超出单栋设施,高效通信已经和处理器性能同等重要。下一代AI系统靠的不只是更快的AI加速器或CPU,还有更复杂的网卡、交换机,以及更关键的、能把地理上分散的计算资源连起来又不背太多通信开销的软件。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
特朗普称不支持“台独”引发岛内震动,台湾网民:“早点统一吧!”

特朗普称不支持“台独”引发岛内震动,台湾网民:“早点统一吧!”

环球网资讯
2026-11-21 07:06:39
不匹配的高度,配得上谁?

不匹配的高度,配得上谁?

薇微笑语
2026-11-20 16:13:00
上海男子车祸后CT显示无大碍,回家后收到医生电话:快回来,AI意外揪出无症状肠癌;网友直呼太神奇:这才是AI存在的意义!

上海男子车祸后CT显示无大碍,回家后收到医生电话:快回来,AI意外揪出无症状肠癌;网友直呼太神奇:这才是AI存在的意义!

犀利辣椒
2026-11-20 20:08:23
APCE上的温情一幕,让人好感动!

APCE上的温情一幕,让人好感动!

低调看天下
2026-11-20 15:46:04
说出来你都不敢信,美国总统飞一趟中国,花出去的钱足足能买3辆全新的劳斯莱斯!

说出来你都不敢信,美国总统飞一趟中国,花出去的钱足足能买3辆全新的劳斯莱斯!

扶苏聊历史
2026-11-20 15:37:24
陕西23岁女大学生,被黑人男友传染艾滋,事后称很爱他我不后悔

陕西23岁女大学生,被黑人男友传染艾滋,事后称很爱他我不后悔

妙妙奇思物语
2026-11-20 14:58:41
“80后”高校副校长,落马!

“80后”高校副校长,落马!

双一流高校
2026-11-21 01:41:21
上海爷叔铁了心娶小35岁女子,三次将子女告上法庭!家人:她从事过特殊行业,动机不纯;爷叔:她对我一片真心,我同情她

上海爷叔铁了心娶小35岁女子,三次将子女告上法庭!家人:她从事过特殊行业,动机不纯;爷叔:她对我一片真心,我同情她

大风新闻
2026-11-21 09:12:09
男子让好友睡自己妻子,遭好友拒绝,愤怒下将好友妻子和娃杀死

男子让好友睡自己妻子,遭好友拒绝,愤怒下将好友妻子和娃杀死

夜话奇谭
2026-11-20 14:15:49
理想员工称“宁德时代一天寄来3封催款邮件”,上月理想MEGA部分订单无法按约交付,8月已从宁德时代前五大客户中消失

理想员工称“宁德时代一天寄来3封催款邮件”,上月理想MEGA部分订单无法按约交付,8月已从宁德时代前五大客户中消失

青科新闻
2026-11-20 14:08:31
超级周期即将来临,一定要守住自己口袋里的现金

超级周期即将来临,一定要守住自己口袋里的现金

枫冷慕诗
2026-11-20 13:35:28
余承东紧急纠正发布会不当言论:现在还是L2 开车不能睡觉!

余承东紧急纠正发布会不当言论:现在还是L2 开车不能睡觉!

快科技
2026-11-20 18:40:09
特朗普点赞深圳,称美国一些城市“脏得让人恶心”

特朗普点赞深圳,称美国一些城市“脏得让人恶心”

极目新闻
2026-11-21 09:44:24
纳指尾盘跌幅扩大至5%

纳指尾盘跌幅扩大至5%

财联社
2026-11-21 04:48:07
明年1299万大学生毕业再刷纪录,中国正在批量生产"用不上"的大学生

明年1299万大学生毕业再刷纪录,中国正在批量生产"用不上"的大学生

老郭在学习
2026-11-20 16:10:45
西药直达病灶,联邦通信委员会禁止三大运运商获取美国电话号码

西药直达病灶,联邦通信委员会禁止三大运运商获取美国电话号码

凡人学电脑
2026-11-20 23:39:35
继黄仁勋被搞后,AMD总裁也被曝出丑闻?长期和俄罗斯男性接触,背后有克格勃背景

继黄仁勋被搞后,AMD总裁也被曝出丑闻?长期和俄罗斯男性接触,背后有克格勃背景

小徐讲八卦
2026-11-20 16:21:57
现场情绪激动!英伟达联合创始人哽咽发言:狠批黄仁勋背叛公司价值

现场情绪激动!英伟达联合创始人哽咽发言:狠批黄仁勋背叛公司价值

快科技
2026-11-20 15:31:06
“爸爸我爱你”为什么也会敏感违规?

“爸爸我爱你”为什么也会敏感违规?

历史总在押韵
2026-11-20 18:32:28
中美俄发布和平宣言, 里面有句公道话,是否对杜特尔特产生影响?

中美俄发布和平宣言, 里面有句公道话,是否对杜特尔特产生影响?

墨兰史书
2026-11-21 03:20:04
2026-11-21 10:36:49
Ping值焦虑
Ping值焦虑
有态度网友ytd
268文章数 113关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

亲子
房产
健康
游戏
手机

亲子要闻

宝宝必看的5个启蒙动画,豆瓣评分都是在9.0以上

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

医生眼里"很伤腰"的椅子,很多人天天坐

PC Gamer试玩GTA6百小时:双主角出色但任务重复

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

无障碍浏览 进入关怀版