单个数据中心的电力和散热,已经装不下现代AI集群了。在SC26(Supercomputing 2026)上,俄亥俄州立大学的研究人员讨论了高性能网络技术的演进,核心判断是:这种规模的分布式计算,远不是把网线换快一点就能解决,需要把负载铺到不同地理区域的数据中心里去。
![]()
现代AI集群通常容纳超过10万个AI加速器,还可能挂上数百万个CPU端点。这对网络带宽、延迟和拥塞管理提出了极高要求。与此同时,加速器的算力增长持续快于通信能力,更快的AI GPU并不必然带来应用性能的等比例提升。网络基础设施的效率,直接决定大规模AI系统能把算力用出几成。
传统上,高性能计算依赖两个互连域:纵向扩展(scale-up)和横向扩展(scale-out)。前者用AMD的Infinity Fabric、Intel的UPI、Nvidia的NVLink,或UALink这类新兴方案,把紧耦合系统内的处理器和加速器连起来;后者通常靠以太网、InfiniBand、HPE Slingshot,或较新的Ultra Ethernet,把单台服务器或机架级系统连成更大的集群。两者对带宽、延迟、可扩展性的要求不同,用途也不同。
现在出现了第三个互连域:跨域扩展(scale-across)。与通常只在单个数据中心内连接系统的横向扩展不同,跨域架构把高性能连接延伸到不同楼宇、园区甚至区域之间。这样做的目的,是把多个位置的计算和其他资源合起来达到一定性能水平,而不是硬把过多加速器塞进一个数据中心——受供电、散热或物理空间限制,这件事可能很难,甚至做不到。
转向跨域架构的动作已经开始。Google今年早些时候推出了Virgo网络架构,用来支撑超出单个数据中心空间和电力容量的AI负载。该公司的思路是把整个计算设施园区当作一个系统来对待,只是为加速器之间、服务器之间、数据中心之间的通信分别设置专用网络。Cisco和Marvell也在开发跨域部署所需的技术,包括高容量路由器、交换芯片和光互连,用来连接地理上分散的集群。
把AI基础设施伸出单栋设施之外,技术挑战不小。现代纵向扩展网络在相对短的距离内能提供极高带宽和极低延迟,但数据中心之间的通信要面对长距离连接的物理限制。即便是光网络也无法消除传播延迟,拥塞、丢包和同步开销还会进一步压低有效性能。用高速链路把两个大型GPU集群连起来,并不等于它们就能像一套紧耦合的计算系统那样运转。
这对AI训练尤其关键,加速器之间要频繁交换模型参数、梯度和中间结果。大规模负载需要高效的集合通信,单个加速器受到的延迟会急剧拉低整个集群的性能。分布式计算的效率不只取决于原始网络带宽,还取决于网络拓扑、拥塞管理、通信协议和软件实现。
为应对这些限制,网卡和交换机正变得比以往更复杂。现代网络接口控制器可以在不持续占用CPU的情况下执行远程直接内存访问(RDMA)操作;HPE Slingshot的硬件集合通信、Nvidia的SHARP等技术,能把部分通信操作卸载到网络基础设施本身。SmartNIC和数据处理单元(DPU)用专用硬件承担选定的网络与基础设施功能,进一步减轻主机处理器的负担。这些能力可以在不必然要求更快物理互连的前提下,提升分布式应用的效率。
软件的作用同样重要。libfabric、MPI、UCX这类通信框架,决定应用如何交换数据、如何用上现代网卡的能力。GPU感知通信和GPUDirect RDMA等技术,可以省掉经由主机内存的不必要搬运;经过优化的集合操作,能降低大量加速器之间的通信开销。
AI基础设施的复杂度上升,也在改变运维者评估网络性能的方式。行业仍在推出更快的互连技术,包括标称带宽800 Gb/s和1.6 Tb/s的各类千兆以太网版本,但峰值传输速率并不能完整描述一套系统的能力——实际应用性能取决于多个因素,包括网络硬件和软件如何配合完成数据传输、防止拥塞、在数千个处理器之间同步计算。
跨域互连架构的出现,反映的是AI基础设施设计上的根本变化。单颗加速器的算力在涨,AI集群的规模在超出单栋设施,高效通信已经和处理器性能同等重要。下一代AI系统靠的不只是更快的AI加速器或CPU,还有更复杂的网卡、交换机,以及更关键的、能把地理上分散的计算资源连起来又不背太多通信开销的软件。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.