AI时代DC互联：单芯之上抱“网”作战，真有“中国”机会吗？

AI大模型参数Scaling Law下不断膨胀、多轮对话所需存储越来越多，单卡算力、单卡内存无法承接前沿模型的推理与训练任务，AI工作负载必须由海量xPU构成的超大规模集群协同运作。

而将单卡连成集群、将集群内、外上万颗不同芯片“拼”成一台机器工作的，便是AI互连网络。

从GPGPU与AI ASIC厂商近几年的技术路线也可以看出，行业的关注焦点已经从追求单芯峰值算力转向大规模集群的工程实践。

当下模型训练被切分到成千上万颗 xPU 上，每一步迭代、梯度计算都要穿插大量XPU之间的集合通信；同步并行下，所有卡必须等待最慢的那条链路完成交换才能进入下一步(木桶效应)。

单芯时代，中国厂商差距太大。但高带宽、低延迟为主诉求的AI互联时代，黄仁勋说过，单芯弱项可以通过AI互联来弥补掉，而这也正是中国领头羊华为的强项——有自定义的UB通信协议、有华为自己的交换机，有超级的互联能力。

海豚君就通过一系列的研究，来理解AI互联层级的问题。本篇从最基本的问题看起来：

1）AI数据中心的连接？

2）包含哪些概念和基本要素？

以下为详细分析

一、网络连接是什么？

建数据中心，需要有GPU、CPU等各类XPU、各种存储、网卡、交换机等，而连接就是把不同的数据中心设备，通过光纤、铜线等连接起来，形成一个信息互通的高速网络。

核心要素与传统互联时代没有本质区别，核心是连接更为紧密，速度、带宽更高之后，对工程带来了更大的要求。

先看一下英伟达&AMD下AI网络连接架构的层级，也是行业较为通用的做法。按物理距离由内而外来看可分为三层，依次是：

1) 一层托盘内——CPU与周围设备互连；

2) 机架之内、单机架内不同托盘、同一托盘内多芯之间——xPU间互连；

3) 数据中心间互连。见下图：

不妨将AIDC想象成一个需要赶超大工程项目（AI工作负载）的园区。园区里有许多办公楼（Rack），每个办公楼内，有多个工作楼层（Compute Tray）和多个调度楼层（Switch Tray，内嵌专有交换芯片，做分发和网内计算）。

办公区里的核心有项目经理（CPU）专门负责派活、调取资料、对接外部，以及真正干活的工程师（xPU），算力由它们贡献，此外还需要前台窗口（NIC）对外收发。项目被切成上万份同时开工，"谁和谁沟通，多快能对齐"就决定了整体工期。

1) 同托盘内——CPU与外围互连：该层协调CPU与xPU、NIC及其他外围设备之间的通信，物理实现是通过PCB走线，距离以厘米计，延迟极低，仅在纳秒量级。功能上，这层主要负责内外数据传输、分派任务给XPU。

2) 机架内、机架间——算力xPU间互连：整个AI时代的算力大脑，也可以理解成真正干活的工程师。因为AI算力要求太高，这些工程师之间要高速连接，形成一个实质上的超级工程师，这是当前演进最快、也是本篇重点关注的一层。

- Tray-Tray（Scale-up）：一层办公楼常有多位工程师，即使两个人距离再近，也不是两人直接通信，而是都把自己信息传给调度楼层（交换机：Switch Tray），由调度室统一转发。

这么做是因为，工程师之间的沟通不是只有两个工程师互传，而是几十数百人的多人互传，人不能走动，走人传人路线，转述次数太多，延迟就来了。

大家把信息都共享给调度员（交换机），调度员看到收件地后，一键直投目的地，可以避免人传人的延迟。也就是一层托盘内部，GPU之间虽然距离很近，但并无任何连接。

物理实现上信息是从XPU先走PCB出托盘，再走铜线，接入调度层。但因XPU越连越多，这层连接方式在持续演进。这段链路目前主要采用铜连接，铜缆的物理性质决定了工程师-调度室-工程师之间的通信能力。

需要注意的是，以物理距离维度的Rack内/外区分 Scale-Up/Out 并不准确，但仍易于理解。我们在后文会看到英伟达Rubin Ultra方案的Scale-Up域跨出了机架。本质差异在于通信协议语义：

- Scale-Up可以理解为指令级直取。写明地址后Switch ASIC即按址直取（内存语义，直接寻址读写），因此延迟更低；

- Scale-Out可以看作是投递快递。必须把内容装袋封好、写清收件人后进行转运，还要等一纸回执（消息语义，需协议封装与确认）。

从通信语义角度，常见组网方案（除华为）中，Scale-Up域仅纳入了XPU，机架内其余部件（CPU、存储等）皆在域外。

此处以 CPU 为例：CPU 想找另一层托盘 上的 CPU，通过消息语义传输，路径和一台普通服务器找另一台普通服务器一致，路径为：CPU → PCIe → 网卡/DPU→ 交换机→ 对端 DPU → PCIe → CPU，其实即使在同一Rack的Scale out了。

- Rack-Rack（Scale-out）：多栋楼（Rack）串联为协调一致的训练集群（Pod/SuperPod）。跨楼流量不再经由调度室（Switch Tray），而是由 xPU 交给 NIC。

之后，经以太网交换机（可以看作是园区收发室）层层转运，主要依赖运行于 400G、800G 以及 1.6T 速率的光模块，并采用双层和三层胖树等层级式拓扑（见下图）。核心挑战也从"送得多快"变成拥塞控制、成本效益，以及对多达数万个加速器的协调。

3) 数据中心互连(Scale-across)：通过长途光网络连接多个园区或区域，支撑跨区工作负载分发、数据复制及与终端用户接入，依赖相干 DWDM 光器件。传输距离可达数十至数百公里，单波长带宽从 400G 到 800G，并向 1.6T/3.2T 演进。由于承载的多为区域间流量而非训练中的同步操作，可以忍受更高的延迟。

二、网络连接：关键硬件，如何运作？

以上主要设备之间"谁和谁沟通"的问题。接下里是用什么来沟通。核心是两大类：

a. 硬件：PCB、交换机、网卡、光模块、铜缆、光纤等等；

b. 软件：网络连接协议，本质是生态的竞争——谁指定的协议标准，对应的硬件出货和组网方案更多。

接下来先看硬件：

1）硬件：不同协议下设备出货和市占，是连接生态战的硬核实力

硬件大致可以归为三类模组：交换机、连接/光器件以及网卡NIC/数据处理芯片DPU，各模组内部均以专用芯片作为核心，分别提供集群AI工作负载所需的带宽、信号完整性以及计算卸载能力。

a. 交换机：高产业链价值量、高毛利率

交换机用于组建网络，是AIDC网络的核心汇聚与转发设备，负责在xPU间调度流量，也就是上一节中的园区收发室，其核心是交换芯片，直接决定整机的吞吐、延迟与功率。

聚合带宽由端口数量与单端口速率决定。当前主流产品已支持 51.2T 并向 102.4T 演进，对应每端口 400G、800G 以及 1.6T 的链路速率。

在常见的胖树拓扑中，交换机可分为ToR/Leaf、Spine以及三层拓扑下的Super-Spine。ToR或Leaf交换机位于机架最上端，向下连接机架内各服务器的 NIC，是唯一与xPU直连的一级，而其余各级只与交换机互连，随着网络层级变多，从Spine逐级拓展到Super-Spine。

b. 光器件/连接

• 光器件：芯片高价值量，高毛利；但模组高价值量，强竞争

光模块负责在交换芯片、网卡与链路之间完成E/O & O/E的双向转换，在数据传输中起到“翻译”作用。主流方案中是Scale-Out不可或缺的组件，也正越来越多地被用来将Scale-Up网络延伸至铜缆物理极限之外。

随着网络速率向800G、1.6T甚至3.2T迁移，功耗、散热、信号完整性等成为主要瓶颈，推动架构从传统可插拔（400G/800G为主）向LPO、CPO演进。详情请参见、。

• 连接介质：中价值量，强竞争

信号传输介质上，铜互连一直以低功耗、高性价比和高可靠性受到重视，但随着距离拉长或速率提高，信号质量会迅速劣化，铜缆连接通常被限制在30米以内，这使铜缆主要局限于机柜内Scale-Up层应用。在英伟达Rubin Ultra方案中，首次引入了PCB板替代铜缆作为机柜内Scale-Up的方案。

光链路则提供高带宽与长距，且衰减少，可向Tb级扩展，因此成为Scale-Out层中机架间链路的主流方案。

c) NIC/DPU

网卡（NIC）是节点的网络端点，经PCIe或专有链路与xPU、CPU连接，负责收发传输数据包给交换机，其性能影响Scale-Out侧实际通信效率。

目前，NIC正加速向具备计算能力的Smart NIC（内嵌可编程逻辑等）演进，演进方向是将非计算中心任务从CPU中卸载，从而释放CPU算力用于AI编排调度等核心任务。DPU则在NIC之上更进一步将网络、存储、安全等任务一并接管。

2）硬件是如何运作的？

可以看到各硬件在AI网络中各司其职，接下去的问题是这些硬件是如何互相协作完成AI工作负载的。下面我们换一个视角，从信号的流动路径，来理解这些器件是如何形成一个系统的。

整体流程参考下图：

a. 节点内部

服务器内部，CPU、GPU 和 NIC/DPU 通过电链路（铜）相互连接。当信号完整性不足以支撑传输距离时，通常会引入Redriver以及Retimer器件。

Redriver 只做模拟域的均衡与放大，在补偿高频损耗的同时也会把噪声一并放大，成本与功耗更低；而Retimer把衰减到快要认不出的信号进行重定时，重新发出后，下游看到的是一条全新的链路，从而延伸可达距离。

b. Scale-Up

若目标加速器位于同一域内，直接通过专有互连交换ASIC（即第一节中办公区与调度室的通信），以Load/Store指令直接寻址。

这里引出衡量路径长度的通用指标，跳数（hop）：数据每经过一个执行转发决策的设备即为一跳，跳数越多，延迟越高。

Scale-Up 域内配备交换 ASIC 时，因为只经过ASIC，直接到了目的地GPU，任意两颗 GPU 之间均为单跳；

若方案中缺少交换 ASIC 而采用直连拓扑（如 Torus，我们将在下一篇深度中覆盖谷歌的组网方案），同等规模下则需多跳绕行。Scale-Out 侧的两层胖树需 3 跳，三层胖树需 5 跳（见下图）。

注意这个概念非常重要，AI DC组网的核心一个是尽量让重要的设备放在一个通信语义内，以便直接寻址，提高速度。第二个重要的概念就减少数据的中转次数，或者说跳数。

c. Scale-Out

若目标加速器位于Scale-Up域之外，流量先被交付到NIC/DPU；随后经电通道进入光模块，完成E（电Eletrical）/O（光Optical）转换后沿光缆跨机架传输。

抵达交换机后，光模块做O/E还原，交换ASIC处理电信号决定下一跳并将其转发。多级拓扑下，数据依次穿越Leaf、Spine以及Super Spine，最终到达目标服务器。

三、连接的生态大战：协议是灵魂

介绍完硬件，本节接着看协议。如果将一整套硬件理解成基础设施，那么协议就是指导基础设施运作的规则，其规定了通信语义、可拓展节点上限等。

各层级对延迟、带宽的需求差异显著，协议生态是以阵营来划分的，强势程度取决于标准对同行、上下游的接受度，以及这个协议标准下的硬件销量市占率：

我们整理了各层级的协议性能情况（见上表），其中最关键的是带宽与延迟两项指标（红框内）。

分层来看，产业演进核心在 Scale-Up 层，厂商都希望做行业"话事人"：英伟达NVLink、AMD UALink 以及 华为UB 等多种专有协议并存，性能、成本与生态各异。

Scale-Out 层格局则相对清晰，竞争主要在英伟达主导的 InfiniBand 与开放生态的以太网之间展开。

而单就协议性能而言，英伟达在连接协议上基本可以做到封闭+开放生态两种方案并行，仍是行业标杆（下图中越靠右上，性能越佳）。

但对终端 CSP 而言，方案最终仍是在业务需求、预算与自主可控之间做取舍，这也正是 UALink、博通SUE 等开放阵营得以成形的原因。

本片有关网络连接的基础介绍暂停于此，下篇重点分析AMD和英伟达的方案差异，理解Helios是否真有能力撼动英伟达GB和VR NVL 72的实力。

<此处结束>

//转载开白

本文为海豚研究原创文章，如需转载请添加微信：dolphinR124 获得开白授权。

//免责声明及一般披露提示

本報告僅作一般綜合數據之用，旨在海豚研究及其關聯機構之用戶作一般閱覽及數據參考，並未考慮接獲本報告之任何人士之特定投資目標、投資產品偏好、風險承受能力、財務狀況及特別需求投資者若基於此報告做出投資前，必須諮詢獨立專業顧問的意見。任何因使用或參考本報告提及內容或信息做出投資決策的人士，需自行承擔風險。海豚研究毋須承擔因使用本報告所載數據而可能直接或間接引致之任何責任或損失。本報告所載信息及數據基於已公開的資料，僅作參考用途，海豚研究力求但不保證相關信息及數據的可靠性、準確性和完整性。

本報告中所提及之信息或所表達之觀點，在任何司法管轄權下的地方均不可被作為或被視作證券出售邀約或證券買賣之邀請，也不構成對有關證券或相關金融工具的建議、詢價及推薦等。本報告所載資訊、工具及資料並非用作或擬作分派予在分派、刊發、提供或使用有關資訊、工具及資料抵觸適用法例或規例之司法權區或導致海豚研究及／或其附屬公司或聯屬公司須遵守該司法權區之任何註冊或申領牌照規定的有關司法權區的公民或居民。

本報告僅反映相關創作人員個人的觀點、見解及分析方法，並不代表海豚研究及/或其關聯機構的立場。

本報告由海豚研究製作，版權僅為海豚研究所有。任何機構或個人未經海豚研究事先書面同意的情況下，均不得(i)以任何方式製作、拷貝、複製、翻版、轉發等任何形式的複印件或複製品，及/或(ii)直接或間接再次分發或轉交予其他非授權人士，海豚研究將保留一切相關權利。

文章不易，点个“分享”，给我充点儿电吧~