光纤与光模块在AI算力集群高速互联中的匹配分析

AI训练集群里，成千上万块GPU需要在同一个网络里高频交换梯度和参数，单块GPU配置的网卡速率已经从200G提升到400G，并正在向800G过渡。速率上去之后，光纤与光模块的匹配就不只是能不能通的问题，而是关系到功耗、密度、时延和成本的一整套取舍。下面按照互联距离、多模方案、单模方案、封装与功耗、连接与维护五个方面梳理。

一、算力集群的距离分层与介质选择

集群内部的互联距离大致分成四个层次。同一机柜内的服务器与交换机之间，距离在几米以内，可以使用无源直连铜缆DAC，功耗接近零，400G的无源DAC支持距离通常在2到3 m，800G则缩短到1到2 m。有源电缆AEC在线缆两端加入了信号重整芯片，把铜缆的可用距离延伸到3到7 m，线径也比同规格的DAC更细，利于机柜内的走线。

超过铜缆的能力之后，进入光互联的范围。机柜到相邻机柜、同一排或同一机房内部的连接，一般在100 m以内，采用多模光纤配合850 nm的VCSEL模块，也有AOC有源光缆这类整体式方案。跨机房、跨楼层，距离达到几百米到2 km，则更多使用单模光纤，1310 nm波长的DR或FR类模块，园区之间的10 km量级链路，则选用LR类模块。每上一个层次，介质、模块和连接器的形式都要跟着调整，匹配的第一步，是把每一条链路的实际长度摸清。

二、多模方案的速率与距离

多模方案的基础是VCSEL加50/125 µm的OM3、OM4或OM5光纤，单通道速率已经进入100 Gb/s的PAM4时代。IEEE 802.3db定义了100GBASE-VR1和SR1、200GBASE-VR2和SR2、400GBASE-VR4和SR4，其中VR在OM3上支持30 m，OM4上支持50 m，SR在OM3上支持60 m，OM4上支持100 m。100G、200G、400G分别使用1对、2对、4对光纤，采用MPO-12或MPO-16接口，光纤的芯数随速率成比例增加。

400G在此之前的方案，是8×50G的400GBASE-SR8，使用16芯MPO接口，OM4上距离同样为100 m。多模方案的优势在于VCSEL光源功耗低，模块成本比单模方案低，光纤与连接器的对准容差也更大，规模化部署时的良率和交付节奏更容易保证。距离方面，绝大多数GPU服务器与列头交换机之间的连接，都在100 m之内，所以多模方案在AI集群里占了不小的比例。

三、单模方案的通道设计与损耗预算

单模方案适用于距离更长或者需要较大余量的场合，光纤为G.652D，1310 nm处的衰减约0.35 dB/km。400GBASE-DR4使用4对光纤，每对承载100 Gb/s的PAM4信号，支持500 m，信道插入损耗上限为3.0 dB，光模块为1310 nm的激光器，接口是MPO-12，其中8芯被使用。400GBASE-FR4则在一对光纤里复用4个波长，支持2 km，接口是LC双工，链路的光纤数量最少，布线更简洁。

800G沿用了同样的思路。800GBASE-DR8使用8对光纤，每对100 Gb/s，距离500 m，接口为MPO-16。2×FR4形态则把一个800G模块拆成两个各自独立的400G FR4通道，可以在同一个模块里连接两个400G端口。单模连接器普遍采用8°斜角的APC端面，回波损耗典型值不低于60 dB，反射光被导出纤芯之外，避免对激光器造成干扰。信道的损耗预算只有3 dB左右，一条链路里可以容纳的连接点数量有限，规划时要把每个配对点的损耗计入。

四、封装形态、功耗与散热

400G模块常见的封装是QSFP-DD和OSFP，800G则以OSFP和QSFP-DD800为主。功耗随速率上升，400G的SR8和DR4模块大约在8到10 W，800G的DR8和2×FR4模块一般在14到17 W，具体以厂家规格书为准。一台51.2T的交换机拥有64个800G端口，模块的总功耗就有近1 kW，散热通道的设计对整机稳定性很重要。

降低功耗的方案里，线性驱动可拆卸光模块LPO把模块内部的DSP拿掉，由交换芯片的SerDes直接驱动光器件，有厂家给出的数据是功耗可以降低三成到五成，时延也随之减少。共封装光学CPO则进一步把光引擎与交换芯片封装在一起，缩短电通道的距离。这两种方式都对链路的信号完整性提出了更高的要求，模块、线缆与主板之间的匹配，需要按照系统的整体方案来验证。

五、连接器、极性与现场维护

MPO连接器的芯数与模块类型一一对应，MPO-12用于DR4和SR4，MPO-16用于DR8和SR8，两种接口的键位和外形不同，不能相互混用。极性方面，并行光学链路一般采用TIA-568.3-D中的方法B，使一端的发射通道对准另一端的接收通道，主干光缆、转接模块和跳线各段的极性类型统一，链路才能正常建立。

现场维护中，端面清洁是保证性能的基础。每次插拔之前，使用专用的一键式清洁笔或清洁带处理端面，再用光纤显微镜检查，符合IEC 61300-3-35的端面检验标准之后再连接。未使用的端口和跳线需要及时加上防尘帽，MPO端面的导向销也要留意方向，避免连接时造成划伤。这些环节看上去琐碎，却直接影响链路的误码表现。

六、快问快答

Q：万卡规模的AI集群里，机柜内和机柜间的连接，应该如何在铜缆和光缆之间划分？

A：以800G速率为例，机柜内部距离在2 m以内，无源DAC是首选，功耗几乎为零，成本也最低。距离在3到7 m的场合，可以使用AEC，线缆直径较小，弯曲半径更好控制。超过这个距离之后，进入光互联的范围，多模VR或SR模块覆盖50到100 m，单模DR模块覆盖500 m以内。现在不少新建的智算中心，在GPU服务器与机柜顶部交换机之间尽量使用铜缆，把光模块的数量集中在交换机上行方向，这样整个集群的功耗和故障点都会明显减少，运维也更简单。

Q：400G和800G链路里，单模DR系列和多模SR、VR系列该怎么取舍？

A：取舍的依据主要是距离、功耗和成本三项。距离在100 m以内，多模方案的模块功耗更低，价格也更有优势，光纤铺设量大时优势更明显。距离在100到500 m之间，只能选择单模DR系列。另外，单模光纤的带宽几乎不受限制，速率从400G升级到800G乃至1.6T时，光纤主干可以继续沿用，这对于计划长期演进的数据中心来说有很大的吸引力。所以在大型智算中心里，常常出现的组合是，机柜到列头的短距使用多模，列头到汇聚层之间使用单模，兼顾成本和演进空间。

Q：为什么400G DR4使用MPO-12接口，只占用8芯，而800G DR8要改用MPO-16？

A：这个问题相对冷门。DR4每个方向使用4芯，收发合计8芯，在MPO-12接口中，占用的是两侧的1到4位置和9到12位置，中间4芯闲置。DR8每个方向需要8芯，收发共16芯，超出了MPO-12的能力，只能改用MPO-16接口，两排各8芯，键位和外形也与MPO-12不同。选择MPO-16还有一个好处，16芯全部被利用，没有闲置的通道，光缆的空间利用率比DR4方案更高。规划布线时，主干光缆的芯数最好按16的整数倍来考虑，比如32芯、64芯，以便和800G端口一一对应。

Q：PAM4调制的光链路，为什么对连接器端面的清洁度要求比早期NRZ链路更高？

A：这也是一个不太常提到的角度。PAM4在同一个符号周期里使用四个电平，相同的信号幅度下，每一个眼图的高度只有NRZ的三分之一，折算成光功率代价约4.8 dB，噪声余量因此小了不少。链路依赖前向纠错来保证可靠性，RS(544,514)的KP4 FEC，能够把2.4×10⁻⁴的码前误码率纠正到几乎无误码。端面上的污染会增加插入损耗，也会引起额外的反射，在单模链路里形成多径干扰，直接抬高码前误码率，压缩FEC的余量。所以AI集群里的光链路，端面检验和清洁已经成为部署阶段的规定动作，检验合格之后再连接，比出现问题之后再排查要省事得多。