AOC光缆的链路延迟与AI算力集群互联效率

AOC是有源光缆的简称，两端各集成一组光收发器件，中间是固定连接的光纤，对外呈现的是电接口，使用方式与铜缆类似。在AI算力集群里，GPU服务器，叶脊交换机之间的大量短距互联，都在使用这一类线缆。集群规模扩大之后，链路延迟，带宽和稳定性共同决定了通信效率，这篇文章从延迟的构成讲起，梳理AOC在其中所处的位置。

一、AOC链路延迟由哪几部分构成？

AOC的延迟可以拆成三块，光纤中的传播时间，收发两端的电光转换与信号处理时间，以及链路层编解码带来的时间。光在石英光纤中的传播速度约为真空光速的1/1.468，折算下来每米约4.9 ns。一根30 m的AOC，纯传播时间就是约147 ns，100 m对应约490 ns，接近0.5 μs。

收发端的处理时间要看模块的结构。带有时钟数据恢复和DSP的模块，在发送和接收两端各会增加几十纳秒量级的处理时延，线性驱动一类的方案去掉了DSP，延迟和功耗都随之降低。链路层的前向纠错也要计入，400G以太网使用的RS(544,514)，编解码时延在百纳秒量级，这是保证高速率下误码率达标的必要环节。

把三部分加在一起，一条5至30 m的AOC链路，传输时间通常落在两百纳秒至三百纳秒之间。再对照交换机单跳的转发时延，InfiniBand交换机在百纳秒量级，以太网交换机在数百纳秒量级，可以看出线缆延迟与设备转发延迟处在同一个数量级，需要放在整条通信路径里统筹考虑。

二、AOC与铜缆，光模块加跳线方案的对比

机柜内部和相邻机柜之间，常见的选择有三类。无源铜缆DAC结构简单，几乎没有额外功耗，传播速度略快于光纤，3 m铜缆的延迟约十几纳秒。不过在每通道100G的速率下，无源铜缆的有效距离通常在2 m左右，覆盖范围有限。AOC的覆盖范围则延伸到3至100 m，光模块加MPO跳线的方案可以走得更远。

AOC的另一个优点是线径细，重量轻。同样长度的400G无源铜缆外径较粗，弯曲半径大，AOC的线缆柔软得多，整理走线和保持机柜内气流通畅都更容易。AOC的光路在出厂时已经封装完成，没有可插拔的光接口，也就不需要做端面清洁和插损测试，现场部署的步骤更少。

三、延迟在集群通信中的实际占比

延迟是否重要，要和报文的串行化时间放在一起看。400 Gb/s的链路，传输1 MB数据需要约20 μs，30 m AOC的147 ns传播时间只占其中的0.7%，大消息传输时几乎可以忽略，链路带宽是主要因素。换成4 KB的小消息，串行化时间只有约82 ns，同样的147 ns传播时间就比它还长，此时线缆长度对整体时延的影响变得明显。

AI训练里的集合通信，两类消息都会出现。梯度同步的数据量大，更看重带宽，参数服务，同步信号和小块的控制消息，则更在意延迟。集合通信的环形算法，时间约等于2(N−1)个通信步骤的延迟之和，加上数据量除以带宽的部分，节点数N越大，延迟项累计越多，这也是大规模集群普遍采用树形或分层算法的原因。

在三层叶脊网络中，一条跨机柜路径通常要经过4至6段链路和2至3跳交换机。把链路缩短，减少跳数，让同一任务的GPU尽量落在同一个叶交换机之下，就能直接减少延迟项。所以机房设计时，AOC的长度选择与机柜布局是同步规划的，够用即可，不必留出过多的冗余长度。

四、链路质量与长期稳定性

800G端口通常采用8个电气通道，每个通道106.25 Gb/s，使用PAM4调制，对应波特率53.125 GBd。PAM4的信噪比要求比NRZ更高，链路依赖FEC来保证最终误码率，KP4 FEC允许的纠前误码率阈值约2.4×10⁻⁴。只要纠前误码率保持在阈值以下并且有裕量，纠错后就可以达到极低的误码率，链路的有效带宽和延迟也就都更加稳定。

AOC一般采用850 nm的VCSEL光源和多模光纤，400G SR8的标准传输距离为OM3上70 m，OM4上100 m，对机房内的互联已经足够。VCSEL的工作温度范围通常是0至70 ℃的外壳温度，AI机柜功率密度从十几千瓦升到超过100 kW，机柜后部的热通道温度也随之上升，因此线缆的位置，气流组织，模块功耗，都需要和温度设计联动。

模块功耗也会被纳入整体规划。400G多模光模块的功耗在10 W上下，一台交换机几十个端口满载运行，光互联部分的功耗相当可观。线性光模块等低功耗方案，正是在这样的背景下得到关注，既能降低功耗，又能缩短模块内的处理时延。

五、快问快答

Q：AOC比DAC的延迟高多少，会影响AI训练效率吗？

A：差距在数十纳秒量级。3 m的DAC传播时间约十几纳秒，5 m的AOC传播时间约25 ns，再加上收发两端模块的处理时间，整体差距大概在几十纳秒。放到整条通信路径里，交换机一跳就是数百纳秒，大消息的串行化时间更是微秒到毫秒级，这点差距占比很小，对大模型训练里的梯度同步几乎没有可见的影响。小消息集合通信对延迟更敏感，单次差异虽小，但累计到很多步骤里会被放大一些，所以在可以使用DAC的2 m以内场景，优先选DAC，更长的距离则交给AOC。

Q：800G时代，AOC的技术路线有哪些变化？

A：核心变化是通道速率和调制方式。800G采用8×100G的电气通道，PAM4调制，单通道106.25 Gb/s，比上一代400G的8×50G又翻了一倍。光学部分，多模VCSEL方案适合机房内的短距，单模方案如DR8覆盖更远的距离。功耗方面，线性驱动的LPO和LRO方案去掉或者简化了DSP，降低了功耗和时延，行业内也在推进相关的互通规范。以太网生态里，超以太网联盟也在围绕大规模AI集群的传输效率制定新的规范，链路层的延迟和可靠性都在优化的范围内。

Q：光纤的传播延迟是怎么算出来的，温度会改变它吗？

A：这是一个比较冷门的细节。光纤的传播延迟取决于群折射率，石英单模和多模光纤的群折射率约1.468，延迟等于折射率除以光速，也就是约4.9 ns/m。长度差1 m，延迟就差4.9 ns，两根线缆做等长对比时，可以直接用这个系数来换算。温度对延迟也有影响，光纤延迟的温度系数大约在40 ps/km/K的量级，30 m光纤温度变化20 ℃，延迟变化只有约24 ps，在机房环境里可以忽略，要求皮秒级时间同步的场景才需要把它纳入补偿。

Q：怎样通过数字诊断数据判断AOC链路的健康状态？

A：这个问题偏运维。QSFP-DD等接口的AOC支持CMIS一类的数字诊断，可以读取模块温度，供电电压，发射偏置电流，发射与接收光功率，部分还提供纠前误码率的统计。判断链路是否有裕量，最直接的办法是观察纠前误码率，它与KP4 FEC约2.4×10⁻⁴的阈值之间的距离，就是链路的余量，距离越大，说明链路越稳。接收光功率和模块温度则适合做趋势记录，在上线初期建立基线，运行中对比变化，一旦出现缓慢漂移，就可以提前安排检查和更换。