AI训练集群里,服务器与交换机之间、交换机与交换机之间,存在大量几米到几十米的短距互联,单条链路的速率已经从100G、200G走到400G和800G。这类连接可选的方案主要有两种,一种是直连铜缆DAC,一种是有源光缆AOC。两者的接口封装相同,插入交换机端口后的使用方式也一致,内部的工作原理和适用边界却相差不少。下面从结构、距离、功耗时延、机械特性和选型几个方面逐项梳理。
一、DAC与AOC的基本结构与工作方式
DAC由一段双轴铜缆和两端的连接器外壳构成,无源型号内部不含任何有源芯片,电信号从交换芯片的SerDes出来,经过端口、铜缆直接到达对端,全程保持电信号形态。铜缆采用屏蔽的双轴结构,每个通道使用一对差分线,400G的QSFP-DD接口有8个通道,就需要8对发送线和8对接收线,线径常见为26到30 AWG,线径越粗,损耗越低,缆线也越硬。
AOC的两端各有一个完整的光电转换模块,中间是一段固定连接的光纤,模块内部包含VCSEL激光器、光电探测器和驱动、接收芯片。电信号在发送端转成850 nm的光信号,经过多模光纤传输,到接收端再还原为电信号。光纤与模块在出厂时已经封装为一体,端面不会暴露在外,现场不需要处理光纤连接器,这一点与常规的光模块加跳线的组合有所区别。还有一种介于两者之间的AEC有源铜缆,在铜缆两端加入了重定时芯片,用来补偿信号损耗,功耗和距离都处在DAC与AOC之间。
二、传输距离与信号速率的对应关系
DAC的距离受铜缆损耗限制,随着速率提高而缩短。10G的SFP+ DAC可以到7 m,25G的SFP28通常为3到5 m,100G的QSFP28约为3到5 m,IEEE 802.3ck定义的100G单通道铜缆接口,包括100GBASE-CR1、200GBASE-CR2和400GBASE-CR4,覆盖距离均为2 m左右,800G的DAC则在1到2 m的量级。
原因在于信号的奈奎斯特频率。25G的NRZ信号,奈奎斯特频率约为12.9 GHz,100G单通道的PAM4信号,符号速率为53.125 GBd,奈奎斯特频率提高到26.56 GHz,铜缆的损耗随频率上升而明显增大,能容纳的线缆长度也就随之缩短。AOC的情形不同,多模光纤在850 nm的衰减约为3 dB/km,几十米的长度上损耗不到0.3 dB,限制距离的主要是光纤的模式带宽,OM3光纤上通常可到70 m,OM4光纤上可到100 m,常见产品的规格覆盖1到100 m,同样的速率下,AOC的覆盖范围比DAC大了一个数量级。
![]()
三、功耗、时延与散热
功耗方面的差别最直接。无源DAC不含有源器件,单端功耗一般在0.1 W以下,可以近似当作零。AOC的每个端口都带有光电转换电路,100G QSFP28 AOC单端约为1.5到2.5 W,400G的QSFP-DD AOC每端在8到10 W上下,一条链路两端合计接近16到20 W。以一个规模为一万条400G链路的集群来估算,若全部使用AOC,仅线缆两端的功耗就达到160 kW以上,还不包含机房制冷带来的附加电耗,功耗的差别在大规模部署时会被放大。
时延方面,铜缆里电信号的传播速度约为光速的70%到80%,每米时延约4.5到5 ns,光纤中光速约为真空光速的三分之二,每米约5 ns,两者的传播时延相差不大。AOC多出的部分来自光电转换模块内部,不带DSP的线性方案增加的时延很小,带DSP的方案则会增加数十到上百纳秒。对于训练任务里对尾部时延敏感的集合通信来说,链路的这部分开销也在考虑范围之内,不少集群因此把最短的一跳尽量交给DAC完成。
四、布线密度、重量与机械特性
400G、800G的DAC由于线径较粗,为了保证信号完整性使用26到28 AWG的线缆,外径往往在七八毫米的量级,2 m长的一根就有几百克,弯曲半径也大,密集布线时容易占满机柜侧面的走线通道,并且挤占前部的进风空间,对风冷散热不太友好。液冷机柜里,气流的限制有所缓解,但线缆的重量和刚性,依然会对端口产生拉力,需要用理线架配合固定。
AOC的光纤部分很细,缆线外径一般在3 mm左右,重量轻,弯曲半径小,柔软程度好得多,在走线空间紧张的场合处理起来更容易。光纤对电磁干扰不敏感,与动力线、电源线并行走线时,不需要额外考虑串扰的问题,铜缆则依赖屏蔽层来抵抗干扰。
五、成本、可靠性与选型思路
成本方面,无源DAC的价格较低,同样长度下,AOC的价格通常是DAC的几倍,AEC居中,这一点在几万条链路的集群里对总投入的影响非常明显。可靠性方面,DAC没有有源器件,失效点少,平均无故障时间更长,AOC的激光器和电路存在老化的可能,但VCSEL的寿命指标已经比较成熟,正常使用下的故障率也在可控范围内。AOC坏了需要整条更换,不能只换其中一端,这一点和光模块加光纤跳线的组合方式不同。
综合起来,选型的逻辑相对清晰。机柜内部或相邻机柜、距离在2 m以内,优先选择DAC,功耗、成本和可靠性都占优。距离在3到7 m之间,可以考虑AEC,线径更细,功耗又不及AOC。超过这个距离,进入几十米的范围,就是AOC和光模块加跳线的天下,其中AOC安装方便,光模块加跳线则更加灵活,便于后续升级。同一个集群里,往往是几种方案并存,各自负责合适的距离档位。
六、快问快答
Q:高密度液冷机柜里,400G的DAC线缆粗、重,会带来哪些实际问题?
A:主要是端口受力和走线空间两方面。一根2 m长的400G DAC重量可达数百克,靠线缆自身重量悬挂在端口上,长期会对连接器产生拉力,端口的接触状态也随之改变,所以通常需要在机柜侧面加装理线架,把线缆的重量分担到支架上。走线空间上,一台交换机有32到64个端口,同时插满粗线缆,侧面的通道会被占满,遮挡设备的维护通道。液冷方案减少了对风道的依赖,情况有所缓解,但空间依然有限,所以不少新机柜采用更细的AEC,或者把DAC限定在最靠近的两台设备之间,稍远的连接转为AOC来处理。
Q:为什么很多集群在几十米的互联里,选择AOC,而不是光模块加光纤跳线?
A:主要有三个原因。第一是免除端面清洁,AOC的光纤端面封装在模块内部,现场不需要清洁和检查端面,光模块加跳线的方案里,端面污染是链路误码的常见来源之一,插拔前后都需要处理。第二是简化管理,一条AOC就是一个物料,不需要匹配光模块与光纤的型号、芯数和极性,采购和备件管理更简单。第三是成本,在几十米以内,AOC的整体价格与光模块加跳线相近,甚至略低。缺点是灵活性较差,长度固定,线缆不能后续复用于更高速率,升级时要整条更换,因此更适合长度明确、短期内不需要变动的场景。
Q:同样是DAC,为什么100G时可以到5 m,到了400G却只有2 m左右?
A:这个问题比较冷门,原因在于调制方式和通道速率的变化。100G的QSFP28使用4个25G的NRZ通道,奈奎斯特频率约为12.9 GHz。400G里每个通道升级到100G PAM4,奈奎斯特频率提高到26.56 GHz,铜缆的损耗随频率增大,同样长度的线缆,损耗大约增加了一倍以上。同时PAM4有四个电平,眼图的高度只有NRZ的三分之一,信噪比要求相应提高约9.5 dB,对损耗更加敏感。两方面的因素叠加,可用的铜缆长度自然大幅缩短,也是AEC、AOC和液冷机柜内紧凑布局在400G、800G时代变得越来越重要的技术背景。
Q:AOC内部的光学接口没有统一的IEEE标准,这会带来什么使用上的影响?
A:这是AOC与标准光模块之间的一个差别。IEEE 802.3对SR4、DR4这类光模块的光学指标、波长和距离都有明确规定,不同厂家的光模块只要符合标准就能互通,AOC则属于厂商整体封装的产品,两端模块和光纤在出厂时匹配好,只要电接口符合各项MSA规范,对外表现就是一个电气端口,内部的光学参数不需要对外统一。这带来的影响是,AOC不能与其他厂家的光模块直接互连,也不能拿其中一端去对接标准的SR模块。另外部分交换机对线缆的编码有兼容性检查,采购时需要确认厂家提供的兼容性列表,这在多品牌设备混合组网的AI集群里,是一个需要提前确认的事项。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.