网易首页 > 网易号 > 正文 申请入驻

打通异构算力之间的高速网络通道是构建多元智算体系的关键

0
分享至

通信世界网消息(CWW)大模型时代对算力的需求永无止境,大规模智算中心建设如火如荼。人工智能技术在各领域应用的快速发展,以及Sora、Gemini1.5 Pro的面世,将进一步提高算力基础设施的建设要求,激活算力技术的不断创新和迭代升级。如今,算力市场已形成庞大的生态系统,涵盖CPU、GPU、DPU、FPGA等专用芯片,各种形态的交换机、光模块/线缆等连接介质,以及各服务提供商交付的算力运营、算力调度、算法交易平台等。对企业而言,如何博各家之所长,构建出多元融合的智算体系,是赢得未来竞争、享受智算红利的关键所在。

异构算力网络成为“必选项”

随着智算热度持续提升,以AI为核心的算力需求激增。为实现计算效力最大化,多元异构算力将成为必然趋势。异构算力体系可以充分发挥各种计算设备的优势,为客户提高智算效率、降低采购成本、提升系统安全性。但在实际应用中,大多数客户对于智算场景都是初次接触,并不像传统ICT基础设施建设那样可以轻车熟路地进行规划、采购、部署。因此,解决异构组件间的互联问题,是打通整体方案的重要前提,那么网络是否做好了承担重任的技术储备?

用网络打通异构算力的关键能力要求

通过数十年信息技术的发展,以太网具备拉通和兼容多种不同终端的能力,这一点已经被充分验证。面对智算的异构需求,以太网一方面需在网络侧解决端口密度、设备形态、通道标准、传输介质的扩展性和兼容性;另一方面需在计算侧筛选AI服务器网卡规格,为智算业务提供高性能算力,这种“多元可靠联接”的能力正是打通异构算力所需要的。

在高性能网络领域,无损以太网(RoCE)是一个快速普及且被大众认可的技术,其在成本、未来演进和生态丰富度上具备天然优势。当RoCE发展到智算网络时代,连接非智能网卡、智能网卡、可编程智能网卡等不同能力的网卡时,以“场景化网络调优”的模式解决Hash极化问题,降低网络拥堵风险,成为构建智算网络无损能力的关键。

此外,智算网络如果脱离了与算力的联动,那就是孤立、被动的,为确保智算业务平稳有序地发展,网络必须与算力调度平台联动起来。而国内大多数算力厂商没有配套的网络设备和平台,因此,想用网络打通异构算力,则必须具备与多家厂商的CCL(集合通信库)的兼容对接能力,将算力需求转译为网络配置,也就是所谓的“异构算网联动”。

综上所述,要打通异构算力之间的高速网络通道,必须具备“多元可靠联接、场景化网络调优、异构算网联动”三大关键能力,这也是算力产业实现创新发展的重中之重。

聚焦异构算力组网痛点,新华三持续赋能智算新时代

作为数字化解决方案领导者,新华三集团始终致力于成为客户业务创新、数字化转型值得信赖的合作伙伴。面对网算之间互相协同推进的发展态势,新华三在“多元可靠联接、场景化网络调优、异构算网联动”等方面加速突破,积极探索打通异构算力的开放网络。

●多元可靠联接

新华三集团进行了丰富的智算产品布局,提供了开放性、兼容性、扩展性、稳定性极强的网络环境和端到端异构连接保障,全方位满足了客户需求。

新华三长期致力于推动国内高速网络技术的发展,在100G/400G/800G产品的面世时间上都处于国内乃至业界领先地位。在智算场景下,新华三的产品布局也是业内最丰富的。从产品形态上看,新华三可提供从100G到800G多种形态的框式、盒式产品,端口密度覆盖完善,能够满足不同规模智算客户的组网需求。从1K GPU到512K GPU的场景下,客户可以平滑地选用新华三的单框、盒盒、框盒、三层盒盒等不同的组网架构,实现成本与规模的最优匹配。

从绿色节能角度来看,新华三产品可同时支持LPO和液冷技术,LPO技术是指通过设备内部的信号稳定器件和设计,替代光模块中的DSP芯片,降低DSP带来的功耗和时延,亦可规避DSP芯片的供应风险。而液冷技术可将关键芯片产生的大量热量通过液冷带出设备,配套的风扇仅用于其他非关键器件的散热,转速和耗电都将大幅降低。

此外,新华三拥有业界最开放的生态合作环境,各条产品线都采用了多家合作伙伴的交付件,包括GPU、网卡、光模块、交换芯片,由此也为新华三带来了天然优势——能够代替客户验证异构算力环境的兼容性。对客户而言,选择异构方案最大的阻力来源于实施效果,能否互联互通,以及互通后的性能、可靠性是否能支撑业务需求,这是实际存在的风险。而新华三的能力就是利用自身的生态优势,为客户提供端到端的异构连接保障,确保客户从新华三验证过的交付件库中选择GPU、网卡、模块、交换机,即可在实际场景中放心互联。

为此,新华三还设计了一套《智算网络异构连通专项测试》标准,专门用于验证不同智算组件之间的互通性,丰富的测试例覆盖了如下验证能力(如图1所示)。

图1测试例覆盖的验证能力

●场景化网络调优

在“场景化网络调优”方面,新华三集团通过端口对称Hash技术LBN、动态负载均衡技术DLB(如图2所示)、链路喷洒技术SprayLink、全局负载均衡技术FGLB等满足了客户不同智算场景的技术需求,实现了数据中心超高带宽利用率的无阻塞转发。

图2动态负载均衡技术DLB示意

以“端口对称Hash技术LBN”为例,对于智算网络中的每一台设备而言,网络调优的最终目标,就是下行端口接收的流量,能够确保通过上行带宽资源转发出去。实现这个目标最简单的方式是为每一个下行口指定一个同速率的上行口,其他下行口的流量不能从该上行口转发,形成独占的上行资源,这项技术即为LBN(如图3所示)。

图3 LBN技术示意

当网络和业务规模超出LBN可覆盖的能力时,需要通过“引入新变量”和“分割单一流”解决Hash极化问题。所谓“引入新变量”,即为在Hash过程中引入出端口负载情况(队列长度),提升队列更短的出端口优先级,就可以将流量更多地分摊到空闲端口上;所谓“分割单一流”,即为在出端口Hash时,针对子流做Hash,引入当前出端口的负载,便可以将不同时间段到达的子流Hash到当前最空闲的端口发送。

当一条大流连续到达交换机的时候,“链路喷洒技术SprayLink”(如图4所示)的价值便得到了彰显。SprayLink通过实时监控LACP/ECMP中各物理链路的带宽利用率、出口队列、缓存占用、传输时延等精细化数据,对大流做到基于Per-Packet(逐包)方式的动态负载均衡,将每个数据包分配到当时资源最优的链路上。通过实测,采用SprayLink可以使多条链路的总带宽利用率达到95%以上,比传统H a s h方法提升明显。但是SprayLink存在流量到达接收端的乱序问题,需要接收端的网卡支持乱序重排技术才能匹配。

图4链路喷洒技术SprayLink示意

上述几种负载均衡技术,看似已完整覆盖了所有场景,但其只能根据设备本地的负载情况进行选择,对于发出的数据在剩余路径上的传输质量,则没有判断依据。而新华三的全局负载均衡技术FGLB(如图5所示),能够让每台设备都拥有全局视角,了解自己接口的下一跳,乃至下一跳到再下一跳的链路负载情况,来辅助决策本地的负载结果。

图5全局负载均衡技术FGLB示意

众所周知,实现全场景网络调优是企业提升链路效能的关键,新华三依托其领先的负载均衡技术,通过丰富的现网实践,总结出了以下场景化匹配应用建议(如图6所示)。

图6场景化匹配应用

●异构算网联动

在“异构算网联动”方面,新华三在“调整网卡QP能力与网络联动”“算网主动选路与路径仿真技术”两大方面进行了实践探索。

关于“调整网卡QP能力与网络联动”(如图7所示),新华三通过识别不同网卡的样本能力(QP规格),结合当前网络可用路径数量和带宽的资源,以及自研的算法,提供了一种端到端的负载优化机制。当训练任务开始时,两张网卡之间建立数据连接,在AI服务器内部的agent就将报文特征等信息传递到控制器,同时控制器根据当前网络的资源,设置网卡的QP规格,为一对Peer建立多对QP,解决路径中设备Hash不均问题。

图7调整网卡QP能力与网络联动示意

关于“算网主动选路与路径仿真技术”(如图8所示),新华三通过算网协同机制,实现了一种主动选路的功能。当一个CCL发起新的互通请求时,新华三的网络分析器会收集当前所有链路流量负载情况,并根据自研的智能选路算法,选出对于该互通连接最高效的路径,将配置下发到交换机,实现按策略的转发,避免传统路由协议选路条件粗放的问题。同时新华三还提供路径仿真能力,对于主动选路效果,可以在分析器内部通过NFV的形式进行真实流量模拟,来验证策略下发效果,验证后再下发到真实设备上。

图8算网主动选路与路径仿真技术示意

面向未来,在算力爆发的时代,新华三集团将始终秉承开放共赢的理念,通过多元可靠联接、场景化网络调优、异构算网联动三大核心能力,解决客户在异构算力组网过程中遇到的各种问题,与生态合作伙伴、行业客户一起,打造繁荣、开放的智算生态体系。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
59岁大姐因男方太矮接受不了,儿媳生气:你要生孩子还是干嘛

59岁大姐因男方太矮接受不了,儿媳生气:你要生孩子还是干嘛

烙任情感
2026-02-20 11:06:57
1000架歼-20和900架歼-16?英国智库:难以战胜2030年的中国空军

1000架歼-20和900架歼-16?英国智库:难以战胜2030年的中国空军

钦点历史
2026-02-20 16:53:54
“五道杠”小学生,曾因一脸“官相”而走红,如今状态却令人泯然

“五道杠”小学生,曾因一脸“官相”而走红,如今状态却令人泯然

马蹄烫嘴说美食
2026-02-21 09:06:23
骑士赢球后一点仍该批,哈登两点该夸!米切尔摊牌,新秀联盟第一

骑士赢球后一点仍该批,哈登两点该夸!米切尔摊牌,新秀联盟第一

鱼崖大话篮球
2026-02-21 11:30:30
联合国现场,中国记者两个问题问懵日本代表:全场安静得吓人

联合国现场,中国记者两个问题问懵日本代表:全场安静得吓人

呼呼体坛
2026-02-21 06:57:31
太真实!河南舅舅锁门躲拜年,一看门口礼物,戳中无数人的痛点…

太真实!河南舅舅锁门躲拜年,一看门口礼物,戳中无数人的痛点…

火山詩话
2026-02-20 16:02:51
难怪iPhone信号差!关掉这个设置,瞬间满格

难怪iPhone信号差!关掉这个设置,瞬间满格

小柱解说游戏
2026-02-20 10:11:26
彻底清醒了?郭台铭带回46台光刻机,300亿,霸气喊话:全包华为芯片

彻底清醒了?郭台铭带回46台光刻机,300亿,霸气喊话:全包华为芯片

科技虎虎
2026-02-21 12:16:56
直降13℃!中雨、大雨、雨夹雪来了,湖北即将降温

直降13℃!中雨、大雨、雨夹雪来了,湖北即将降温

极目新闻
2026-02-21 09:45:26
拾石村许老板这次踢到钢板了,现在全国都知道他又蠢又坏又嚣张了

拾石村许老板这次踢到钢板了,现在全国都知道他又蠢又坏又嚣张了

魔都姐姐杂谈
2026-02-21 10:44:32
初中生被认定次责是否因未满16周岁?律师解读:骑行违规不等于民事侵权,定责主要看行为与老人摔倒的关系

初中生被认定次责是否因未满16周岁?律师解读:骑行违规不等于民事侵权,定责主要看行为与老人摔倒的关系

现代快报
2026-02-20 23:02:04
别墅是中产返贫的最大陷阱!过来人血泪总结:别墅的四大硬伤

别墅是中产返贫的最大陷阱!过来人血泪总结:别墅的四大硬伤

流苏晚晴
2026-01-02 17:56:17
妈祖换人后续:轿子两次抬不动,知情人曝内情:妈祖不认凑合的!

妈祖换人后续:轿子两次抬不动,知情人曝内情:妈祖不认凑合的!

娱乐的硬糖吖
2026-02-21 11:54:31
做家务=续命?美国研究发现:每天做家务30分钟,死亡风险直降12%

做家务=续命?美国研究发现:每天做家务30分钟,死亡风险直降12%

时光派健康抗衰
2026-02-20 18:59:44
国内大医院内卷的极限来了:一三甲医院宣布春节开始全面取消挂号费

国内大医院内卷的极限来了:一三甲医院宣布春节开始全面取消挂号费

金水路7号站
2026-02-21 09:46:18
朱高炽在位不足一年 ,为何能青史留名?他解决了三个天大的难题

朱高炽在位不足一年 ,为何能青史留名?他解决了三个天大的难题

千秋文化
2026-01-21 20:55:53
骑士118-113黄蜂!无解的不是7连胜,是梅里尔谈哈登带来的一变化

骑士118-113黄蜂!无解的不是7连胜,是梅里尔谈哈登带来的一变化

鱼崖大话篮球
2026-02-21 12:35:19
中俄东北虎数量差距断崖:俄罗斯700只,中国的数量令人意外!

中俄东北虎数量差距断崖:俄罗斯700只,中国的数量令人意外!

又是美好的日子
2026-02-21 04:01:54
泰王一句“受够了”,30分钟搞定组阁!佩通坦的回归梦,彻底碎了

泰王一句“受够了”,30分钟搞定组阁!佩通坦的回归梦,彻底碎了

林子说事
2026-02-20 23:07:17
美联储官员发出警告:AI如果继续快速发展,将导致许多人终身失业

美联储官员发出警告:AI如果继续快速发展,将导致许多人终身失业

爆角追踪
2026-02-20 10:53:11
2026-02-21 14:32:49
通信世界 incentive-icons
通信世界
多维度 全媒体 整合传播
12246文章数 30436关注度
往期回顾 全部

科技要闻

智谱上市1月涨5倍,市值超越京东、快手

头条要闻

夫妇捡到装20多个红包帆布袋:4个孩子7万多的压岁钱

头条要闻

夫妇捡到装20多个红包帆布袋:4个孩子7万多的压岁钱

体育要闻

冬奥第一"海王"?一人和13国选手都有关系

娱乐要闻

镖人反超惊蛰无声拿下单日票房第二!

财经要闻

一觉醒来,世界大变,特朗普改新打法了

汽车要闻

比亚迪的“颜值担当”来了 方程豹首款轿车路跑信息曝光

态度原创

健康
亲子
教育
游戏
公开课

转头就晕的耳石症,能开车上班吗?

亲子要闻

假期怎么玩才能不惹爸妈生气?

教育要闻

一个教师的2026年“不做清单”

老任意外泄露重磅消息!《DOOM黑暗时代》或登NS2

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版