网易首页 > 网易号 > 正文 申请入驻

全调度以太网(GSE),中国智算网络新标准

0
分享至

伴随着智算技术的发展,越来越多的研究表明在 AI训练达到一定规模下能力才会涌现,在AI大模型的扩展定律和涌现能力的驱动下,AI大模型的参数规模越来越大。国内外业界已出现多个万亿参数模型,十万亿参数模型在不远的将来也有望问世。公开资料表明,GPT-4 的参数体量比 GPT-3 增长了 10 倍,达到 1.8 万亿参数。国内的盘古、悟道大模型,其参数规模同样超过了万亿。

注:数据截至2023年3月,资料来源:北京智源人工智能研究院,中金公司研究院

美国当地时间7月22日,特斯拉CEO埃隆·马斯克在旗下社交平台X上表示,xAI团队、X团队、英伟达及其他支持公司已经于当地时间凌晨4时20分开始在“孟菲斯超级集群(Memphis Supercluster)”上进行训练。“孟菲斯超级集群”由10万个液冷H100 GPU组成,在单个RDMA结构上运行,是“世界上最强大的人工智能训练集群”,该集群将被用于训练xAI旗下第三代大语言模型Grok-3。大规模AI计算从万卡进入到十万卡时代。

大规模智算集群需要高性能的网络连接,以保证各智算节点间的通信效率、数据吞吐和整个智算集群的算力性能。这对智算网络提出了新的挑战。

在基础训练模型中,一方面多任务混合部署,传统以太网源端发流直接采用网络“Push”流量模式,不考虑网络及接收端的接受能力,导致网络拥塞,使得 GPU 处于等待状态,造成梯度和参数同步过程中算力资源浪费较大,传统的 RoCE 网络有效吞吐仅为 50%;另一方面,智算集群网络流量呈现出数据流数目少、单流流量大的特点,在传统网络均衡算法下容易引发HASH 冲突,造成链路丢包,导致训练异常中断,极大影响训练效率。时代呼唤以 “零丢包”“高吞吐”“低时延” 为核心特征的无损智算网络设备,来解决超大规模 AI 计算通信效率低的问题。

当前全球已商用的智算网络技术,主要有两大流派:

流派1:IB(InfiniBand)网络,是目前市场占有率最高的智算网络解决方案,IB 技术较为封闭,市场基本被英伟达垄断,不符合全球开放生态的产业共识。

流派2:RoCE(RDMA over Converged Ethernet)网络,RoCE广泛应用于需要高带宽和低延迟的网络,在传统的通算领域有很高的占有率,但是RoCE在智算网络中存在流量HASH极化的问题,需要辅助以各种均衡调参进行智算网络的适配。

为了更好地提升智算网络性能,更好地服务于大规模 AI计算,出现了更多的新型技术流派:

新技术流派1:UEC(Ultra Ethernet Consortium)网络,2023 年 7 月Linux 基金会与全球头部科技企业联合成立UEC 以太网创新联盟,其创始成员包括AMD、Arista、博通、思科、HPE、Intel、Meta、微软、Oracle和Eviden,致力于从物理层、链路层、传输层、软件层改进以太网技术的革新,来满足 AI 计算网络的需求。

新技术流派2:GSE(Global Scheduling Ethernet)网络,中国智算中心的建设热潮始于2020年,目前已有40多个城市已建设或在建智算中心。智算中心建设步伐加快,但国内的网络技术发展却滞后于 AI 大模型的演进。AI 网络技术上的竞争已经成为中美技术博弈的新战场。在这样严峻的形势下,2023 年 5 月,中国移动联合产业界发布了全调度以太网(GSE)白皮书,同年8 月全调度以太网推进计划正式开启,标志着具有中国自主技术的 GSE 流派正式诞生。

GSE 是一个开放的生态组织,2023 年 9 月,中国移动发布GSE 交换机原型系统样机。2024 年 1 月在移动实验室完成了GSE 交换机多厂商设备的互联互通测试。

GSP设备

GSF设备

GSE网络,专为大规模 AI训练集群打造:

按需调度,性能无损

GSE 网络基于 PKTC 容器技术,实现了高精度的网络负载均衡,从根本上改善了传统 AI 算力网络链路的带宽利用率; 采用基于 DQSQ 的信令申请调度技术,数据流以“Pull”的方式进行转发,突破了传统以太网的性能瓶颈,网络性能提升至 95%以上。

PKTC容器技术

DGSQ调度技术

在多业务部署场景下,相较于传统RoCE 网络性能大幅下降,GSE 交换机能保持与单业务场景持平的网络转发性能,极大提升网络效率。

场景灵活,快速部署

GSE 纯网侧方案即可满足智算无损需求,可搭配国产 GPU 集成网卡,降低端侧网卡要求。GSE技术原生解决了适配不同大模型训练的网络调参问题,避免了传统RoCE达数天甚至数周的网络参数调优,在算力昂贵、AI大模型竞争激烈的市场中,为客户带来灵活的算力网络建设方案,缩短了训练调优周期,帮助客户快速抢占市场先机。

全局解耦,开放生态

GSE 技术体系支持标准以太网标准,新增标准协议头,完成基于以太报文的转发,实现端到端的多厂家设备互联互通,构建了多厂家充分参与的开放生态,全面激活国内 AI 产业链,促进智算产业创新发展。

GSE标准协议头

总结

锐捷网络致力于与 GSE 生态一起打造中国的AIGC智算网络新标准。GSE 网络设备基于标准以太网在转发架构方面进行技术创新,突破传统以太网的性能瓶颈,拓展智算网络的应用场景,充分满足国产化智算集群网络的需求,为客户带来了三大核心价值:提高智算效率,增强运维体验,开放生态解耦

精品期刊 《通信世界》

“纸电同步” 自由切换

一年只需480

ICT圈大小事尽在掌握

抓紧时间来订阅

身陷分裂+诉讼,OpenAI“雪崩”开始?

总编视点 | 5G“破局”需要突破性思维

看见内蒙古移动 | 引领5G与算力创新,加速“东数西算”战略落地

责编/版式:盖贝贝

审校:王 涛 梅雅鑫

监制:刘启诚

【通信世界新媒体矩阵】

央视频 | 微软MSN | 视频号 | 微博 | 今日头条 | 百家号 | 网易号 | 搜狐 | 腾讯新闻

新浪看点 | 雪球号 | 抖音 | 快手 | 爱奇艺 | 知乎 | 哔哩哔哩 | 咪咕视频 | CSDN | 36氪

【新媒体团队】

监制|刘启诚

审校|王涛 梅雅鑫

编辑|王禹蓉 盖贝贝

视频剪辑|黄杨洋 卢瑞旭

运营|林嵩

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
当了酒店前台才知道的秘密!瓜太多了,吃不过来了!

当了酒店前台才知道的秘密!瓜太多了,吃不过来了!

夜深爱杂谈
2026-05-27 07:50:31
预算6800万豪取1.71亿票房,这部科幻惊悚片却在Netflix重新称王!

预算6800万豪取1.71亿票房,这部科幻惊悚片却在Netflix重新称王!

赴一场山海啊
2026-06-01 00:07:47
人不会无缘无故患糖尿病!研究发现:得糖尿病的人,离不开这5点

人不会无缘无故患糖尿病!研究发现:得糖尿病的人,离不开这5点

芹姐说生活
2026-06-01 19:10:38
香会现场谈崩,多国代表遗憾退场,崔天凯临行前撂下重磅之言

香会现场谈崩,多国代表遗憾退场,崔天凯临行前撂下重磅之言

让心灵得以栖息
2026-06-02 00:22:33
比赖清德还狂!若2028年她当台湾地区领导人,解放军出手武力统台

比赖清德还狂!若2028年她当台湾地区领导人,解放军出手武力统台

阿讯说天下
2026-05-26 13:40:22
我给爸妈买了439.6万的复式楼,回家一看外公外婆住了主卧。

我给爸妈买了439.6万的复式楼,回家一看外公外婆住了主卧。

程哥讲堂
2026-01-28 18:08:59
跟丢七天后,美日醒悟:只要辽宁舰搭载歼35,美军防线就形同虚设

跟丢七天后,美日醒悟:只要辽宁舰搭载歼35,美军防线就形同虚设

西北汉子
2026-06-01 09:03:46
网传985女生相亲,男生直接落荒而逃网友说:该校出品必属精品!

网传985女生相亲,男生直接落荒而逃网友说:该校出品必属精品!

灯锦年
2026-06-01 18:17:11
独家丨汪孟德交出融创地产

独家丨汪孟德交出融创地产

鸿楼梦plus
2026-06-01 21:37:33
网友们这几天都在吃著名毛巾集团洁丽雅的瓜,讽刺其家族“丑闻”

网友们这几天都在吃著名毛巾集团洁丽雅的瓜,讽刺其家族“丑闻”

网络易不易
2026-05-17 12:29:12
从36跌到3.5,跌了整整8年,好不容易等到一个涨停,结果炸板了!

从36跌到3.5,跌了整整8年,好不容易等到一个涨停,结果炸板了!

丁丁鲤史纪
2026-05-30 17:08:34
耿同学再下一城!南开免去陈某院长职务,14张图表确认学术不端

耿同学再下一城!南开免去陈某院长职务,14张图表确认学术不端

听心堂
2026-05-30 20:24:06
刘亦菲回北电和同学聚会,宛如青春女大,好想有刘亦菲这样的学姐

刘亦菲回北电和同学聚会,宛如青春女大,好想有刘亦菲这样的学姐

妙知
2026-06-02 00:05:32
尴尬!单亲妈妈忏悔“去父留子”,陷入三餐不继、情绪崩溃的困境

尴尬!单亲妈妈忏悔“去父留子”,陷入三餐不继、情绪崩溃的困境

火山詩话
2026-05-31 10:42:17
日本已经介入,机器人士兵参战,基辅战场出现变数,俄军对阵强敌

日本已经介入,机器人士兵参战,基辅战场出现变数,俄军对阵强敌

可乐爱微笑
2026-06-01 10:49:22
《星际2》发布史诗级更新,玩家惊呼:这是星际3吧!

《星际2》发布史诗级更新,玩家惊呼:这是星际3吧!

热搜摘要官
2026-06-02 00:00:32
解说员:库里签约李宁已经八九不离十了,近期会官宣

解说员:库里签约李宁已经八九不离十了,近期会官宣

懂球帝
2026-06-01 15:58:18
广厦VS上海G4时间确定,卢伟采访被杨鸣调侃,孙铭徽不再想当绿叶

广厦VS上海G4时间确定,卢伟采访被杨鸣调侃,孙铭徽不再想当绿叶

体育大学僧
2026-06-01 12:37:29
万科再不故人在!

万科再不故人在!

科学发掘
2026-06-01 14:31:03
19岁悠仁亲王首次出席国宴,全程英语交流举止得体,爱子沦为背景

19岁悠仁亲王首次出席国宴,全程英语交流举止得体,爱子沦为背景

照见古今
2026-06-01 18:14:49
2026-06-02 07:11:00
通信世界 incentive-icons
通信世界
多维度 全媒体 整合传播
12578文章数 30458关注度
往期回顾 全部

科技要闻

黄仁勋演讲实录|40年来PC首次重设计!

头条要闻

伊朗计划彻底封锁霍尔木兹海峡 特朗普回应

头条要闻

伊朗计划彻底封锁霍尔木兹海峡 特朗普回应

体育要闻

杰威:如果我没受伤,我们能击败马刺

娱乐要闻

奚梦瑶婚礼现场图!一双儿女当花童

财经要闻

宇树过会,杭州赢麻了

汽车要闻

奇瑞集团5月销量24.8万辆 同比增长20.5% 出口18.2万辆再创新高

态度原创

本地
家居
房产
艺术
军事航空

本地新闻

用剪纸的方式,打开江苏扬州

家居要闻

自信舒展 高背座椅

房产要闻

100亿!1371亩!海口城市更新,再爆超级项目!

艺术要闻

周杰伦花 1.36 亿拍下的这幅画

军事要闻

韩国最大军工企业爆炸 已造成5人死亡

无障碍浏览 进入关怀版