网易首页 > 网易号 > 正文 申请入驻

超大规模集群时代,中科曙光拿出“版本答案”

0
分享至

训练一个大模型,往往需要把计算任务分配给大量计算设备。这些设备在各自完成计算的同时,还要通过网络交换数据,才能共同推进训练。如果数据传输跟不上计算速度,部分设备就会停下来等待,整个任务的完成时间也会随之延长。随着参与计算的设备越来越多,如何减少设备之间的等待,成为超大规模智算集群建设绕不开的问题。

11月15日,第八届中国超级算力大会(ChinaSC 2026)暨中国智能计算产业联盟理事会年会在北京举行。中科曙光高速网络互联产品部总工程师万伟在会上分享超大规模智算集群高速网络架构设计与工程实践,提出高速互连是算力基础设施实现规模扩展的关键。



万伟这一判断对应着集群建设中的现实要求:增加计算设备的同时,需要让网络具备相应的连接、传输与管理能力,才能把新增算力充分用于实际任务。

集群规模扩大,连接方式也要跟着升级

此次大会发布的《万卡级智算集群网络技术发展与国产化研究报告》,是首份聚焦万卡级智算集群网络技术发展的研究报告。报告指出,集群规模不断扩大,网络互联、存储吞吐与资源调度等环节的协同效率愈发重要。对于建设者而言,这意味着设备采购之外,还必须考虑设备之间怎样配合。网络设计会影响数据传输路径,交换设备的连接能力则关系到集群能以怎样的架构扩展。

中科曙光将超节点内部互连与超节点之间的组网相结合。超节点可以理解为一组紧密连接的计算单元,内部通过低时延连接满足频繁的数据交换需求;多个超节点之间,再通过高速网络实现更大范围的协作。这种架构分别考虑局部通信与整体扩展,让不同范围的连接适应相应的任务需求。具体设计还需要兼顾供电散热、布线及维护条件,才能满足实际建设要求。

这套架构需要网络芯片提供相应的连接和交换能力。交换芯片的端口数量,影响一台交换设备能够连接多少设备;数据处理能力则关系到大量通信同时发生时,交换设备能否及时完成转发。中科曙光自研的scaleFabric高速网络将网卡芯片、交换芯片与组网架构结合,采用多平面组网,在单一子网内实现大规模互连,并结合任务特点和网络连接关系优化通信。芯片与架构相互配合,才能在连接更多计算资源时,兼顾设备之间的协作效率。

让数据稳定传输,减少计算设备空等

设备连接起来之后,网络面临的下一项考验,是大量数据能否及时、完整地送达。在大模型训练中,部分计算步骤需要等待相关节点的数据到齐,才能继续执行。如果传输过程中出现拥塞,或者数据丢失后需要重新发送,等待时间就会增加。对于反复进行数据交换的训练任务,这些通信开销会逐步累积,影响计算资源的实际利用效率。

scaleFabric采用无损传输机制,通过流量控制与链路层重传等方式保障传输可靠性,减少传输异常对任务的影响。其中,流量控制用于协调数据发送与接收,链路层重传则处理链路传输中出现的错误。两者与通信优化相配合,目的都是让数据更稳定地到达计算节点,减少因通信问题造成的等待。

除了数据传输本身,通信发起过程也存在开销。面向大模型训练与推理,scaleFabric通过IBGDA等技术支持GPU直接发起网络通信,减少CPU参与通信调度带来的开销,缩短节点间的通信等待。目前,scaleFabric已完成DeepEP通信框架适配,为大模型多节点协作与Token生成效率提升提供支持。这使高速网络的优化进一步衔接应用软件,帮助实际任务用好硬件提供的通信能力。

从网络研制到工程运行,考验完整系统能力

通信效率需要在持续运行中保持稳定,链路故障也必须得到及时处理。scaleFabric支持毫秒级链路切换,且路由恢复时间不随集群规模增长而延长。这项能力关系到网络扩展后的实际可用性。当连接规模继续增大,网络仍需及时恢复通信,才能减少局部故障对并行任务的影响。

故障恢复之外,运维人员还需要准确掌握网络状态。FabricView高速网络管理平台将配置部署、健康筛查与运行监测结合起来,支持在任务上线前筛查异常节点,在任务执行过程中定位繁忙链路和异常端口。当应用运行变慢时,这些信息能够帮助运维人员判断网络是否存在问题,缩小排查范围。网络硬件与管理软件由此衔接起来,共同服务于集群的日常运行。

中科曙光的相关网络设计已在曙光8000中得到工程验证,scaleFabric与曙光8000的工程实践也被上述研究报告收录。大会期间,中科曙光还获评“2026中国算力领军企业”,scaleFabric高速网络入选“2026中国算力应用典型案例”。两项荣誉分别体现了行业对中科曙光算力系统研制能力与高速网络应用成效的认可,也让从自主研发到工程应用的技术积累有了具体呈现。

超大规模集群建设,对高速网络提出的是一整套要求。连接规模扩大后,应用通信能否保持高效,故障能否及时处理,网络状态是否便于管理,都会影响算力投入的最终效果。中科曙光将这些要求贯穿芯片研制、架构设计与工程运行,为国产智算集群的持续扩展提供了系统性支撑。对使用者而言,这些技术的价值最终会落实到计算任务能否高效、稳定地完成。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
泰钽700月销仅68台 别把消费者当傻子了

泰钽700月销仅68台 别把消费者当傻子了

汽车天涯
2026-11-18 15:26:37
花坛藏尸案被害人儿子回应被告人提起上诉:她没有悔改的心理

花坛藏尸案被害人儿子回应被告人提起上诉:她没有悔改的心理

南方都市报
2026-11-20 22:38:08
越来越多孩子自杀  多地高中严格执行周末双休

越来越多孩子自杀 多地高中严格执行周末双休

风向观察
2026-11-20 07:40:00
U17世界杯开门黑!国足0-5西班牙 邝兆镭争议送点 12分钟崩盘丢3球

U17世界杯开门黑!国足0-5西班牙 邝兆镭争议送点 12分钟崩盘丢3球

我爱英超
2026-11-20 23:57:22
75岁张纪中的妻子回应会不会改嫁,称“我老公再活30年,我75岁了,嫁给谁呀”

75岁张纪中的妻子回应会不会改嫁,称“我老公再活30年,我75岁了,嫁给谁呀”

韩小娱
2026-11-20 16:45:15
杯赛历史首败!上海惨负遭青岛终结14连胜 拉塞尔16+7+5约克24+8

杯赛历史首败!上海惨负遭青岛终结14连胜 拉塞尔16+7+5约克24+8

醉卧浮生
2026-11-20 21:34:55
黄仁勋据称将创办新的半导体公司 或将筹资500亿美元用于创业

黄仁勋据称将创办新的半导体公司 或将筹资500亿美元用于创业

财联社
2026-11-20 16:09:05
突发!黄仁勋再曝新消息,该来的还是来了!

突发!黄仁勋再曝新消息,该来的还是来了!

财经要参
2026-11-20 16:00:05
英伟达全员大会细节曝光!联合创始人:黄仁勋背叛公司价值观!

英伟达全员大会细节曝光!联合创始人:黄仁勋背叛公司价值观!

芯智讯
2026-11-20 22:57:02
25岁网红拍约会广告暗讽汤姆·布雷迪:他差点跟我爸同龄

25岁网红拍约会广告暗讽汤姆·布雷迪:他差点跟我爸同龄

热搜摘要官
2026-11-20 01:17:18
邝港智供词炸裂!谭方骏喜欢的是他,曾与蔡天凤3人同睡一张床

邝港智供词炸裂!谭方骏喜欢的是他,曾与蔡天凤3人同睡一张床

社会日日鲜
2026-11-20 10:27:11
西湖边64㎡两居室13.9万元起拍,产权清晰,无抵押,能直接落户,学区是杭州头部小学,真有人能捡漏吗?中介一句话戳破真相

西湖边64㎡两居室13.9万元起拍,产权清晰,无抵押,能直接落户,学区是杭州头部小学,真有人能捡漏吗?中介一句话戳破真相

都市快报橙柿互动
2026-11-20 09:37:46
老人学会网购后 一口气下单15吨薯条喂猪:5毛一斤 比玉米饲料还划算 一拌上饲料猪就“抢着吃”

老人学会网购后 一口气下单15吨薯条喂猪:5毛一斤 比玉米饲料还划算 一拌上饲料猪就“抢着吃”

闪电新闻
2026-11-20 10:50:52
旅行者1号永远停留在了前天!

旅行者1号永远停留在了前天!

故事终将光明磊落
2026-11-20 14:49:55
盛世脆断之前,无人感到安全

盛世脆断之前,无人感到安全

海涛评论
2026-11-20 00:44:37
财政部:1-10月证券交易印花税收入2511亿元,同比增长54.1%

财政部:1-10月证券交易印花税收入2511亿元,同比增长54.1%

界面新闻
2026-11-20 16:52:36
“加沙种族灭绝令人发指”

“加沙种族灭绝令人发指”

参考消息
2026-11-19 17:24:05
《华尔街日报》|马斯克成为中期选举后最新一位向民主党示好的科技大佬

《华尔街日报》|马斯克成为中期选举后最新一位向民主党示好的科技大佬

一半杯
2026-11-20 14:12:41
西班牙U17队5-0中国男足U17队,赛后评分:西班牙10号排第一

西班牙U17队5-0中国男足U17队,赛后评分:西班牙10号排第一

侧身凌空斩
2026-11-20 23:54:16
潘长江做梦都没想到,躲过了女儿,却没躲过外孙。他自己1米6,老婆1米65,生出的女儿潘阳1米62,谁知道,基因这东西,还会隔代报复。

潘长江做梦都没想到,躲过了女儿,却没躲过外孙。他自己1米6,老婆1米65,生出的女儿潘阳1米62,谁知道,基因这东西,还会隔代报复。

背包旅行
2026-11-19 01:22:04
2026-11-21 03:28:49
TechWeb incentive-icons
TechWeb
做有态度的互联网资讯。
20920文章数 43189关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

时尚
本地
手机
数码
公开课

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

本地新闻

乌兰察布:以前种土豆,现在种Token

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版