网易首页 > 网易号 > 正文 申请入驻

跨南北、贯东西,支持千公里级跨域混训!上海发布超大规模跨域混训技术方案

0
分享至

今天(19日),上海人工智能实验室发布DeepLink超大规模跨域混训技术方案,并已完成多个项目落地,支持千公里多智算中心跨域长稳混训千亿参数大模型。

今年2月,上海AI实验室联合十余家合作伙伴,在上海建成了超大规模跨域混训集群原型,并实现千亿参数大模型20天不间断训练。在此基础上,上海AI实验室融合中国联通AINET技术,跨越1500公里连接了上海和济南之间的智算中心,完成千亿参数大模型混训,等效算力达单芯片单集群算力的95%以上;与中国电信息壤算网合作,实现了北京、上海与贵州等多地智算中心的互联和大模型混训。

为高灵活、低成本获取大算力提供新途径

随着国内AI研究及产业应用日益深化,算力需求持续增长,全国智算中心大规模兴建,但存在建设分散、采购芯片代次差异大、算力资源碎片化等问题,难以灵活、低成本地获取大算力。

上海AI实验室攻克了大规模跨域异构集群调度、高性能通信协议整合、高可靠容错机制设计等技术难题,有效应对硬件算力参差不齐、通信同步不稳定、故障容错难等挑战,推出DeepLink超大规模跨域混训技术方案,以保障跨域智算集群的大模型长稳训练。

DeepLink超大规模跨域混训技术方案

破解效率低、不稳定、难协同三大难题

智算芯片行业百花齐放,但不同芯片的软件栈及性能存在差异,异构互联通信效率低下,导致适配纳管难度大、混训效率不高。且大规模远距离跨域混训需要解决网络带宽、通信延迟、训练稳定性等问题。

针对远距离跨域混训存在的数据同步和稳定性问题,这一技术方案创新性地采用“3D并行+PS”架构,将超大规模任务分发到各个智算中心,通过算法换通信的方式减少全局同步复杂度和通信开销,有效减轻了网络负担,为数据传输提供了更宽松的时间窗口,普通专线即可满足通信带宽的要求;还确保在异地训练中即使某个智算中心的节点发生故障也不影响整体训练,整体提升训练稳定性。

“3D并行+PS”架构

针对芯片种类繁多,不同硬件显存容量和通信带宽参差不齐导致的异构混训效率低下难题,本方案同时提出改进的异构流水线并行策略,并采用自研分布式并行框架动态调节不同硬件的任务量,以更细粒度的拆分方式解决了异构芯片差异性带来的负载均衡和计算阻塞问题。联合团队基于现有通信协议构建适配层,成功突破了异构芯片互联效率低下的瓶颈。

携手上下游,助力AI生态繁荣

AI生态蓬勃发展,离不开算力资源高效盘活。作为国际级人工智能新型科研机构,上海AI实验室采取有组织的科研范式,发挥原创算法及AI软硬件深度互联技术优势,在全国算力互联互通探索中抢先布局、不断突破。

DeepLink方案不仅验证了跨域混训的实用价值,也为行业提供了全新启示。在计算资源有限的场景下,行业依旧可以实现不同性能芯片的灵活组合,无需依赖高算力芯片“扎堆”式部署,有效降低对特定硬件的路径依赖;不同算力集群可通过互联组合形成“合力”,突破单集群性能上限;跨厂商资源更好地兼容与协作,为算力生态的多元繁荣奠定基础。

DeepLink超大规模跨域混训技术快速集成方案

新民晚报记者了解到,目前,上海AI实验室DeepLink开放计算体系已深度集成至联通、电信、商汤、仪电等智算平台,实现“1个平台+N种芯片+X个地域”稳定运行。

原标题:《跨南北、贯东西,支持千公里级跨域混训!上海发布超大规模跨域混训技术方案》

栏目编辑:王蔚 题图来源:上观题图 图片来源:采访对象供图

来源:作者:新民晚报 郜阳

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
80岁,她决定离婚

80岁,她决定离婚

北青深一度
2026-11-16 16:12:52
特朗普:我即将访问中国,期待参加中俄美元首会晤

特朗普:我即将访问中国,期待参加中俄美元首会晤

极目新闻
2026-11-16 15:10:23
太惨烈,都是跌停!中际旭创市值少了1万亿,不少股民爆仓了

太惨烈,都是跌停!中际旭创市值少了1万亿,不少股民爆仓了

金石随笔
2026-11-16 15:02:52
突发!英特尔陈立武被起诉!四大芯片公司华人CEO,要被逐个清算?

突发!英特尔陈立武被起诉!四大芯片公司华人CEO,要被逐个清算?

起点财经
2026-11-16 15:41:03
“国乒全军覆没34岁方博夺冠”登热搜,方博:我不是人中龙凤,但我绝非等闲之辈;曾说打败“獒龙蟒胖”才能打世界杯

“国乒全军覆没34岁方博夺冠”登热搜,方博:我不是人中龙凤,但我绝非等闲之辈;曾说打败“獒龙蟒胖”才能打世界杯

新民周刊
2026-11-16 14:43:50
被骂“滚回中国”后,华人家庭谢绝“当面道歉”!“没有必要,希望她自己想想为什么”

被骂“滚回中国”后,华人家庭谢绝“当面道歉”!“没有必要,希望她自己想想为什么”

发现新西兰
2026-11-16 11:23:23
演员蔡文静透露,5年前坚持劝妈妈去体检,结果竟查出肺癌,她一度瘦成皮包骨;钟南山团队最新研究:越来越多不吸烟的女性被肺癌“盯上”

演员蔡文静透露,5年前坚持劝妈妈去体检,结果竟查出肺癌,她一度瘦成皮包骨;钟南山团队最新研究:越来越多不吸烟的女性被肺癌“盯上”

极目新闻
2026-11-16 19:37:47
中产股民愤怒了!多张大额亏损账户流出,不少投资者注销证券账户,直言“痛定思痛,远离股市”

中产股民愤怒了!多张大额亏损账户流出,不少投资者注销证券账户,直言“痛定思痛,远离股市”

火山詩话
2026-11-16 19:30:03
防止埃博拉病毒病疫情传入我国,海关总署发布公告

防止埃博拉病毒病疫情传入我国,海关总署发布公告

界面新闻
2026-11-16 16:38:55
网友翻出黄仁勋18年前探望四川地震灾区孩子的照片

网友翻出黄仁勋18年前探望四川地震灾区孩子的照片

3DM游戏
2026-11-15 19:51:38
不装了——狂砸1000亿,A股下跌的原因竟是它,真相让人心寒

不装了——狂砸1000亿,A股下跌的原因竟是它,真相让人心寒

财报翻译官
2026-11-16 15:47:30
黄仁勋辞职,新的女CEO上任。都以为黄仁勋输了,万万没想到,她13年前就跟了黄仁勋。她可不简单!

黄仁勋辞职,新的女CEO上任。都以为黄仁勋输了,万万没想到,她13年前就跟了黄仁勋。她可不简单!

财经要参
2026-11-16 12:00:05
1987年邓小平召集小型会议,众目睽睽之下,猛地指向刘华清与洪学智问杨尚昆:命令究竟有没有下达

1987年邓小平召集小型会议,众目睽睽之下,猛地指向刘华清与洪学智问杨尚昆:命令究竟有没有下达

唠叨说历史
2026-11-16 16:13:14
倍诺达价格直降100万元!药企回应:定价经过深思熟虑,不存在“卖一针亏一针”的情况

倍诺达价格直降100万元!药企回应:定价经过深思熟虑,不存在“卖一针亏一针”的情况

红星新闻
2026-11-16 20:35:09
拒31分逆转!湖人灭太阳豪取8连胜 东契奇43+9单节20分创纪录

拒31分逆转!湖人灭太阳豪取8连胜 东契奇43+9单节20分创纪录

醉卧浮生
2026-11-16 07:46:27
上海1300万多选民投票选举区和乡镇两级人大代表,陈吉宁朱忠明等参加投票

上海1300万多选民投票选举区和乡镇两级人大代表,陈吉宁朱忠明等参加投票

上观新闻
2026-11-16 18:43:28
打平即出线!意大利又崩盘 1-4遭比利时逆转+双杀 从头名跌第3出局

打平即出线!意大利又崩盘 1-4遭比利时逆转+双杀 从头名跌第3出局

我爱英超
2026-11-16 06:56:13
涉嫌严重违纪违法,张旭被查

涉嫌严重违纪违法,张旭被查

中国基金报
2026-11-16 21:13:03
首位来访的国家元首,已经抵达深圳,央视画面中还有5架伊尔-76

首位来访的国家元首,已经抵达深圳,央视画面中还有5架伊尔-76

罗富强说
2026-11-16 16:18:31
容祖儿这次演唱会,坐内场看得清楚,她上身亮片外套发型都在线,唯独那条裤子松垮垮堆在鞋面上,走两步就得提一下,唱快歌都不敢迈大步

容祖儿这次演唱会,坐内场看得清楚,她上身亮片外套发型都在线,唯独那条裤子松垮垮堆在鞋面上,走两步就得提一下,唱快歌都不敢迈大步

一盅情怀
2026-11-16 16:01:58
2026-11-16 21:27:00
上观新闻 incentive-icons
上观新闻
站上海,观天下
554881文章数 765217关注度
往期回顾 全部

科技要闻

历史头一回!马斯克用"筷子"夹住太空飞船

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

体育要闻

NBA开赛最大惊喜,是他们?

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

艺术
手机
教育
数码
公开课

艺术要闻

漫天香氛,秋风醉人~杭州的秋天从不让人失望!13个地方,秒出大片!

手机要闻

鞠婧祎代言 荣耀700系列四款高颜值配色公布:全系标配原生AI背屏

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

数码要闻

满电开躁!11月16日,航嘉满电青年计划约你西南交大见!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版