网易首页 > 网易号 > 正文 申请入驻

国产万卡智算集群破局背后:99.99%超高可用性如何实现?

0
分享至

走进上海智能算力科技有限公司(下称“智算科技”)位于上海松江区的国产万卡集群智算中心,刚踏入机房大门,浑厚而持续的风扇轰鸣声便扑面而来。目光所及,数万张GPU在机柜里整齐排列、鳞次栉比;高速网络线缆密密麻麻却井然有序,与闪烁着微光的设备指示灯交相辉映,每一处细节都彰显着智算中心的高效运转。

需要特别指出的是,智算科技公司目前已经完成多款国产GPU卡以及多台套国产并行计算系统的软硬件适配。在自主可控的大背景下,该公司对于国产卡算力集群的成功破局对中国发展人工智能产业是一大推动。

能支持大模型训练的万卡算力集群的搭建以及稳定运行的难度众所周知,而采用多家国产芯片异构计算集群搭建和运维则是难上加难。

智算科技智算中心的稳健运转,离不开该公司系统工程中心的硬核支撑——这里汇聚着一群平均年龄不足33岁的青年从业者,怀揣精湛技艺与创新热忱,深耕科技前沿、攻坚技术壁垒,在算力创新的赛道上步履不停。

国产万卡异构算力破局

当前,中国虽有多家GPU算力芯片厂商,但受起步较晚、芯片制程受限等因素影响,各厂商规模普遍较小,亟需稳定的应用场景开展产品验证与技术迭代。

而智算科技的国产智算中心,主动扛起了这一使命,为国产算力芯片搭建起关键的实践应用场景。

智算科技是由上海仪电(集团)有限公司(含云赛智联股份有限公司)牵头,与上海数据集团有限公司、上海市信息投资股份有限公司、上海阶跃星辰智能科技有限公司以及松江区政府(上海松江国有资产投资经营管理集团有限公司)共同发起组建的算力基础设施公司。

目前,智算科技已建成万卡级智算集群,并逐步形成规模化、专业化、集约化运营格局,集群算力规模、性能密度和综合能效均领先全国。

据介绍,该公司算力设备种类齐全,已完成多款GPU卡以及多台套国产并行计算系统的软硬件适配测试。同时,聚焦提升资源管理、任务调度和网络运维水平,该公司建立了专业软件团队,与清华大学等联合开展国产并行计算软件、编程框架、通信库、算子库、等智算关键软件和训推工具链研发,不断提高MFU模型算力利用率。目前已建成上线具备自主知识产权的智算云平台,基于微服务框架实现训推优化、数据集成、模型研发、云平台管理和跨域算力调度等功能服务。

智算科技董事长、总经理孙跃接受澎湃新闻采访时表示,一方面,做多元异构算力一定程度上会带动国产厂商的发展,给国产算力提供一个场景,有助于充分利用国产算力。另一方面,不同的业务和行业对不同芯片有不同的需求。许多国产算力芯片在细分领域具有一定优势,可以通过异构在同一底座和云平台的基础上更好地适配不同垂类和算力基础设施的要求,更好地发挥国产软硬件基础设施的作用。

技术攻坚,集群实现了99.99%的超高可用性

搭建万卡算力集群难,而万卡算力集群要想稳定运行则是难上加难。在大规模训练中,任何关键节点的故障都可能导致整个训练任务中断。无论是GPU本身的高价值、训练任务还是科研时间,损失都不可估量。

智算科技系统工程中心总监、团队负责人胡宝群接受采访时表示,万卡算力稳定运营,意味着故障必然会发生,甚至每天都会发生。当故障发生时,如何快速定位故障,故障后如何快速修复,这个是行业非常重要的挑战。

“我们当前已经实现分钟级甚至秒级的预定位故障,并且能够在5分钟内恢复业务。”胡宝群表示。

据介绍,智算科技的智算中心已经成功实现了集群99.99%的超高可用性(相当于全年总故障时间缩短至1小时内),这一成果有力支撑了某大模型公司等多模态大模型领先全球的训练(成功避免了算力中断可能造成的巨大损失)。

在技术突围方面,智算科技的团队首创“动态感知调度方案”,使训练效率飙升91%,每年为国家节省的算力成本相当于新建3个数据中心,实现了混合架构万卡集群调度技术的自主可控。

这支平均年龄不超过33岁的青年突击队

智算科技的技术团队非常年轻,平均年龄不超过33岁,他们来自互联网、运营商和上海仪电系统,是一群有一定工作经验,技术和业务能力非常强的技术人员组成的攻坚团队。

尽管成员之前有一定技术积累,但三年前开始构建的万卡大模型几乎都是前沿且探索性的,团队也是在整个攻坚过程中形成自己的技术方案,并完成了突破。

胡宝群是智算科技计算部门的第二号员工,整个技术工程团队也是他逐步带领起来的。

“前期团队搭建相对困难,因为真正有万卡集训经验的人主要来自互联网云厂商,所以上海有经验的人较少。所以团队有人来自互联网大厂。后期公司也开始培养第二波和第三波的技术人才。”胡宝群表示。

据悉,这支青年突击队曾连续79天吃住在机房驻守,为了0.1%的效率提升每天熬红双眼反复打磨代码,开展算法攻坚。面对紧急任务,他们打破常规,将线性流程优化为“并行施工+边测边调”,抢占每一秒进度。

“我们每台设备后面会接20多根网线,整套万卡集群,即有近十万根线,实际上建设时会复杂一些。实际运营过程中,我们还需要将1万张调度、协同、故障修复,这相对比较困难。”胡宝群表示,一万张的智算中心故障几乎每刻都在发生,大家精神高度紧张,也需要依赖平台和工具链的建设。此外,团队也需要对接行业前沿技术,比如通过算法预判出现问题的情况,提前介入,确保算力中心的稳定运营。

智算科技系统平台部负责人翟雨佳补充道,“AI人才密度相对稀缺,壁垒也是比较高的。其实,国外的头部AI企业最稀缺的也不是资金,而是人才,我们现在已经具备了一支能够胜任任务或者专业结构合理、技术过硬的AI技术人才,这才是我们最宝贵的资产。”

孙跃也强调,当初万卡集群搭建之时,国内具备万卡建设经验的团队寥寥无几。智算科技一方面积极引进专业人才,另一方面注重在实践中锤炼队伍,在攻坚克难的过程中,将分散的个体人才凝聚成紧密协作的团队,不断提升团队的组织协调能力与整体战斗力。

孙跃表示:“团队需要充分给年轻同志施展才华的空间和舞台,让每位同事充分发挥潜能和潜力。只有每位同事都像小老虎一样,我们才能在整个集群建设、公司发展过程中敢打敢拼敢冲锋。”

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
性生活是不是人的刚需?网友说:男性性生活是刚需,女性不是!

性生活是不是人的刚需?网友说:男性性生活是刚需,女性不是!

黯泉
2026-11-09 17:39:59
受冷空气影响,2026年11月下旬起,猪肉、鸡蛋或将迎来"新变化"

受冷空气影响,2026年11月下旬起,猪肉、鸡蛋或将迎来"新变化"

浩渺青史
2026-11-21 04:03:39
深圳发“横财”了!APEC峰会结束仅2天,水贝、华强北双双爆单

深圳发“横财”了!APEC峰会结束仅2天,水贝、华强北双双爆单

天天热点见闻
2026-11-21 11:26:34
又瘦了!张子宇17分钟14+7率队二连胜 国青队友:她的进步太大了

又瘦了!张子宇17分钟14+7率队二连胜 国青队友:她的进步太大了

颜小白的篮球梦
2026-11-21 07:32:25
1-3!利雅得胜利遭逆转 6连胜终结 41岁C罗斩生涯第986球+连场失点

1-3!利雅得胜利遭逆转 6连胜终结 41岁C罗斩生涯第986球+连场失点

我爱英超
2026-11-21 04:21:00
发现一个养老真相:养老院里 70% 是女性,被用 “男性标准” 照顾

发现一个养老真相:养老院里 70% 是女性,被用 “男性标准” 照顾

浩渺青史
2026-11-21 04:22:11
90%的高中生还在把address当“地址”背,高考却早就在这两个意思上反复设坑了

90%的高中生还在把address当“地址”背,高考却早就在这两个意思上反复设坑了

悄悄把英语磨成随身技能
2026-11-19 10:52:03
河南农妇为亲人喊冤14年后被抓,全家遭“司法灭门”

河南农妇为亲人喊冤14年后被抓,全家遭“司法灭门”

塔子山评说
2026-11-18 18:10:50
俄军指挥部一锅端,二十多名军官集体阵亡

俄军指挥部一锅端,二十多名军官集体阵亡

知兵
2026-11-21 00:06:31
54年来头一遭,打破美国总统常规,特朗普在深圳究竟看到了什么?

54年来头一遭,打破美国总统常规,特朗普在深圳究竟看到了什么?

阿天爱旅行
2026-11-21 06:15:27
澳洲女记者一夜爆红! 所有人只顾看她, 完全没听新闻

澳洲女记者一夜爆红! 所有人只顾看她, 完全没听新闻

澳微Daily
2026-11-21 14:49:23
贺炜谈国少0-5:回到顶级舞台才能遇到强手,看到世界才有发展动力

贺炜谈国少0-5:回到顶级舞台才能遇到强手,看到世界才有发展动力

懂球帝
2026-11-21 12:04:10
14年累计下跌5%:这些年中国股民是怎么活的?

14年累计下跌5%:这些年中国股民是怎么活的?

城事堂
2026-10-18 09:35:23
GTA 6手感像大镖客2?先改这个移动设置

GTA 6手感像大镖客2?先改这个移动设置

渡川5
2026-11-20 03:26:06
大二女生去按摩,男技师让她脱内裤跪着背对着他,整个人贴了上来,店长:包厢没监控,赔700块

大二女生去按摩,男技师让她脱内裤跪着背对着他,整个人贴了上来,店长:包厢没监控,赔700块

一丝不苟的法律人
2026-11-08 16:44:48
U17世界杯开门黑!国足0-5西班牙 邝兆镭争议送点 12分钟崩盘丢3球

U17世界杯开门黑!国足0-5西班牙 邝兆镭争议送点 12分钟崩盘丢3球

我爱英超
2026-11-20 23:57:22
这则宣扬“几乎不休息”的新闻,上热搜了

这则宣扬“几乎不休息”的新闻,上热搜了

吴女士
2026-11-20 14:03:42
楼市开始离谱了!南京的房价,可能会迎来3大变化,很真实!

楼市开始离谱了!南京的房价,可能会迎来3大变化,很真实!

林子说事
2026-11-20 13:33:15
原来这些名字我们一直都理解错了!网友:鸭屎香原来和鸭无关!

原来这些名字我们一直都理解错了!网友:鸭屎香原来和鸭无关!

马蹄烫嘴说美食
2026-11-20 06:43:32
张怡宁参加婚礼哭了,64岁丈夫一直咳嗽,看着很老,还是袁立前任

张怡宁参加婚礼哭了,64岁丈夫一直咳嗽,看着很老,还是袁立前任

一娱三分地
2025-06-11 20:53:37
2026-11-21 15:47:00
澎湃新闻 incentive-icons
澎湃新闻
专注时政与思想的新闻平台。
949291文章数 5098983关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

艺术
家居
时尚
教育
本地

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

家居要闻

2026建博会(广州) 公装联探展交流活动

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

本地新闻

乌兰察布:以前种土豆,现在种Token

无障碍浏览 进入关怀版