网易首页 > 网易号 > 正文 申请入驻

摩尔线程 × 智源|FlagOS AI训练“全要素”验证成绩单

0
分享至

近日,北京智源人工智能研究院(简称:智源研究院)正式发布重磅验证成果:六款AI芯片、三大模型、同构+异构千卡——众智FlagOS以统一技术栈完成AI训练“全要素”验证。

作为本次验证的核心参与厂商之一,摩尔线程基于旗舰级AI训推一体全功能GPU智算卡MTT S5000,完整适配了FlagOS训练全要素软件栈——包括FlagScale系统调度决策框架、Megatron-LM分布式训练框架、Transformer Engine加速库、FlagGems与Triton算子库,以及FlagCX通信库。

在此次严苛的验证中,MTT S5000面向Qwen3-0.6B语言模型完成了1T Tokens从头训练验证,实现连续6天以上、超过14000步的无中断稳定训练。训练所得模型 Loss 曲线与基线高度一致,平均相对误差控制在0.82%以内;在标准下游任务评测中,较行业标杆基线提升1.65个百分点,充分验证了全功能GPU算力在大模型端到端训练中的稳定性与有效性。



长周期高负载验证:

4机32卡无中断,6+天稳定训练

此次FlagOS全要素适配与验证工作,旨在检验多元AI算力在统一软件栈下的端到端训练能力。摩尔线程与智源团队紧密协作,高效完成了底层适配与系统调优,并于春节前正式启动全流程训练验证。

在实际训练中,摩尔线程采用4机32卡配置,面向 Qwen3-0.6B语言模型开展训练。在超过6天的连续训练周期内,系统稳定完成 1T Tokens 数据量的超过14000步迭代,期间未发生任何软硬件中断。这一结果回应了业界对国产算力大规模训练稳定性的核心关切,也进一步证明了基于MTT S5000构建的训练集群在长时间、高负载场景下的可靠性,充分验证国产算力已具备支撑企业级大模型预训练任务的能力。

精度稳定对齐:

Loss曲线高度一致,评测效果优于基线

大模型训练的核心诉求,不仅在于算力规模与性能,更在于训练过程中的稳定性、收敛效果和最终模型质量。其中,训练精度是基石,下游任务评测效果则是检验训练成效的关键指标。

在FlagOS统一软件栈的调度下,采用完全对齐的数据集和训练参数,基于MTT S5000集群的训练过程呈现出与国际主流产品基线高度一致的Loss收敛曲线,平均相对误差控制在0.82%以内。与此同时,在标准的下游任务评测中,基于MTT S5000训练的模型,取得了比行业标杆基线高出1.65个百分点的结果表现。

与基线评测偏差的计算方法(后面的计算方式类似):



Qwen3-0.6B评测结果(正数是优于基线)



这一结果表明,开发者基于公开的模型结构与数据集,即可在摩尔线程MTT S5000算力平台上,获得与国际主流平台精度相当,并在部分评测指标上实现更优表现的大模型训练效果。

此外,摩尔线程基于MTT S5000的训练能力已在更大规模场景中得到验证。今年1月,依托摩尔线程MTT S5000千卡智算集群,FlagOS成功完成智源自研具身大脑模型RoboBrain 2.5的全流程训练与优化验证。结果显示,其Loss曲线与国际主流产品基线高度一致,最终结果相对误差小于0.62%;在64卡至1024卡规模区间内,多组实验均实现超过90%的线性扩展效率。该案例表明,摩尔线程基于MTT S5000的训练能力不仅可支撑长周期端到端验证,也具备向更大规模、更复杂模型场景持续延展的能力。

RoboBrain2.5模型评测效果



端到端训练Loss曲线



软硬创新协同:

打造高质量大模型训练底座

此次验证成绩的取得,离不开摩尔线程在芯片架构、通信能力、计算单元协同以及FP8训练支持等方面的持续打磨。基于MTT S5000,摩尔线程正不断完善面向大模型训练的软硬件能力,为训练稳定性、精度表现和规模扩展提供坚实支撑。

▼架构级精度优化:深入打磨矩阵乘法(GEMM)算子

矩阵乘法(GEMM)是大模型训练中的核心算子之一,其数值精度直接影响Loss曲线的收敛表现与最终模型效果。围绕这一关键环节,摩尔线程团队在MTT S5000的架构设计阶段,便针对浮点运算的舍入模式、累加路径等关键计算链路进行了精细化优化。这种来自架构层面的持续打磨,使得MTT S5000在长时间训练过程中保持更稳定的数值表现,为模型训练精度对齐及下游评测效果提升提供了坚实的底层保障。

▼ACE异步通信引擎:让计算与通信更高效并行

在大规模分布式并行训练中,卡间通信往往会与计算任务争抢带宽及核心资源,成为制约扩展效率的瓶颈。MTT S5000创新性地内置了ACE(Asynchronous Communication Engine,异步通信引擎),作为独立的硬件通信单元,能够在不占用计算核心资源的情况下,高效完成跨卡间的all_reduce、all_gather等集合通信操作。得益于ACE,通信与计算得以更深度地并行协同——当Tensor Core(张量计算核心)在进行繁重的矩阵运算时,ACE已在后台并行完成梯度同步,为大规模训练带来更高的资源利用效率。摩尔线程在千卡规模训练中能保持超过90%的线性扩展效率,正是这一设计优势的重要体现。

▼多计算单元协同:Tensor Core与Vector Core高效配合

为了更好适配大模型训练中多样化的计算负载,MTT S5000在算力单元的设计上,对Tensor Core与Vector Core(向量计算单元)进行了针对性的配置与协同优化。在实际调度中,密集的矩阵运算交给Tensor Core处理,而LayerNorm、Softmax、激活函数等偏向内存或带宽密集型算子则交由Vector Core高效执行。基于这一硬件特性,摩尔线程联合智源团队对FlagOS进行了深度的软件栈调优,最终在FlashAttention等关键算子上实现了超过90%的计算资源利用率,进一步释放了平台的训练潜力。

▼原生FP8支持:协同MT-Megatron稳定高效释放Grouped GEMM潜力

随着模型参数规模迈入千亿甚至万亿级别,低精度训练已成为提升训练效率的重要方向。MTT S5000在硬件层面原生支持FP8数据精度,为更高吞吐的大模型训练提供了基础能力。通过底层算子库的高效优化,其FP8 Grouped GEMM性能在实际场景中取得了超过700TFLOPs的性能表现。同时,摩尔线程对MT-Megatron分布式训练框架进行了深度适配与优化,进一步提升了FP8训练在主流大模型上的稳定性与可收敛性,能够为包括DeepSeek-V3在内的大模型训练提供有效支撑。

从训练稳定性、收敛精度到下游任务效果,摩尔线程基于 MTT S5000 交出的这份成绩单表明,在统一技术栈下,国产全功能GPU不仅验证了大模型端到端训练的可用性,也展现出在实际训练效果上持续提升的潜力。

北京智源人工智能研究院副院长兼总工程师林咏华表示:“长期以来,‘对齐CUDA’只是行业在缺乏替代方案下‘不得已为之’的对齐标准。但如果能获得比CUDA更优的实际训练效果,才是产业界共同的期待,才能让系统架构百花齐放、勇于创新。摩尔线程在训练实测中超过了国际主流产品的表现,证明了这种期待已经有实现的可能性了。”

未来,摩尔线程将继续深化与智源研究院及生态伙伴的合作,以自主创新的全功能GPU算力底座,推动多元算力从“普适”走向“普惠”,为中国大模型研发提供开放、高效、可规模化复制的“国产算力训练范式”。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
爽了!火箭轰动NBA!恶棍状元或联手杜兰特

爽了!火箭轰动NBA!恶棍状元或联手杜兰特

篮球实战宝典
2026-11-20 18:47:13
高市早苗在深圳就台湾问题表态,外交部最新回应:日方在台湾问题上尽快纠正错误言行

高市早苗在深圳就台湾问题表态,外交部最新回应:日方在台湾问题上尽快纠正错误言行

每日经济新闻
2026-11-20 17:08:48
它是“菜中人参”,冬天遇到别手软,买10斤囤着,随吃随取特省事

它是“菜中人参”,冬天遇到别手软,买10斤囤着,随吃随取特省事

阿龙美食记
2026-11-19 11:00:12
天呐!差点没认出来,电视里那么漂亮女神,原来跟普通人也没两样

天呐!差点没认出来,电视里那么漂亮女神,原来跟普通人也没两样

情感大头说说
2026-11-20 04:49:19
中国股市失控信号亮起:这次可能真的不是玩笑

中国股市失控信号亮起:这次可能真的不是玩笑

星语者056
2026-11-20 08:56:23
75岁张纪中的妻子回应会不会改嫁,称“我老公再活30年,我75岁了,嫁给谁呀”

75岁张纪中的妻子回应会不会改嫁,称“我老公再活30年,我75岁了,嫁给谁呀”

韩小娱
2026-11-20 16:45:15
流动性危机来了

流动性危机来了

曹多鱼的财经世界
2026-11-20 11:54:49
胖东来新乡门店因涨租金搬离11年,市民称原址所开新商场几乎倒闭,仅剩一楼几家手机店还在营业,商场客服热线已成空号

胖东来新乡门店因涨租金搬离11年,市民称原址所开新商场几乎倒闭,仅剩一楼几家手机店还在营业,商场客服热线已成空号

极目新闻
2026-11-20 15:34:45
为什么国家越来越强,我们的日子却越来越紧

为什么国家越来越强,我们的日子却越来越紧

小禾的半糖生活
2026-11-18 13:20:03
武汉95后小伙子承父业收废品,买到一架客机,拆解视频意外爆火,本人回应:把童年顺口溜干成了现实

武汉95后小伙子承父业收废品,买到一架客机,拆解视频意外爆火,本人回应:把童年顺口溜干成了现实

极目新闻
2026-11-20 15:01:38
高市早苗飞离中国,中方铺红毯、礼仗队送别,日本认为“中方失礼”,根本站不住脚

高市早苗飞离中国,中方铺红毯、礼仗队送别,日本认为“中方失礼”,根本站不住脚

蓝星杂谈
2026-11-20 13:04:01
尾盘,A股突变,爆天量了!

尾盘,A股突变,爆天量了!

中国基金报
2026-11-20 15:53:51
刚刚,英伟达收到传票!

刚刚,英伟达收到传票!

EETOP半导体社区
2026-11-20 13:41:07
王刚红点套餐!门线故意手球,VAR介入改判,国安全队暴怒

王刚红点套餐!门线故意手球,VAR介入改判,国安全队暴怒

奥拜尔
2026-11-20 20:13:09
斯坦丘发文感谢大连英博球迷:希望你们能理解并尊重我的决定

斯坦丘发文感谢大连英博球迷:希望你们能理解并尊重我的决定

懂球帝
2026-11-20 20:36:29
高市见了普京

高市见了普京

周边问题研究所
2026-11-20 13:12:01
贺希宁回应前交叉韧带断裂赛季报销:会好好配合治疗 努力养伤回归

贺希宁回应前交叉韧带断裂赛季报销:会好好配合治疗 努力养伤回归

醉卧浮生
2026-11-20 13:23:04
高市早苗APEC独坐角落扇扇子,引日本网民群嘲:是去丢人现眼的吗?

高市早苗APEC独坐角落扇扇子,引日本网民群嘲:是去丢人现眼的吗?

可达鸭面面观
2026-11-20 08:41:45
深圳女高管和每一任男友发生关系前,都要先拉他去体检,防止被传染

深圳女高管和每一任男友发生关系前,都要先拉他去体检,防止被传染

江山挥笔
2026-11-19 14:15:33
越来越多孩子自杀  多地高中严格执行周末双休

越来越多孩子自杀 多地高中严格执行周末双休

风向观察
2026-11-20 07:40:00
2026-11-20 21:20:49
集微 incentive-icons
集微
集微网官方账号
111034文章数 98371关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

交钱5年房子没盖女子要求退房退款被拒 当地称可换房

头条要闻

交钱5年房子没盖女子要求退房退款被拒 当地称可换房

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

旅游
健康
艺术
数码
公开课

旅游要闻

辟谣!织金洞、沔鱼河不是一套地下河系统,很多短视频都讲错了

医生眼里"很伤腰"的椅子,很多人天天坐

艺术要闻

被机器人“七弟”爱上的她:艾西瓦娅·雷与印度歌舞片中的女性形象

数码要闻

银昕推出ITX机箱MILO 13:搭载整合安装支架,配备COM开孔

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版