网易首页 > 网易号 > 正文 申请入驻

华为开源7180亿参数大模型!

0
分享至

智东西8月5日消息,今天上午,华为轮值董事长徐直军正式宣布CANN全面开源开放,就在昨日,华为还开源了三款盘古模型,参数规模为1B、7B和718B。

▲Gitcode页面

其中参数规模7180亿的盘古Ultra MoE模型最早在今年5月30日首次官宣,发布之初曾受到业内高度关注和热议。

CANN的全称是Compute Architecture for Neural Networks(神经网络计算架构),这是华为针对AI场景开发的异构计算架构,其可以提高华为自家昇腾AI芯片在处理AI任务时的效率。

徐直军称,Mind系列应用使能套件和工具链会全面开源,支持用户自定义开发。

此前华为昇腾CANN早在2024年就已经宣布深度开放,此次全面开源开放是策略的延续和补全。

回到华为刚刚开源的三款模型,它们分别是openPangu-Embedded-1B-model、openPangu-Ultra-MoE-718B-model、openPangu-Embedded-7B-model。

三款新开源模型下载地址:

https://ai.gitcode.com/ascend-tribe/openpangu-embedded-1b-model

https://ai.gitcode.com/ascend-tribe/openpangu-embedded-7b-model

https://ai.gitcode.com/ascend-tribe/openpangu-ultra-moe-718b-model

根据Gitcode发布信息,openPangu-Embedded-1B基于昇腾NPU从零训练,模型结构为26层Dense架构,训练了约10T tokens,是一个为端侧设备运行而设计的高效快思考语言模型,支持昇腾Atlas 200I A2。

通过昇腾Atlas 200I A2可用的模型架构设计、数据和训练策略优化,openPangu-Embedded-1B据称可在保持端侧运行的要求下达到较高精度。

Gitcode页面给出了该模型测评结果,但并没有横向类比:

7B版本模型类型相同,测评结果如下:

openPangu-Ultra-MoE-718B同样基于昇腾NPU从零训练,其类型为混合专家语言模型,总参数量为718B,激活参数量为39B。openPangu-Ultra-MoE-718B训练了约19T tokens,具备快慢思考融合能力。

架构方面,openPangu-Ultra-MoE-718B采用了Multi-head Latent Attention(MLA)、Multi-Token Prediction(MTP)、大稀疏比等架构,以及一些特有设计:

·Depth-Scaled Sandwich-Norm和TinyInit:通过调整层归一化结构与参数初始化,提升训练稳定性。

·基于EP-Group的负载均衡策略:通过优化负载均衡损失函数,改善专家特化效果。

其测评结果如下:

今年6月30日,华为首次开源大模型,包括70亿个参数的稠密模型“盘古Embedded 7B”、720亿个参数的混合专家模型“盘古Pro MoE”。

其中基于4000颗昇腾NPU并行训练的盘古Pro MoE在MMLU、C-Eval、GSM8K等多种基准测试中,性能超越Qwen3-32B、GLM-Z1-32B等主流开源模型。其在昇腾800I A2上单卡推理吞吐性能可达1528 tokens/s,显著优于同等规模的320亿和720亿个参数的稠密模型。

结语:华为AI软硬件生态继续发力

昇腾CANN作为连接华为AI硬件和上层应用开发生态的关键技术,其进一步提高开源程度必然会有助于华为昇腾AI生态的成长,吸引更多开发者加入。盘古大模型的进一步开源,侧面与之形成协同。

当前国内AI赛道火热,AI芯片、AI大模型企业众多,在自主可控成为行业关注焦点之一的大背景下,华为昇腾AI芯片+盘古大模型成为一条可行技术路径。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
姑娘,出去玩也要注意下穿着,旁边大爷看了直摇头,好尴尬

姑娘,出去玩也要注意下穿着,旁边大爷看了直摇头,好尴尬

舞指飞扬
2026-11-13 07:42:15
死刑布告重出江湖!荆门一男子预谋报复,入户行凶致人死亡,一审死缓,抗诉后改判死刑,已于10月21日执行

死刑布告重出江湖!荆门一男子预谋报复,入户行凶致人死亡,一审死缓,抗诉后改判死刑,已于10月21日执行

火山詩话
2026-11-16 06:23:18
"让人心酸又感动!"外卖小哥接单被要求扛50斤大米爬5楼,本想发火,推开门那一刻他沉默了

"让人心酸又感动!"外卖小哥接单被要求扛50斤大米爬5楼,本想发火,推开门那一刻他沉默了

一丝不苟的法律人
2026-11-04 15:22:28
知名男装品牌创始人公开道歉:为了“蹭流量”,都是胡说八道,现在想想都是很恶心

知名男装品牌创始人公开道歉:为了“蹭流量”,都是胡说八道,现在想想都是很恶心

南方都市报
2026-11-16 20:36:36
暨大120岁校庆收下4.6亿大礼包,校庆照见广东高校的“捐赠江湖”

暨大120岁校庆收下4.6亿大礼包,校庆照见广东高校的“捐赠江湖”

鬼菜生活
2026-11-17 03:01:09
善恶终有报!放弃国籍贪财好色,69岁坐轮椅的张铁林成全网笑柄

善恶终有报!放弃国籍贪财好色,69岁坐轮椅的张铁林成全网笑柄

傲傲讲历史
2026-10-08 14:16:43
1987年,邓小平在众目昭彰下,猛地指向刘华清和洪学智,大声追问杨尚昆:命令究竟有没有下达

1987年,邓小平在众目昭彰下,猛地指向刘华清和洪学智,大声追问杨尚昆:命令究竟有没有下达

唠叨说历史
2026-11-11 13:38:14
加拿大总理卡尼抵达会见现场

加拿大总理卡尼抵达会见现场

极目新闻
2026-11-17 10:27:40
智商越高的人,什么特征越明显?网友:这姐们是神

智商越高的人,什么特征越明显?网友:这姐们是神

另子维爱读史
2026-11-16 21:44:16
于月仙车祸去世5年,丈夫张学松披露关键细节:同车4人只她没回来,骆驼整个砸在车顶

于月仙车祸去世5年,丈夫张学松披露关键细节:同车4人只她没回来,骆驼整个砸在车顶

唠叨说历史
2026-11-16 15:37:18
杨瀚森连续砍鲨戈贝尔送罚球!记者吐槽小杨5犯诺里似乎还不满意

杨瀚森连续砍鲨戈贝尔送罚球!记者吐槽小杨5犯诺里似乎还不满意

狼叔评论
2026-11-17 13:04:03
黄乐出轨黄仁勋名满天下,丈夫康伟却在监狱里偷偷落泪

黄乐出轨黄仁勋名满天下,丈夫康伟却在监狱里偷偷落泪

微评社
2026-11-12 09:07:38
为什么乡镇叫党委,街道叫党工委?

为什么乡镇叫党委,街道叫党工委?

网观天下
2026-11-16 07:34:12
1948年,斯大林下令调查朱可夫,搜出85箱德国战利品;面对灭顶死局,朱可夫没跪没怒也没反抗,只抬头轻轻反问了一句话撕开了权力潜规则。

1948年,斯大林下令调查朱可夫,搜出85箱德国战利品;面对灭顶死局,朱可夫没跪没怒也没反抗,只抬头轻轻反问了一句话撕开了权力潜规则。

回京历史梦
2026-11-16 18:17:18
勾引马斯克挺难的,正如他前妻所言:14个孩子的母亲都被他称为“生育机器”

勾引马斯克挺难的,正如他前妻所言:14个孩子的母亲都被他称为“生育机器”

照见古今
2026-11-12 14:48:00
中央动真格!2027年底前,全国所有住房都将迎来唯一“身份证”?

中央动真格!2027年底前,全国所有住房都将迎来唯一“身份证”?

专业聊房君
2026-11-14 15:10:12
终于明白为啥外国人觉得中国人很装了!看完网友剖析我笑喷,太精辟

终于明白为啥外国人觉得中国人很装了!看完网友剖析我笑喷,太精辟

夜深爱杂谈
2026-11-16 21:51:05
“最佳体重值”出炉!60岁后体重保持在这个范围,有望延年益寿

“最佳体重值”出炉!60岁后体重保持在这个范围,有望延年益寿

华庭讲美食
2026-11-15 18:21:37
前WCBA外援坎贝奇:我卖成人内容一周的收入超过打6年WNBA

前WCBA外援坎贝奇:我卖成人内容一周的收入超过打6年WNBA

懂球帝
2026-11-17 08:51:11
1996年2月2日,人大常委会副委员长李沛瑶在北京家中遇害,行凶者是贴身警卫,拉开了第二次全国严打序幕

1996年2月2日,人大常委会副委员长李沛瑶在北京家中遇害,行凶者是贴身警卫,拉开了第二次全国严打序幕

磊子讲史
2026-11-16 17:30:40
2026-11-17 14:16:49
智东西 incentive-icons
智东西
智东西,AI产业新媒体,专注报道人工智能的前沿技术发展,和技术应用带来的千行百业产业变革。
12951文章数 117195关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

健康
旅游
亲子
艺术
房产

情绪真能让健康人"伤心至死"?

旅游要闻

秋假遛娃剑门关,全程17000步,6个小时,喜提废腿体验!

亲子要闻

宝宝气人但是聪明的4个行为

艺术要闻

漫天香氛,秋风醉人~杭州的秋天从不让人失望!13个地方,秒出大片!

房产要闻

6.6亿!海口卖地!

无障碍浏览 进入关怀版