华为开源7180亿参数大模型！

智东西
作者 云鹏
编辑 李水青

智东西8月5日消息，今天上午，华为轮值董事长徐直军正式宣布CANN全面开源开放，就在昨日，华为还开源了三款盘古模型，参数规模为1B、7B和718B。

▲Gitcode页面

其中参数规模7180亿的盘古Ultra MoE模型最早在今年5月30日首次官宣，发布之初曾受到业内高度关注和热议。

CANN的全称是Compute Architecture for Neural Networks（神经网络计算架构），这是华为针对AI场景开发的异构计算架构，其可以提高华为自家昇腾AI芯片在处理AI任务时的效率。

徐直军称，Mind系列应用使能套件和工具链会全面开源，支持用户自定义开发。

此前华为昇腾CANN早在2024年就已经宣布深度开放，此次全面开源开放是策略的延续和补全。

回到华为刚刚开源的三款模型，它们分别是openPangu-Embedded-1B-model、openPangu-Ultra-MoE-718B-model、openPangu-Embedded-7B-model。

三款新开源模型下载地址：

https://ai.gitcode.com/ascend-tribe/openpangu-embedded-1b-model

https://ai.gitcode.com/ascend-tribe/openpangu-embedded-7b-model

https://ai.gitcode.com/ascend-tribe/openpangu-ultra-moe-718b-model

根据Gitcode发布信息，openPangu-Embedded-1B基于昇腾NPU从零训练，模型结构为26层Dense架构，训练了约10T tokens，是一个为端侧设备运行而设计的高效快思考语言模型，支持昇腾Atlas 200I A2。

通过昇腾Atlas 200I A2可用的模型架构设计、数据和训练策略优化，openPangu-Embedded-1B据称可在保持端侧运行的要求下达到较高精度。

Gitcode页面给出了该模型测评结果，但并没有横向类比：

7B版本模型类型相同，测评结果如下：

openPangu-Ultra-MoE-718B同样基于昇腾NPU从零训练，其类型为混合专家语言模型，总参数量为718B，激活参数量为39B。openPangu-Ultra-MoE-718B训练了约19T tokens，具备快慢思考融合能力。

架构方面，openPangu-Ultra-MoE-718B采用了Multi-head Latent Attention（MLA）、Multi-Token Prediction（MTP）、大稀疏比等架构，以及一些特有设计：

·Depth-Scaled Sandwich-Norm和TinyInit：通过调整层归一化结构与参数初始化，提升训练稳定性。

·基于EP-Group的负载均衡策略：通过优化负载均衡损失函数，改善专家特化效果。

其测评结果如下：

今年6月30日，华为首次开源大模型，包括70亿个参数的稠密模型“盘古Embedded 7B”、720亿个参数的混合专家模型“盘古Pro MoE”。

其中基于4000颗昇腾NPU并行训练的盘古Pro MoE在MMLU、C-Eval、GSM8K等多种基准测试中，性能超越Qwen3-32B、GLM-Z1-32B等主流开源模型。其在昇腾800I A2上单卡推理吞吐性能可达1528 tokens/s，显著优于同等规模的320亿和720亿个参数的稠密模型。

结语：华为AI软硬件生态继续发力

昇腾CANN作为连接华为AI硬件和上层应用开发生态的关键技术，其进一步提高开源程度必然会有助于华为昇腾AI生态的成长，吸引更多开发者加入。盘古大模型的进一步开源，侧面与之形成协同。

当前国内AI赛道火热，AI芯片、AI大模型企业众多，在自主可控成为行业关注焦点之一的大背景下，华为昇腾AI芯片+盘古大模型成为一条可行技术路径。