深度解读“昇腾384超节点”：性能对标英伟达NVL72，通信带宽提升15倍

智东西
编译 王涵
编辑 漠影

智东西5月27日消息，据华为官方信息，近日在华为昇腾AI开发者峰会上，华为昇腾计算业务总裁张迪煊介绍了基于昇腾人工智能（AI）处理器的高性能计算架构“昇腾384超节点”，该架构号称可媲美美国半导体公司英伟达NVL72系统的架构，能有效缓解数据中心瓶颈问题。

“随着并行处理规模扩大，传统服务器架构的跨机带宽已成为训练关键瓶颈。”张迪煊在会上说。他提到，满足未来训练需求需要昇腾384超节点等创新计算架构。

一、摒弃冯诺依曼架构，昇腾384超节点架构可连接数万颗处理器

华为的超节点架构构成其此前公布的CloudMatrix 384系统基础，该集群包含384颗昇腾AI处理器，由12个计算柜和4个总线柜组成，最大算力可达300 PFLOPS，48TB高速内存，（注：1 petaflop=每秒1千万亿次运算）。

基于超节点架构，华为打造了业界最大规模的昇腾384卡超节点，并已在安徽、内蒙古和贵州的数据中心部署。

华为称，多个昇腾384超节点可以组成十万卡级的Atlas 900 SuperCluster超节点集群，以支持更大规模的模型训练需求，帮助更多行业更快实现智能化和高效化。

华为补充，超节点打破了以CPU为中心的冯诺依曼架构，创新提出了对等计算架构。在超节点范围内，用高速总线互联替代传统以太，通信带宽提升了15倍，单跳通信时延也从2微秒做到200纳秒，降低了10倍。

▲华为昇腾计算业务总裁张迪轩在昇腾AI开发者峰会上演讲

二、最适合MoE模型，单卡性能达到600至750TPS

目前，Mixture-of-Experts（MoE）模型凭借其模型效果成为了主要模型结构，然而MoE却涉及最复杂的混合并行策略。其中，TP、SP、EP的通信量高达百GB的级别，且通常无法掩盖。随着并行规模的增长，传统服务器的跨机带宽成为训练核心瓶颈，需要通过计算架构的创新，满足未来训练的需求。

据华为介绍，昇腾384超节点架构最适合MoE AI模型。华为公布的基准测试结果显示，超节点384在处理Meta的LLama 3等密集型AI模型时，单卡性能达到132 tokens/秒（TPS），是传统集群的2.5倍。对于Qwen以及DeepSeek等通信密集型多模态及MoE模型，华为架构的单卡性能达到600至750 TPS，可以达到3倍以上的提升。

虽然华为尚未确认其新计算架构下部署的是哪款昇腾芯片变体，但SemiAnalysis的一份报告称CloudMatrix 384使用了最新的昇腾910C AI处理器，该处理器依靠规模优势来抵消单个芯片性能较弱的不足。

结语：突破西方封锁，华为或将重塑AI训练底层逻辑

除了昇腾384超节点的技术分享外，华为在其昇腾AI开发者峰会上，还分享了CATLASS算子模板库、MindIE Motor推理服务加速库、持续升级分层开放CANN的能力等等内容。这一系列举措旨在为开发者提供更便捷的开发环境，提升模型训练与推理效率，从而推动产业生态共建。

“华为在芯片上落后一代，但其扩展解决方案可以说比英伟达和超微半导体（AMD）的当前市场产品领先一代。”SemiAnalysis报告称。

随着全球AI算力竞赛进入“白热化”，华为的创新不仅为数据中心瓶颈问题提供了中国方案，更可能重塑下一代AI模型训练的底层逻辑，在算力规模与能效比之间找到新的平衡点，推动AI技术从实验室走向更广泛的产业应用。