北京
新京报贝壳财经讯（记者韦博雅）5月16日，在华为云AI峰会上，华为云副总裁黄瑾表示，随着大模型训练和推理对算力需求的爆炸式增长，传统计算架构已难以支撑AI技术的代际跃迁，超节点架构的诞生不仅是技术的突破，更是以工程化创新开辟AI产业的新路径。
黄瑾表示，AI算力的瓶颈，从单卡算力的瓶颈到单机内总线带宽的瓶颈，再到现在集群间通信带宽的瓶颈，需求增长了1万倍。然而过去的8年里，单卡硬件的算力增长了40倍，但是节点内的总线带宽只增长了9倍，跨节点的网络带宽只增长了4倍，这使得集群网络通信成为当前大模型训练和推理的最大挑战。
黄瑾介绍，华为云推出的CloudMatrix 384超节点，直面通信效率瓶颈、内存墙制约、可靠性短板三大技术挑战，通过新型高速互联总线实现384张卡互联成为一个超级云服务器，最高提供300Pflops的算力规模，比英伟达NVL72 180Pflops的算力规模提升了67%。
同时，华为云CloudMatrix 384超节点具备MoE亲和、以网强算、以存强算、长稳可靠、朝推夜训、即开即用六大技术优势。
在CloudMatrix 384超节点的分布式推理平台的加持下，通过高速互联总线，能够实现一卡一专家高效分布式推理，单卡的MoE计算和通信效率大幅提升。而MatrixLink服务具有两层网络：超节点内部的ScaleUp总线网络和跨超节点间的ScaleOut网络，可以让超节点内384张卡高速互联，时延低至微秒。
除此之外，华为云首创的EMS弹性内存存储，通过内存池化技术，实现显存和算力解绑，可大幅提升资源利用率、性能和吞吐量，比如用EMS替代NPU中的显存，可使得首Token时延降低，最高降幅可达80%；昇腾云脑运维“1-3-10”标准还将硬件故障感知率从40%提升至90%。
编辑 岳彩周
校对 穆祥桐
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
