华为AI存储荣获2024年MLPERF™ AI基准测试性能全球第一

（原标题：华为AI存储荣获2024年MLPERF™ AI基准测试性能全球第一）

2024年9月26日,全球最权威、影响力最广的AI基准测试MLPERF发布了Storage V1.0 AI基准测试结果,华为OceanStor A800全新AI存储在全球厂商中脱颖而出,总性能,每节点性能、每U性能均是全球第一。

MLPERF benchmark是一个衡量人工智能硬件、软件和服务性能的标准化基础测试平台,它由图灵奖得主大卫•帕特森(David Patterson)联合谷歌、斯坦福、哈佛大学等顶尖企业和学术机构成立,是权威性最大、影响力最广的国际AI性能基准测试。为了紧跟行业前沿,MLPERF每年发布基准测试数据,获得全球广泛认可。

本次存储性能测试共有业界主流的13家厂商参与,通过运行一个分布式训练测试程序,模拟GPU计算过程,最大程度还原AI服务器对存储系统的访问模型。以模拟AI存储系统能够支撑的最大GPU数量,来评估存储系统测试性能表现。其中3D U-Net工作负载每FLOPS算力所需存储带宽最高,且数据需要从存储节点读取,不允许提前在主机上缓存,能够真实体现存储系统性能,更全面、更准确地反映存储在大规模AI集群的性能表现。

特别需要注意的是,MLPerf Storage Benchmark的目标是在满足一定加速器利用率(Accelerator utilization)的前提下,测试出存储系统能够支持的最大加速器(Accelerator)数量以及能够提供的最大带宽。如果希望获得比较好的结果,需要从几个方面进行努力:模拟更多的GPU卡数、存储系统需要提供稳定的低时延、稳定的高带宽,因此,这个榜单评测的目标是存储系统的性能,每计算节点的加速器(Accelerator)数量和带宽取决于计算节点的服务器性能,和存储没有关系。在模拟的GPU型号相同的情况下,总ACC数量(模拟的GPU数)和带宽才能反映存储的能力。

本次获得存储性能测试全球第一的AI存储——华为OceanStor A800,通过单台设备成功满足了255张H100 GPU训练的数据吞吐需求,GPU利用率保持90%以上,单框稳定带宽高达679 GB/s,是传统存储性能的10倍。平均每节点提供高达340GB/s带宽,每U提供高达85GB/s的带宽,分别是第二名2.88倍和1.44倍,体现了OceanStor A800全面领先的竞争力。同时可以通过OceanStor A800大规模横向扩展提供百TB级带宽,checkpoint读写时间从10分钟缩短至秒级,断点续训时间小于15分钟,极大减少GPU等待,端到端算力利用率提升30%+,全面提升大模型训练效率。首次参与即在MLPERF Storage V1.0基准测试性能榜单登顶,这一成就不仅彰显了华为数据存储技术的卓越实力,更标志着华为数据存储在业界又达成一个关键里程碑。

华为数据存储深耕细作,持续创新,推出全新OceanStor A系列AI存储。面向AI场景混合负载,基于全新硬件,打造架构领先的存储系统,具备卓越性能、EB级弹性扩展、推理长记忆等能力,全面加速AI大模型训推业务。

面向未来,华为AI存储在AI大模型领域将持续深耕,不断突破性能极限,驾驭AI大模型数据浪潮,引领数据未来。