网易首页 > 网易科技 > 网易科技 > 正文

国货之光!全球 AI 存储基准测试 MLPerf Storage 3.0 结果发布,斩获九项第一

0
分享至

(原标题:国货之光!全球 AI 存储基准测试 MLPerf Storage 3.0 结果发布,斩获九项第一)

9月1日,MLCommons 正式发布 MLPerf® Storage Benchmark 3.0(简称 MLPerf Storage)基准测试结果。XSKY 星辰天合旗下 MeshFS 首次参赛,在并行文件存储赛道获得九项第一。

MLPerf Storage 是由 MLCommons 组织的全球 AI 存储基准测试,用于验证存储系统对训练数据读取和模型状态读写的支撑能力。3.0版本覆盖 Unet3D 大文件训练、RetinaNet 海量小文件训练,以及 Llama3 8B 至405B Checkpoint 读写。三项负载具有不同的 I/O 形态,可从多个维度衡量存储系统性能。

本届测试共有来自全球的19家厂商、23款产品参评,其中并行文件系统赛道有14家厂商参与,包括 Pure Storage、WEKA、浪潮存储、Alluxio 等国内外厂商,相关结果可为 AI 存储选型提供参考。

MeshFS 是 XSKY 设计的高性能并行文件系统,面向 AI 大模型训练、推理及高性能大规模数据处理场景。据 XSKY 公开资料,MeshFS 采用其自研的 Shared-Everything 全闪存架构,利用 NVMe 与 RDMA 硬件能力,产品指标包括微秒级 I/O 延迟和 TB/s 级聚合带宽。

九项第一:多项性能与硬件成本效率指标居首

XSKY MeshFS 获得的九项第一分布在小文件训练吞吐、Unet3D、RetinaNet 与405B Checkpoint 等测试项,涉及每客户端读带宽、训练场景单位性能成本和容量效率等指标。结果显示,MeshFS 可支撑多训练客户端并发访问,并在三节点硬件配置下提供较高训练带宽;Checkpoint 读写性能也有助于缩短模型状态保存与故障恢复时间。

 图:XSKY MeshFS 九项第一总览

三节点 EC 配置,覆盖全部参测场景

从 Training 到 Checkpoint,存储端在全部测试中使用同一套三节点硬件配置。

每个存储节点配置双路英特尔® 至强® 6530P 处理器、512 GB 内存和4个200*2 Gb/s ConnectX-7网卡。6530P 属于搭载 P-core(性能核)的英特尔® 至强® 6处理器家族。三节点共使用48块7.68 TB 忆联 UH812a TLC SSD;集群采用 EC 4+2:1数据保护,可提供223.5 TiB 受保护可用容量。

客户端共配置9台节点,通过 POSIX 客户端和 RDMA 网络访问存储。

图:XSKY MeshFS 测试环境

三类负载实测:大文件、小文件与 Checkpoint

此次 XSKY MeshFS 参与的三类负载对应不同的 I/O 压力。Unet3D 侧重大文件连续读取,RetinaNet 考察海量小文件并发和元数据处理能力,Llama3 405B Checkpoint 则要求存储同时承受大模型状态的高强度读写。同一套系统支撑三类负载,可同时检验单一负载性能以及不同 I/O 路径的处理能力。

Unet3D · 大文件训练读取 双项第一

Unet3D 在 MLPerf Storage 中主要考察存储持续满足训练端大文件读取需求的能力。测试结果显示,XSKY MeshFS 每客户端带宽为67.73 GiB/s,位列第一;每 GiB/s 硬件成本为1,053美元,同样位列第一,两项指标均居首位。

RetinaNet · 海量小文件训练 三项第一

海量小文件场景对存储系统的元数据处理与小 I/O 能力要求较高。RetinaNet 包含7540万个、平均约315 KiB 的小文件,高并发访问会同时对元数据处理与小 I/O 通路形成压力。测试模拟675个 B200训练 I/O 负载,XSKY MeshFS 训练吞吐为96.13 GiB/s,每客户端带宽为10.68 GiB/s,每 GiB/s 硬件成本为4,163美元,三项指标均位列第一。

图:RetinaNet 训练吞吐与效率

Llama3 405B · Checkpoint 读写 双项第一

大模型训练中,Checkpoint 直接影响训练连续性与容错能力,既需要定期写入保存状态,也需要在故障恢复时快速读回。Llama3 405B 单次检查点文件大小为5292 GB,对存储双向读写能力提出较高要求。结果显示,XSKY MeshFS 读取每客户端带宽为47.49 GiB/s,位列第一;每 GiB/s 硬件成本为1,053美元,同样位列第一;Checkpoint 写入时每客户端带宽为13.34 GiB/s,可为大模型检查点保存与恢复提供支持。

不同参测方案的硬件成本评估

在高性能存储测试中,不同厂商采用的硬件方案差异较大,仅比较单一性能数值存在一定局限。除性能外,硬件投入与成本效率也是实际选型中的重要考量。

根据2026年 Q3硬件渠道价格参考进行测算,对参与测试的并行文件系统方案进行了硬件成本量化。其中排除1个双品牌重复提交方案,以及2个存储侧配置无法核实的方案。测算结果如下:

 图:各参测方案的硬件投入情况

从图中可以看到,不同参测方案的硬件成本存在较大差异,部分方案的 DRAM 成本占比较高,可能与将内存用于写缓存的配置有关。基于此测算范围,XSKY MeshFS 使用同一套三节点硬件配置完成全部场景测试,并在硬件成本效率指标上处于领先位置。

 MeshFS,国产 AI 存储的新名片

在全球 AI 存储基准测试 MLPerf Storage 3.0中拿下九项第一,意味着 XSKY MeshFS 的价值不只体现在单项性能数字上。以一套三节点配置完成大文件读取、海量小文件并发和大模型 Checkpoint 读写等多类负载,并兼顾性能与硬件成本效率,展现了国产 AI 存储在复杂训练场景中的竞争力。随着国内 AI 基础设施建设加速,XSKY MeshFS 正在成为国产高性能并行文件系统中一张值得关注的新名片。

相关推荐
热点推荐
明日揭幕!角逐总决赛席位 武网为何是球星们“必争之地”?

明日揭幕!角逐总决赛席位 武网为何是球星们“必争之地”?

新英体育
2026-10-09 14:36:40
克什米尔地方官员曾称:若必须选,我们既不想加入印度,也不想加入巴基斯坦,克什米尔民众更倾向于加入中国,其背后是70年难以破解的僵局

克什米尔地方官员曾称:若必须选,我们既不想加入印度,也不想加入巴基斯坦,克什米尔民众更倾向于加入中国,其背后是70年难以破解的僵局

z千年历史老号
2026-10-08 18:31:38
以为会低调收手!蔡康永海外发声亮明态度,早已不打算回头

以为会低调收手!蔡康永海外发声亮明态度,早已不打算回头

全球风情大揭秘
2026-10-08 18:29:44
俄外交官向中方解释清楚,俄罗斯没想和中国争,只是出于本国利益

俄外交官向中方解释清楚,俄罗斯没想和中国争,只是出于本国利益

别让往昔的悲伤和对未来的恐惧
2026-10-09 03:51:59
一味中药,清肝明目,润肺止咳,止盗汗

一味中药,清肝明目,润肺止咳,止盗汗

环京快爆
2026-10-09 08:52:09
确认报案!“逼空姐下跪”的大老板,开始慌了!

确认报案!“逼空姐下跪”的大老板,开始慌了!

财经要参
2026-10-08 20:30:05
中国计划提名宋莉竞选下一任世卫组织总干事,中方:相信如果宋莉博士当选,将有助于这一组织在提升全人类健康福祉方面发挥更为积极的作用

中国计划提名宋莉竞选下一任世卫组织总干事,中方:相信如果宋莉博士当选,将有助于这一组织在提升全人类健康福祉方面发挥更为积极的作用

政知新媒体
2026-10-08 15:39:26
“乡下父母全是这样被骗的”,中职女孩穿廉价警服,过来人说实话

“乡下父母全是这样被骗的”,中职女孩穿廉价警服,过来人说实话

番外行
2026-10-09 09:40:45
刘亦菲现身上海机场!穿瑜伽裤显腿粗屁股塌,三角区挤肉好尴尬

刘亦菲现身上海机场!穿瑜伽裤显腿粗屁股塌,三角区挤肉好尴尬

白面书誏
2026-10-09 17:22:21
尊界刹车踏板断裂,华为推荐官三问懂车帝,她曾一年帮卖近10亿

尊界刹车踏板断裂,华为推荐官三问懂车帝,她曾一年帮卖近10亿

映射生活的身影
2026-10-08 16:09:00
提气!一场2-0,郑钦文夯爆了:掀翻6号种子,对手曾6次阴阳中国

提气!一场2-0,郑钦文夯爆了:掀翻6号种子,对手曾6次阴阳中国

大秦壁虎白话体育
2026-10-09 17:39:02
重磅!罕见跨阵营致敬!葡媒盛赞梅西:五百年传奇,无人能超越

重磅!罕见跨阵营致敬!葡媒盛赞梅西:五百年传奇,无人能超越

生活新鲜市
2026-10-09 07:59:12
网友称大英博物馆一青花瓷碗在展柜内摔碎,在场留学生讲述:当日展厅非常拥挤

网友称大英博物馆一青花瓷碗在展柜内摔碎,在场留学生讲述:当日展厅非常拥挤

潇湘晨报
2026-10-08 18:54:10
马斯克和黄仁勋同台,获特朗普亲发的奖章,俩科技大佬的母亲也到场了

马斯克和黄仁勋同台,获特朗普亲发的奖章,俩科技大佬的母亲也到场了

译言
2026-10-09 10:50:48
年轻人的无效节俭能有多费钱?网友:有时候远离爹妈可以多活10年

年轻人的无效节俭能有多费钱?网友:有时候远离爹妈可以多活10年

带你感受人间冷暖
2026-10-08 00:05:18
快讯!蔡康永竟然跑到日本去了!

快讯!蔡康永竟然跑到日本去了!

故事终将光明磊落
2026-10-09 14:44:39
骑士113-124输凯尔特人!这一战看到4个事实:3年9700万留下哈登是对的

骑士113-124输凯尔特人!这一战看到4个事实:3年9700万留下哈登是对的

篮球大视野
2026-10-09 09:57:00
超越英伟达!芯片巨头单季利润800亿美元,全球第一!

超越英伟达!芯片巨头单季利润800亿美元,全球第一!

EETOP半导体社区
2026-10-09 09:55:35
高市早苗公开反对特朗普,称不会将AI改名为SI,此前特朗普称任何继续使用“AI”一词而非“SI”的都是敌人

高市早苗公开反对特朗普,称不会将AI改名为SI,此前特朗普称任何继续使用“AI”一词而非“SI”的都是敌人

极目新闻
2026-10-09 13:50:37
郑钦文太强了,三次破发压制乌克兰老将,斯维托丽娜被嘘

郑钦文太强了,三次破发压制乌克兰老将,斯维托丽娜被嘘

南海浪花
2026-10-09 16:14:57
2026-10-09 18:23:00

科技要闻

字节"干扰模型训练"实习生融资近2亿元

头条要闻

最淡泊的福建首富静静地走了 其家族现坐拥105亿财富

头条要闻

最淡泊的福建首富静静地走了 其家族现坐拥105亿财富

体育要闻

30天30队·鹈鹕:胖虎又一年“如果”

娱乐要闻

吴奇隆宣布重要决定,走上谢霆锋老路

财经要闻

央行为何发布关于人民币汇率的政策立场

汽车要闻

比亚迪第三代唐内饰发布 两种风格/巨幕屏最抢眼

态度原创

健康
教育
房产
旅游
军事航空

痘坑留下后,还能填平吗?

教育要闻

刚刚,北京市教委发布——

房产要闻

中旅投资:以首发经济作答,定义人工冲浪产业的中国方案

旅游要闻

七天客流超31.4万人次,第二届捕风生活节聚起横琴烟火气

军事要闻

直击南部战区海军某部重装空投训练

无障碍浏览 进入关怀版
×