网易首页 > 网易号 > 正文 申请入驻

新华三Polaris X20000:智算时代存储系统的重构与领航

0
分享至

兴建于公元前295年,藏书量高达70万卷,并存有欧几里得《几何原本》、荷马史诗全集等典籍的亚历山大图书馆,被称为人类历史上最伟大的图书馆。

然而,这座人类知识的殿堂,却对文明的进程没有产生任何推动价值,就湮灭为历史的尘埃。因为,知识如果不能被检索、被流转、被利用就无法产生智慧。

就像是海量的数据存在于系统之中,但如果不能被及时读取和运用,算力就会“空转”,数据就发挥不出应有的价值。如今,大模型参数正突破万亿级别,训练数据从PB迈向EB级,传统存储架构,就如无法发挥价值的古代图书馆,无法满足AI应用对海量数据的渴求。

在智算崛起的时代,存储系统正逐渐成为AI走向规模化部署的“瓶颈”,一场关于存储系统的重构势在必行。

01

智算时代

存储系统面临复杂化挑战

中国信通院的报告显示:95%企业将基于私域数据构建专属模型,需要至少十年的历史数据。

这意味着,当企业AI需求从通用大模型全面迈向专属大模型的同时,存储系统不仅要承载当前的训练数据,更要能够面向AI时代的需求变迁,保持长期演进的能力。

首先,模型复杂度正大幅增长,参数规模从千亿向万亿级别跃进,相应的算力基础设施从千卡集群扩展到万卡规模,对存储系统的读写带宽提出了更高要求。

比如,TB级Checkpoint(模型检查点)的下刷与加载,会影响训练中断后的恢复速度,也是推理阶段加载模型的“高速入口”,这对读写带宽提出TB/s级的要求;再有海量小文件的随机读操作,如训练素材的快速加载、推理阶段的KVCache卸载等,都直接影响GPU的利用率,若响应延迟过高,千亿参数的算力洪流便会因数据供给不足而断流。

其次,数据类型变得空前复杂,训练数据涵盖文本、图像、视频、结构化数据等多种格式,且分散在不同的存储系统中,有约30%的企业在数据兼容性和统一访问方面遇到了明显障碍。

第三,业务连续性要求极致可靠,超过60%的企业用户反馈,训练任务常因底层存储系统不稳定而中断,而每次中断意味着大量的计算资源浪费。

不难发现,AI工作负载对存储系统的需求呈现出多重挑战,既需要极高的顺序读写带宽来处理检查点文件,又需要卓越的随机读写性能来应对海量训练素材的访问。双重压力使传统为单一场景设计的存储架构不堪重负。

因此,我们需要一种新型存储系统:它必须具备极致的扩展能力以容纳EB级数据,能够支持混合工作负载,并通过智能架构避免频繁的数据迁移。而新华三Polaris X20000智算存储的推出,正是为了迎接AI时代的挑战。

02

存储架构重构

打通数据供给生命线

当前 AI 算力竞赛已进入“万卡集群”的新阶段,存储架构的痛点已从单纯的容量需求,升级为对低延迟、高并行、智能调度的系统性诉求,谁能率先突破传统存储的性能与协议桎梏,谁就能掌握 AI 集群高效运转的核心话语权,并推动存储技术向全栈创新方向演进。

首先,在万卡级AI集群中,计算与存储的比例已经发生本质变化,传统存储的单节点性能瓶颈会导致整个系统无法充分发挥GPU集群的算力,这就是为什么单节点性能突破如此关键。

Polaris X20000通过全闪存配置实现单节点150GB/s的带宽突破,在最新的MLPerf Storage v2.0基准测试中,在保持GPU利用率90%以上的条件下,实现了单节点158.92GB/s和集群476.75GB/s的卓越表现。

其次,在传统NFS协议下,客户端只能连接到单一存储节点,跨节点数据访问需要二次转发,如同快递必须经过中转站,增加了延迟和网络开销。

而Polaris X20000通过EPC(Enhanced Parallel Client)高性能并行客户端,彻底改变了客户端与存储节点的交互模式,它允许单个客户端直接并行访问多个存储节点,实现IO级别的负载均衡和高效数据分布,将“单车道小路”升级为“多车道高速公路”。在真实的AI检查点场景中,这种架构使TB级文件能够并行写入多个节点,显著缩短了保存时间,避免了GPU因等待存储而空闲。

第三,如今的图像帧和文本片段等训练素材通常以千万级小文件形式存在,推理阶段的KVCache(键值缓存)更是由数十亿个小IO组成。传统方案中,小IO与大IO混杂处理会导致缓存浪费、网络拥塞。

智能IO分流技术则可以根据IO大小智能分配数据路径:小IO直接写入缓存层后立即返回,显著提升响应速度;大IO绕过缓存,通过RDMA直接从协议层拉取数据,既缩短了IO路径,又避免了缓存资源的浪费,真正意义上实现“以存提效”。

最后,传统数据传输需要经过多次内存拷贝和上下文切换,CPU大量时间耗费在数据搬运而非业务处理上。而新华三通过全RDMA互联和内存零拷贝技术,实现了内核绕行和零拷贝,数据直接从发送端内存传输到接收端内存,无需CPU参与,使系统带宽利用率大幅提升,同时显著降低了延迟。

可贵的是,Polaris X20000这一系列技术创新形成了完整的系统优化,并且在多个实际部署案例中,成功支撑了从千卡到万卡规模的AI训练集群,证明了其在真实生产环境中的成熟度。

03

三点突破

为智算存储进化带来启示

总结而言,AI时代的存储革命,核心要解决的就是三个根本要求:

第一是,极致性能以充分释放GPU算力潜力;第二是,架构融合以支持从数据预处理、模型训练到推理部署的全流程;第三是,智能运维以确保系统稳定并降低运营成本。

Polaris X20000之所以代表智算存储的最佳实践,正是因为它在这三个维度上都实现了突破性创新。

比如在性能上,Polaris X20000通过全闪存架构和软件优化,实现了单节点150GB/s的带宽突破,同时保持优异的随机读写性能,将GPU训练等待时间明显缩短,显著加速AI研发进程;在架构上,实现了“一套存储支撑全流程”的目标,迁移时间从数天缩短到零小时,不仅简化了数据流水线,还确保了数据一致性和完整性;在智能运维上,引入“AI in ALL”理念,通过机器学习算法实现故障预测、智能调优和自动化运维,显著降低运维复杂度和管理成本。

事实上,随着大模型持续进化迈向万亿参数,多模态学习成为主流,存储系统的价值将愈发凸显。Polaris X20000给我们的启示在于,只有当存储系统能够无缝支撑数据流动、智能处理和价值挖掘时,人工智能才能真正从技术实验转变为产业动力。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
特朗普还没来华,美军先来下马威?大批F22抵达,美媒直言丢人

特朗普还没来华,美军先来下马威?大批F22抵达,美媒直言丢人

别吵吵
2026-05-12 08:24:26
长深高速唐山境内路段发生交通事故,造成拥堵数十公里

长深高速唐山境内路段发生交通事故,造成拥堵数十公里

闪电新闻
2026-05-12 19:32:37
苹果正式宣布,这项重要功能终于开放!

苹果正式宣布,这项重要功能终于开放!

XCiOS俱乐部
2026-05-12 10:13:11
61.1万!河南新生人口十年腰斩,争抢学位的时代彻底结束了?

61.1万!河南新生人口十年腰斩,争抢学位的时代彻底结束了?

高广银
2026-05-12 05:54:00
卖掉格力换来的416亿,被他们“败”光了!

卖掉格力换来的416亿,被他们“败”光了!

犀利强哥
2026-05-11 08:30:22
2.76亿元!青岛这家五星级酒店易主

2.76亿元!青岛这家五星级酒店易主

凤凰网青岛
2026-05-12 09:40:27
和售后斗智斗勇后,我发现80%燃气灶故障,都可以通过两根针解决

和售后斗智斗勇后,我发现80%燃气灶故障,都可以通过两根针解决

装修秀
2026-05-05 12:00:08
回顾:14年北京摔童案:韩磊被执行死刑,行刑前哭着抽完2根烟

回顾:14年北京摔童案:韩磊被执行死刑,行刑前哭着抽完2根烟

墨染尘香
2024-06-08 12:20:45
21岁投奔蒋介石,43岁战胜林彪,朱德见了他还敬礼:报告,我来了

21岁投奔蒋介石,43岁战胜林彪,朱德见了他还敬礼:报告,我来了

简史档案馆
2026-02-23 11:05:03
凯特王妃访问意大利,荣获国旗级荣誉,梅根黯然失色!

凯特王妃访问意大利,荣获国旗级荣誉,梅根黯然失色!

全球奇趣娱乐八卦
2026-05-12 13:08:29
知名男演员卷入杀人案,被判有期徒刑

知名男演员卷入杀人案,被判有期徒刑

南方都市报
2026-05-12 14:03:44
美伊战争最大受害者出现:经济崩盘,股市蒸发千亿,外资疯狂撤离

美伊战争最大受害者出现:经济崩盘,股市蒸发千亿,外资疯狂撤离

新车知多少
2026-05-12 02:50:55
医生:糖尿病最危险信号,不是口干,而是频繁出现这5种异常

医生:糖尿病最危险信号,不是口干,而是频繁出现这5种异常

鬼菜生活
2026-05-13 01:11:46
一文综合!普京出席胜利日红场阅兵式并发表讲话,都说了什么?

一文综合!普京出席胜利日红场阅兵式并发表讲话,都说了什么?

环球网资讯
2026-05-09 18:24:27
我是你的菜吗:不,你是你自己

我是你的菜吗:不,你是你自己

疾跑的小蜗牛
2026-05-12 22:51:31
41岁C罗依旧坚守!马丁内斯看透本质:他踢球从来不为钱和冠军

41岁C罗依旧坚守!马丁内斯看透本质:他踢球从来不为钱和冠军

老觷系戏精北鼻
2026-05-13 01:34:22
无锡四大顶流医院哪家最“繁忙”,无锡就医避坑指南请收好

无锡四大顶流医院哪家最“繁忙”,无锡就医避坑指南请收好

今日养生之道
2026-05-12 18:15:01
裤子上这两根绳,一定还有它存在的道理!

裤子上这两根绳,一定还有它存在的道理!

新住家居
2026-05-12 06:06:10
发现一个轻松掉秤的方法:晚餐换成它,一周掉秤3-4斤

发现一个轻松掉秤的方法:晚餐换成它,一周掉秤3-4斤

增肌减脂
2026-03-16 17:35:06
油价再这么涨下去,恐怕全世界都要买电车了

油价再这么涨下去,恐怕全世界都要买电车了

流苏晚晴
2026-05-10 20:25:18
2026-05-13 03:39:00
科技正能量 incentive-icons
科技正能量
科技改变世界,正能量科技媒体
2820文章数 19233关注度
往期回顾 全部

科技要闻

宇树发布载人变形机甲,定价390万元起

头条要闻

特朗普称将同中方讨论对台军售和黎智英案 外交部回应

头条要闻

特朗普称将同中方讨论对台军售和黎智英案 外交部回应

体育要闻

骑士终于玩明白了?

娱乐要闻

白鹿风波升级!掉粉20万评论区沦陷

财经要闻

利润再腰斩 京东干外卖后就没过过好日子

汽车要闻

吉利银河“TT”申报图曝光 电动尾翼+激光雷达

态度原创

旅游
教育
手机
游戏
家居

旅游要闻

故宫挤满游客,人人撑伞前行:宁愿热到出汗,也要奔赴紫禁城!

教育要闻

求求你试试「5+1+1」学习法!!!

手机要闻

Android推新功能“暂停点” 助用户摆脱刷手机上瘾

活久见!电棍与香锅怒喷被撸圈开除后和解,祝Mlxg母亲节日快乐

家居要闻

极简主义下的居住场域与空间

无障碍浏览 进入关怀版