网易首页 > 网易号 > 正文 申请入驻

阿里云发布新一代自研存储:为百万卡加速 AI存储成本大降69%

0
分享至

快科技9月22日消息,2026云栖大会上,阿里云正式推出面向下一代AI训练集群的新一代高性能存储CPFS(Cloud Parallel File Storage)。

该存储可提供高达百TB/s级吞吐和亿级IOPS,单文件系统规模提升5倍至100PiB,为百万卡模型训练加速,支撑大规模模型训练和多模态数据处理。

在实际训练中,可将模型启动平均耗时降低50%、峰值算力利用率提升30%、AI存储成本降低69%,业务承载能力翻倍。


随着大模型训练进入规模化阶段,数据集由文本扩展至图片、视频和语音,规模可增长50倍甚至百倍;模型参数规模增长约10倍,Checkpoint保存也更加频繁。海量小文件并发读取和 Checkpoint 突发写入由此成为新瓶颈,存储如果无法跟上,昂贵的GPU集群就会因数据供给不足而空转。

针对这一问题,新一代CPFS采用数据服务与元数据服务分离架构,实现容量和性能的水平扩展。GPU、CPU节点通过EFC弹性客户端和虚拟存储通道,接入分布式元数据和数据服务;结合飞天盘古的分布式持久化存储底座和高性能存储网络,形成从客户端、协议处理到数据落盘的全链路自研链路。

据悉,新一代CPFS文件系统容量规模提升5倍、元数据性能提升10倍、文件数量规模提升100倍,单文件系统可扩展至百PiB并承载万亿级文件。企业无需为不同训练阶段反复拆分或迁移数据,即可在统一文件系统中管理训练语料、模型参数、Checkpoint和实验结果,并随GPU集群同步扩展容量与吞吐。

针对冷热数据长期并存带来的成本压力,CPFS还提供智能生命周期管理和冷热分层存储,使不同访问频率的数据自动匹配合适的存储介质,在保障训练性能的同时,整体存储成本最高降低69%。

以Qwen大模型训练为例,采用新一代CPFS后,模型启动平均耗时降低50%,峰值算力利用率提升30%,业务承载能力翻倍。


面向大模型推理,阿里云同时推出KVCache加速引擎——KVCacheStore。它位于GPU显存、主机内存与远端共享存储之间,是基于近计算部署、高性能网络和弹性共享存储构建的新型G3.5存储层,以"存储换计算"承接长上下文、多轮对话和复杂Agent任务产生的大量缓存。

KVCacheStore支持与算力亲和部署,单计算节点吞吐达到40GB/s,通过Batch接口实现百万QPS,单实例可满足千亿级KV存储规模,实测缓存命中率提升20%以上。

"每一次模型的跃迁,都是云存储自我革新的最佳契机。"阿里云存储产品负责人蒋江伟表示,阿里云将持续推进算、网、存协同创新,让数据更快进入计算、GPU得到更充分利用,为大模型训练和AI应用提供高性能、可扩展且成本可持续优化的存储底座。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
血亏1亿!绝世粉钻意外流拍,河南钻石惨遭禁止,西方在怕什么?

血亏1亿!绝世粉钻意外流拍,河南钻石惨遭禁止,西方在怕什么?

闺蜜财经
2026-10-01 08:58:37
杨毅:杨鸣出来没想到这么受欢迎 他肯定还有执教意愿等最合适机会

杨毅:杨鸣出来没想到这么受欢迎 他肯定还有执教意愿等最合适机会

狼叔评论
2026-10-01 18:49:04
火车卧铺遇到过什么事情?网友:那段时间的声音,给我极大的冲击

火车卧铺遇到过什么事情?网友:那段时间的声音,给我极大的冲击

另子维爱读史
2026-10-01 20:31:11
葡媒:C罗已做出不可逆的决定,不会再代表葡萄牙国家队出战

葡媒:C罗已做出不可逆的决定,不会再代表葡萄牙国家队出战

懂球帝
2026-10-01 04:50:06
1948年,陈毅曾在一份内部报告中坦言:单论个人军事素质,华野基层的许多连长不如国军普通士兵

1948年,陈毅曾在一份内部报告中坦言:单论个人军事素质,华野基层的许多连长不如国军普通士兵

饭小妹说历史
2026-09-30 09:31:41
今晚对决日本,中国男排迎半决赛,压力山大,伤病残阵VS二队!

今晚对决日本,中国男排迎半决赛,压力山大,伤病残阵VS二队!

体坛侃侃球
2026-10-02 00:10:13
美国,请等一等你的人民

美国,请等一等你的人民

星球商业评论
2026-09-30 00:05:00
金鹰奖合照:秦海璐一脸不屑,蒋欣靠边站被翻白眼,宋佳又被曝瓜

金鹰奖合照:秦海璐一脸不屑,蒋欣靠边站被翻白眼,宋佳又被曝瓜

娱圈办事处
2026-10-01 15:33:23
不用怀疑,小米今年55万辆的目标,不可能完成了!

不用怀疑,小米今年55万辆的目标,不可能完成了!

互联网.乱侃秀
2026-10-01 12:40:30
汪峰把公司1100人砍到400人,700人被裁。他说:“引入AI两个月,剩下400人干得比原来还好”,财务笑开了花。

汪峰把公司1100人砍到400人,700人被裁。他说:“引入AI两个月,剩下400人干得比原来还好”,财务笑开了花。

LULU生活家
2026-08-15 14:17:30
顾客吐槽猫窝尺寸有问题,老板看完买家秀沉默了...网友:我真的很少站卖家这边!

顾客吐槽猫窝尺寸有问题,老板看完买家秀沉默了...网友:我真的很少站卖家这边!

铲屎官阿伟
2026-09-29 14:04:36
宝可梦新卡带10月29日发售:DLC打包,等级上限被打破

宝可梦新卡带10月29日发售:DLC打包,等级上限被打破

全栈遛狗员
2026-10-01 23:00:26
金价下跌,重回“8”字头!

金价下跌,重回“8”字头!

连云港手机台
2026-10-01 20:10:12
中超申花对阵玉昆!米维耶维奇和教练组极有可能做出以下4大调整

中超申花对阵玉昆!米维耶维奇和教练组极有可能做出以下4大调整

刘哥谈体育
2026-10-01 19:28:24
金日成综合大学校庆

金日成综合大学校庆

周边问题研究所
2026-10-01 18:10:51
年销920亿美元!欧美人爱到疯狂,为何偏偏撬不开中国人的嘴

年销920亿美元!欧美人爱到疯狂,为何偏偏撬不开中国人的嘴

乌克兰小静
2026-09-30 08:16:43
菲防长密信曝光:他向美国CIA承诺,若当上总统,将继续反华

菲防长密信曝光:他向美国CIA承诺,若当上总统,将继续反华

王姐懒人家常菜
2026-10-01 08:08:04
【2026.10.1】井柏然和孙千态度?《无可替代》血扑?邓为爆火那几年一直不进组?李乃文我家孩子什么的?《凝灯》是黄杨钿甜?

【2026.10.1】井柏然和孙千态度?《无可替代》血扑?邓为爆火那几年一直不进组?李乃文我家孩子什么的?《凝灯》是黄杨钿甜?

娱乐真爆姐
2026-10-01 23:39:41
炸裂!日本妻子拍AV挽救婚姻,瞒夫出道老公崩溃,如今丈夫成粉丝

炸裂!日本妻子拍AV挽救婚姻,瞒夫出道老公崩溃,如今丈夫成粉丝

悠悠说世界
2026-08-17 13:48:27
弗里克离谱用人!巴萨世界级王牌彻底被弃!切尔西坐等冬窗捡漏

弗里克离谱用人!巴萨世界级王牌彻底被弃!切尔西坐等冬窗捡漏

澜归序
2026-10-01 08:36:21
2026-10-02 02:47:00
快科技 incentive-icons
快科技
一起关注每日科技热点
127728文章数 261093关注度
往期回顾 全部

科技要闻

5999元起!华为Mate 90系列发布

头条要闻

桂林市文促会深夜发布致歉信:向阿丘诚恳致歉

头条要闻

桂林市文促会深夜发布致歉信:向阿丘诚恳致歉

体育要闻

“今天的表现,我们可以昂首离开球场”

娱乐要闻

奚梦瑶晒四太豪礼!22只龙凤镯近300万

财经要闻

智谱发上亿Token 能挽回开发者信任吗?

汽车要闻

2027款极氪001将于明年一季度上市 现款猎装同步推新配色

态度原创

家居
旅游
本地
艺术
公开课

家居要闻

2026建博会(广州) 公装联探展交流活动

旅游要闻

藏在黔北的小城湄潭,名字藏着古人的浪漫,读懂才知山水诗意!

本地新闻

中秋逛白塔寺,体验国医妙荟雅集

艺术要闻

他历尽苦难,却画出最令人心碎的女人!艾斯特凡笔下的女性,美到不敢直视!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版