网易首页 > 网易号 > 正文 申请入驻

专治GPU“空转病”!国产存储黑科技,让万元算力不等廉价数据

0
分享至



哈喽,大家好,今天小墨这篇评论,主要来分析国产存储如何破解GPU空转难题,让百万元算力不再等待廉价数据传输。

一台价值数百万元的GPU服务器,每天有四小时在"发呆"等数据。这不是危言耸听,而是国内某大型智算中心曾经真实发生的事。

GPU算力按秒计费,每分钟闲置都是真金白银的损失,但传统存储方案却让这种浪费成了行业常态。



问题出在哪里?当大语言模型的训练数据以TB级增长,传统存储的"老毛病"彻底暴露了。数据被错误降级到慢速存储层,工程师不得不手动切换路径,企业为了避免性能下降只能堆砌昂贵的全闪存设备。这些隐性成本累积起来,让AI训练的总拥有成本居高不下。

2024年至2025年间,北京星辰天合科技股份有限公司推出的XEOS AI数据湖方案,用一套全新的存储逻辑给出了答案。



这套方案通过基于访问时间而非创建时间的智能分层机制,让热数据永远待在高速通道,冷数据自动归档到低成本存储池,GPU不再空转等数据。



传统存储让GPU算力白白浪费



最要命的是GPU高并发训练阶段。深度学习项目需要使用数千个GPU进行并行训练,如果存储系统的I/O延迟过高,GPU就会长时间等待数据,训练速度和效率都会受到严重影响。

2024年8月,中国移动云能力中心主办的智算存储论坛上,XSKY产品总监朱荣泽指出,GPU的显存技术从DDR演进到HBM,内存访问模式从"延迟敏感"转变为"带宽优先"。

HBM需要不断地从远端存储或本地存储加载数据,内存和数据传输之间的互联带宽,已经成为AI计算发展的主要瓶颈。



传统分层存储方案的三大痛点更是雪上加霜。第一是盲目流动,按照数据创建时间分层,高频访问的训练集可能因为"到期"就被降级到慢速混闪池,导致训练性能骤降。

第二是割裂命名空间,数据在不同存储层间流动需要手动切换路径或挂载点,稍有失误就会导致训练失败。第三是高昂隐性成本,企业被迫将更多数据保留在全闪存层,或者反复搬运降级数据回热层,推高了总拥有成本。



智能分层让数据自己找对位置

XSKY推出的AI数据湖方案,核心创新在于基于访问时间(atime)的智能生命周期管理。系统能够实时感知数据访问行为,精准捕获GetObject、HeadObject等操作。



每一次数据访问都会自动刷新atime,数据的分层计划会根据实际访问情况动态调整。高频训练数据集因为访问频繁,atime会不断更新,从而长期驻留在全闪热层。全闪热层具有高速读写的特性,能够为模型训练和推理提供稳定的高性能支持。

那些长期无访问的冷数据,则会自动流向低成本混闪池。混闪池采用SSD+HDD的架构,在保证一定性能的同时,有效降低了存储成本。

更重要的是,这套方案实现了统一命名空间下的高效分层架构。上层应用无需关心数据具体存储在哪一层,在统一命名空间下,数据的访问路径保持不变。这避免了用户手动切换存储层时可能出现的失误,降低了使用门槛。



当首次访问冷层数据时,系统会异步将数据缓存至热层。后续对该数据的访问将直接从热层读取,大大提高了访问速度。

每一次对缓存数据的访问都会刷新其过期时间,确保热点数据能够长期驻留在高速层。系统还支持通过批量HeadObject操作提前预热数据集,用户可以在需要使用某些数据之前,主动将其加载到热层,实现首次访问即达极致性能。



真实案例验证降本增效

2024年10月至2025年6月,XSKY为某头部AGI厂商和大型智算中心部署了AI数据湖方案。第一批交付了4个集群,总计约9PB容量。



第二批新增2个集群,同时扩容原有的3个集群,共计约46PB。在头部AGI厂商场景中,系统稳定承载周期性近2Tbps的写入,以及峰值5Tbps的突发读取,数据处理的时延严格控制在8ms以内。

在大型智算中心场景,系统在4个月内支撑超20PB的数据增长,读取峰值达149.34GB/s。数据预处理效率相较于原开源方案提升300%,彻底解决了GPU算力闲置的问题。

某智算中心GPU等待时间从日均4小时缩短至1小时,年增加模型训练迭代次数超50次。



经济效益方面,通过智能分层加混闪架构,客户存储TCO平均降低30%至60%。某智算中心避免了全闪存过度配置,年节省存储采购成本超千万元。

头部AGI厂商通过冷数据自动归档,减少30%全闪容量占用。系统支持在线扩容,无需停机,满足AI数据爆发式增长需求。某客户4个月内完成20PB数据扩容,未影响任何训练任务,避免因扩容中断导致的研发延误。



根据IDC发布的中国软件定义存储市场季度跟踪报告,XSKY星辰天合在中国整体的SDS市场份额中排名第五,是前五名厂商中唯一的专业软件定义存储厂商。

公司产品已在3000多家客户的企业级生产环境经受验证,涵盖政府、金融、运营商、科技、医疗、制造等关键领域。

声明:个人原创,仅供参考

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
B站最无聊的UP主,抛了十万次硬币证明正反面概率不是1比1

B站最无聊的UP主,抛了十万次硬币证明正反面概率不是1比1

17173游戏网
2026-04-21 13:44:24
全面取消“宽带5G融合套餐”,或是运营商未来扭转局面的最佳出路!

全面取消“宽带5G融合套餐”,或是运营商未来扭转局面的最佳出路!

通信老柳
2026-04-24 08:21:36
不露面不知道,一露面吓一跳,这些明星怎么都老成这个样子了

不露面不知道,一露面吓一跳,这些明星怎么都老成这个样子了

孤城落日
2026-04-20 19:26:14
日本坦克炸膛,“中国制造”什么情况?其实不奇怪!

日本坦克炸膛,“中国制造”什么情况?其实不奇怪!

新民周刊
2026-04-26 09:05:58
阿隆索34场输6场下课,阿韦洛亚23场已经输了7场……

阿隆索34场输6场下课,阿韦洛亚23场已经输了7场……

懂个球
2026-04-26 21:04:42
从化疗到去世仅1年,肿瘤医生阳荣金:这3种癌症患者尽量别化疗!

从化疗到去世仅1年,肿瘤医生阳荣金:这3种癌症患者尽量别化疗!

坠入二次元的海洋
2026-04-26 20:42:18
揭秘澳洲人的真实存款,看看你的储蓄“达标”了吗

揭秘澳洲人的真实存款,看看你的储蓄“达标”了吗

澳洲红领巾
2026-04-27 12:18:04
中国足球在日本击败日本队!5连胜轰14球0失球 8次问鼎盲人亚洲杯

中国足球在日本击败日本队!5连胜轰14球0失球 8次问鼎盲人亚洲杯

风过乡
2026-04-26 21:54:47
斯诺克战报:4强对阵诞生!"中国王"完胜晖哥,下轮大战超级魔王

斯诺克战报:4强对阵诞生!"中国王"完胜晖哥,下轮大战超级魔王

八斗小先生
2026-04-27 11:01:56
铜梁龙血赚!申花弃将加盟后彻底爆发成中流砥柱,斯卢茨基后悔吗

铜梁龙血赚!申花弃将加盟后彻底爆发成中流砥柱,斯卢茨基后悔吗

零度眼看球
2026-04-27 07:30:14
一天内两次挑衅中国,中方果断出手,首次给欧盟“拉清单”

一天内两次挑衅中国,中方果断出手,首次给欧盟“拉清单”

三石记
2026-04-27 10:49:50
一周挥霍数亿!2亿人贫困背后,印度首富儿媳满钻婚纱照亮贫民窟

一周挥霍数亿!2亿人贫困背后,印度首富儿媳满钻婚纱照亮贫民窟

果壳
2026-04-26 12:05:03
马科斯总算低头,想求中国帮忙拉一把,中方回了四个字:不知感恩

马科斯总算低头,想求中国帮忙拉一把,中方回了四个字:不知感恩

兵说
2026-04-26 08:30:07
跟队:纽卡愿意及时止损,出售沃尔特马德和维萨中的至少一个

跟队:纽卡愿意及时止损,出售沃尔特马德和维萨中的至少一个

懂球帝
2026-04-27 00:36:24
轰炸中,伊朗国宝来到中国

轰炸中,伊朗国宝来到中国

中国新闻周刊
2026-04-27 07:30:21
3岁丧父靠姐姐奶水养大,成名后为8个哥姐买房成影帝

3岁丧父靠姐姐奶水养大,成名后为8个哥姐买房成影帝

君笙的拂兮
2026-04-26 12:33:08
养老院老太太被水饺噎死,工作人员收拾遗物惊呼:她竟如此尊贵

养老院老太太被水饺噎死,工作人员收拾遗物惊呼:她竟如此尊贵

深度报
2026-04-26 23:11:40
贝嫂亮相Gap联名发布会,柔粉穿搭尽显极简高级

贝嫂亮相Gap联名发布会,柔粉穿搭尽显极简高级

述家娱记
2026-04-27 12:36:26
赚翻!曼联隐形王牌身价暴涨,全面碾压皇马巨星,红魔捡到宝了

赚翻!曼联隐形王牌身价暴涨,全面碾压皇马巨星,红魔捡到宝了

澜归序
2026-04-27 05:33:48
格拉斯纳:如果伍德曼因伤换下,我会安排自摆乌龙归还进球

格拉斯纳:如果伍德曼因伤换下,我会安排自摆乌龙归还进球

懂球帝
2026-04-27 10:19:39
2026-04-27 13:15:00
卖樱桃的大丸子
卖樱桃的大丸子
卖樱桃的大丸子
715文章数 133关注度
往期回顾 全部

科技要闻

打1折!DeepSeek输入缓存降价

头条要闻

女子将车停车库没动却被认定要为事故担次责 交管回应

头条要闻

女子将车停车库没动却被认定要为事故担次责 交管回应

体育要闻

最抽象的天才,正在改变瓜迪奥拉

娱乐要闻

《奔跑吧14》刚播就把一手好牌打稀烂

财经要闻

DeepSeek融资、字节加码 AI开始真烧钱了

汽车要闻

在不确定中寻找确定性:大众汽车的中国解法

态度原创

艺术
数码
教育
公开课
军事航空

艺术要闻

你绝对想不到,摄影能让她成为女神!

数码要闻

轻薄本搭载2.5GbE RJ45,System76推出Pangolin Pro (2026)

教育要闻

“这个世界太不公平了”,36E女孩晒考研北大,数学满分全网羡慕

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

伊朗总统:不会在压力、威胁下进行谈判

无障碍浏览 进入关怀版