网易首页 > 网易号 > 正文 申请入驻

AI时代,存强则强

0
分享至

2024年,全球各个国家、地区,乃至千行万业都迎来了对AI技术空前高涨的热情与关注。在中国,两会政府工作报告中首次提出了“人工智能+行动”;在欧盟,欧洲会议通过了具有里程碑意义的《人工智能法案》;在中东地区,迪拜通过了最新的人工智能战略,希望打造全球AI中心,沙特建立了数据和人工智能管理局(SDAIA),负责领导国家的AI战略。

今天,AI时代已经真正来临。与此同时,全球各方,产学各界也意识到一个问题:AI绝不仅仅是模型和算法的问题,而是对整个数字化基础设施的全新考验,是一场算力、存力、运力的综合比拼。

其中,存储是一个无法被AI时代忽视的支点。AI大模型对存储提出了哪些需求?什么样的存储,才能够称为AI存储?存储产业如何在新时代找到新路径?



(华为数据存储产品线总裁周跃峰)

带着这些问题,我们来到了华为中国合作伙伴大会2024。与华为数据存储产品线副总裁樊杰进行深度交流,了解华为存储走进AI时代的思考与行动。

在本届大会中,华为提出了“以存强算、以存强训、以存强安”的理念,希望为业界打造领先数据基础设施,推进全场景闪存化。在这个节点,回顾华为存储一路走来的战略布局,会发现它的每一步都与AI时代的脉搏紧密相连,提前预判产业走势,最终以极高的效率对大模型训推、数据觉醒等需求给出了精准回应。

当存储产业,面向AI时代的漫漫旷野时,华为存储已经率先实现了AI ready。

我们可以将其定义为一次拓路,帮助存储产业拓开AI之路,帮助全球用户拓开存力之路。

不妨一起来回顾一下,华为存储的AI拓路是如何完成的。通过这个过程,我们能够共同推导出一个结论:AI时代,存强则强。

AI时代,存强则强

在以深度学习为基底的本次AI复兴中,智能与数据间的联接价值达到了史无前例的高度。主流AI技术的工作机理,无不建立在算法对数据进行充分学习的基础上。因此,数据的规模庞大、质量高、流动效率强,对AI技术的发展起到了决定性的意义,而数据的保管、流动、安全水平,都建立在存储能力的基础上。

从这个逻辑出发,我们可以发现目前AI技术涉及的各个阶段,都出现了存弱则AI弱,存强则AI强的现象。

首先是在AI模型最基本的训练阶段。

可以看到,随着AI大模型的兴起,大规模集群化训练已经成为主流。而在AI训练集群场景下,任何一个瓶颈点都会影响到整个集群的效率,其中存储的表现尤为关键。比如说,GPU大量时间都在加载数据,如果期间出现加载失败,就需要中断后进行断点重新录入,耗费大量时间。传统的存储解决方案没有适配AI训练的存力加持,会因为存储表现不佳全面拖慢整个AI训练集群的表现。

因此,越来越多的专家与企业认为,AI训练需要专用的存储。比如说,英伟达官方提供的AI训推IT参考架构,就专门强调了大模型训练需要使用外置的专业高性能共享存储,以此来提升训练过程的效率与可靠性。这是因为在万卡集群这样的大规模训练场景下,传统的存储模式会导致单个盘的故障,拖累整体数据传输效率,并且定位故障需要耗费较长的时间,导致训练工作频繁暂停。而让AI算力直通存储的新模式,则可以大幅提升AI训练集群的数据读取效率,进而缩短模型训练时间。要知道,在今天的情况下,AI大模型的训练效率就是千行万业的产业效率。除此之外,适配AI训练的存储,最好还可以实现更高效的数据管理,更简便的数据清洗,以此来全方位强化AI训练工作。



其次,是在企业数据的保存与流通阶段。

伴随着AI技术的崛起,企业的数据价值愈发宝贵,而企业所需要存储的数据量在指数级增长。且原本只需要存放的冷数据,也因为AI技术的加入而变成了温数据,甚至热数据,需要随时参与数据流动。与此同时,在数据资产化的浪潮下,企业也希望数据具有更强的流通能力,从而真正发挥资产价值。在一系列AI技术带来的衍生场景中,企业都需要更强的存储能力来筑牢数据资产,实现数据资产的可流通属性。

再次,是中小企业数字化进程中的数据成本问题。

在AI技术的发展进程中,我们希望智能化的价值是普惠多元的。但客观来看,中小企业想要获得同等的AI竞争力,需要付出更大的数字化基础设施建设成本。如何实现中小企业的存储升级普惠,尤其是完成全闪存的更迭,也是存储行业面临的挑战。



最后,是数据安全风险加剧的问题。

在数据资产价值不断升级,且AI大模型需要高频次调动数据的新阶段,企业面临着以勒索病毒为代表的更深刻、更具体的数据安全问题。数据保护需要从被动保护向主动安全跃迁。

从以上种种不难看出,在智能化体系中,数据存在居于底座地位,并且牵一发动全身。适配AI时代的存储,不仅是单一存储技术的升级,更是对经济智能化所产生综合存储升级的回应。

存强则AI强,存强则数据强,已经成为AI时代真实而深刻的风向。

智能大势,筑基为先

在这样的智能化大势下,存储产业应该如何回应?如何抓住重点,破局谋篇?

华为存储的选择,是首先为AI大模型建立起存力底座,让AI技术所涉及的各类非结构化数据都能统一入湖。有了基础底座,向上的一切架构延展、功能添加才不会变成空中楼阁。

面对智能化的大势所趋,华为存储选择先筑牢基础。在不久之前的MWC 2024期间,华为存储发布了AI数据湖、全场景数据保护和DCS全栈数据中心三大解决方案。AI数据湖,就是构建华为存储为AI时代构建的存力底座。

具体而言,华为AI数据湖解决方案,具备数据管理DME、一站式知识生成工具链eDataMate、数据编织Data Fabric,以及OceanStor A800/A310等全新AI存储底座。其中新一代高性能NAS存储OceanStor A800,可以通过数控分离架构、OceanFS高性能并行文件系统、双向灵活扩展等能力,支撑大规模AI训练集群的实时调度,成为AI大模型的存力底座。



AI数据湖对AI时代能够起到哪些层面的加持与支撑?我们可以分三个层面来分析。

首先,AI训练必须使用大量非结构化数据,尤其是图形类数据。AI数据湖具有强大的数据收集能力,可以确保所有数据种类都能入湖,从而使能AI训练场景下,数据的全局可视、可管、可用,让训练数据归集、预处理和训练的效率倍增,进而全面提升大模型训练效率,缩短训练时间。

其次,AI数据湖具有数据清洗能力,从而可以通过先清洗再进行训练,缩短AI训练的等待时间。数据清洗能力的加入,让存储能力与AI训练场景的适配度进一步提升。

此外,OceanStor A800/A310等全新AI存储产品,具备TB级的带宽,能够实现极强的数据加载能力,可以全面提升数据的加载速度,从而兼容到分钟级别的数据加载。通过数据加载能力的升级,AI训练可以更加高效准确,让宝贵的AI算力得到更高的使用效率。



整体而言,面向突然爆火的AI大模型,华为存储基于长时间对AI存储的理解与布局,用最快速度给出了回应。AI数据湖就是这种回应的集中表现,其通过软硬件结合搭建起了完整的AI存储体系。这一体系架构具备强大的AI训推效率,以及优秀的可扩展性,能够满足未来几年的持续演进,与AI大模型技术发展并轨发展。

筑牢基础,是破局一个新趋势、新需求的关键。AI数据湖,就是华为存储为AI时代筑下的基础。

它会成为一把钥匙,一个枢纽,容纳华为存储的多元发展思路,进而打开企业存储升级的多种可能性。

三流合一,存以致用

面向AI时代,存储产业的需求是非常多元复杂的。其中容纳了AI大模型的训练推理需求,也有中小企业的普惠发展需求,以及贯穿全行业的存储安全需求等。因此,华为存储也执行了面向多元需求的发展策略。

我们可以将这种策略归纳为存力升级的“三流合一”

第一条支流,AI ready。

我们前文所重点讨论的AI存储能力,已经成为华为存储的核心差异化竞争力。可以说,通过具有前瞻性的布局与产品打造,华为存储在行业内率先实现了AI ready。未来,面向AI场景的存储能力将愈发重要。AI相关布局也会持续融合为华为存储的差异化竞争力。



第二条支流,全场景数据安全。

在AI技术爆发式发展,数据价值不断提升的今天,也要看到安全隐忧也被同步放大。从近两年的情况看,勒索病毒持续泛滥,并且已经真实危害到了金融、电力等涉及国计民生的核心产业。面向存储的高安全需求,华为首创了存储与网络协同的多层联动勒索攻击防护(MRP)解决方案。通过2道防线,6层防护来构建全场景的数据安全能力。这一能力已经美国权威机构Tolly认证,可以100%实现防勒索病毒有效。随着安全能力在数字化体系中的价值占比不断提升,存储原生安全将成为新的行业战略高点。

第三条支流,全场景闪存普惠。

伴随着各行业对数据存储综合能力需求的提升,越来越多中小企业希望进行全闪存升级。面对这一需求,华为在业界率先提出了闪存普惠理念,并且在目前阶段,发布了含OceanStor Dorado 2100、OceanProtect X3000等全闪存系列产品,可以为企业带来性能十倍,更好能耗比,且综合成本没有显著变化的全闪存产品,助力中小企业的数字化升级。



为应对AI时代带来的一系列变化,满足AI训推、闪存普惠、全场景安全等核心需求,华为打造了综合性的全场景数据存储产品与解决方案。其中富含的战略目标,用华为自己的总结可以归纳为——以存强算,以存强训,以存强安

在华为存储“三流合一”的发展节奏背后,核心是应对时代变化、需求变化的“存以致用”。只有给出准确的技术升级与产品打造,才能让不同需求、不同行业、不同发展阶段的企业,都能够用存储强健自身的智能化选择。

企业有了更有用,更好用的存储能力,AI时代才能够从旷野变成航道。

拓路旷野,设立航标

AI ready、全闪存普惠,以及全场景安全等能力的构建,不仅强化了华为存储自身的市场价值,更对整个存储产业起到了积极的影响。

在今天的存储产业眼中,AI时代还是一片朦胧的旷野。业界对于AI需要适配的存储产品具有宏观上的共识,但缺乏具体的可执行方案。

从眺望旷野到抵达目标,行业需要一条路。需要先进的产品作为发展导向,需要强大的技术能力作为发展标准,需要丰富的客户实践作为发展依据。这种情况下,华为存储做的事情其实就是拓路,通过在全新的AI旷野踏出一条路,华为为全球存储产业设立了航标。

面向AI时代的航标,具有两重价值。首先从横向的客户价值层面看,华为存储的AI ready让全球客户有了面向AI时代的数据底座选择,同时也有了全力智能化发展的底气与信心。



一家新加坡的TOP级银行,基于华为存储提供的相关能力构建了金融智能化能力。东南亚的TOP级电商,在华为存储的帮助下搭建了千卡级别的AI数据湖底座。在中国市场,科大讯飞与华为存储合作,用AI数据湖搭配400G网络,大幅提升了星火大模型的训练效率。

丰富的客户实践表明,华为存储在AI时代展现出了更强的竞争力,不仅其性能好、可靠性高的产品优势得到进一步释放,更以对AI场景的理解获得了新的机会。

在全球市场上,华为存储已经是当之无愧的第一梯队。根据3月4日Gartner发布的《2024年Gartner Peer Insights主存储客户之声》报告,华为存储在全球厂商中脱颖而出,独家获得了全球“客户之选”。



本次评选共有业界主流的21家厂商参与,华为OceanStor存储收到来自亚太、欧洲、中东等区域的数百个客户评价,覆盖运营商、金融、教育、医疗、能源、制造等行业。客户一致认为华为存储最符合自身期待,提供了全球最佳的使用体验。这一幕对于中国存储产业来说可谓是前所未有。

而从行业纵向发展的角度看,华为存储率先打造了符合AI时代需求的技术架构与产品体系,让行业有了向前发展的航标。

比如说,可以看到华为在业界率先提出了AI数据湖概念,已经起到了引领市场的作用。全球各大厂商都在加强对AI存储的研发投入,从而带来整个AI时代的进一步增长,实现存算之间更加平衡的适配。

总结来看,通过洞察AI时代的存力需求,打造AI存储基础设施,推进“三流合一”的发展策略,华为存储一步步实现了面向AI旷野的拓路。

在其努力下,存力不再是滞后与缓慢发展的一环,AI时代的基础设施巨变有了齐头发展的可行性。

AI时代,存强则强。换言之,我们可以以存力强AI,以存力强时代。

声明:个人原创,仅供参考

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
成功到达月球!为啥嫦娥六号登月要53天,美国阿波罗飞船仅要8天

成功到达月球!为啥嫦娥六号登月要53天,美国阿波罗飞船仅要8天

搞笑的阿票
2024-05-12 08:26:09
时隔5年,华为手机销量暴增70%,市场份额17%,重新拿下第一

时隔5年,华为手机销量暴增70%,市场份额17%,重新拿下第一

万大叔来了
2024-05-04 10:35:18
王朔:那些王八蛋要我们不要这样不要那样,可他们既这样又那样!

王朔:那些王八蛋要我们不要这样不要那样,可他们既这样又那样!

世态言凉
2024-05-07 17:44:56
当红好莱坞男星跟亚裔老公结婚十年了!

当红好莱坞男星跟亚裔老公结婚十年了!

下水道男孩
2024-05-11 23:56:54
吧友最热评论:“曼联投降式首发”那这替补...

吧友最热评论:“曼联投降式首发”那这替补...

直播吧
2024-05-12 22:50:19
广东兵败离队第一人诞生,赛后与辽篮队员热情拥抱,不满杜锋许久

广东兵败离队第一人诞生,赛后与辽篮队员热情拥抱,不满杜锋许久

小豆豆赛事
2024-05-12 18:48:58
县公安局局长儿子调戏新上任女县长,一个月后,全县领导被双开

县公安局局长儿子调戏新上任女县长,一个月后,全县领导被双开

神奇的锤子
2024-04-29 01:56:35
上海市文旅局执法总队接受澎湃新闻专访:未发现五月天上海演唱会存在“代替现场演唱、演奏”

上海市文旅局执法总队接受澎湃新闻专访:未发现五月天上海演唱会存在“代替现场演唱、演奏”

澎湃新闻
2024-05-11 23:28:26
从退耕还林到退林还耕,从严禁超生到鼓励三胎,到底是谁错了?

从退耕还林到退林还耕,从严禁超生到鼓励三胎,到底是谁错了?

蜉蝣说
2024-05-07 22:22:48
内塔尼亚胡否认中国在二战时救过犹太人,一切都是上帝的安排!

内塔尼亚胡否认中国在二战时救过犹太人,一切都是上帝的安排!

芯怡飞
2024-05-08 08:33:31
NASA为什么着急?美国12人登月没有中国一辆月球车的科学价值大

NASA为什么着急?美国12人登月没有中国一辆月球车的科学价值大

三农老历
2024-05-12 23:07:38
港媒文章:强势美元给亚洲多国带来痛苦

港媒文章:强势美元给亚洲多国带来痛苦

参考消息
2024-05-12 16:38:06
广州的雨还要下,未来十天将迎三轮降水过程!伴有雷电冰雹等

广州的雨还要下,未来十天将迎三轮降水过程!伴有雷电冰雹等

南方都市报
2024-05-12 11:29:14
7000万欧元的替代者已经就位,奥纳纳的曼联生涯要结束了!

7000万欧元的替代者已经就位,奥纳纳的曼联生涯要结束了!

夜白侃球
2024-05-12 20:55:54
《歌手2024》救场歌手曝光!看完名单我断言:内娱好像真要完了

《歌手2024》救场歌手曝光!看完名单我断言:内娱好像真要完了

毒舌说历史1
2024-05-11 11:06:34
杀人诛心!辽宁台记者问杜锋:辽宁新疆谁夺冠?杜导尬笑:我预测不了

杀人诛心!辽宁台记者问杜锋:辽宁新疆谁夺冠?杜导尬笑:我预测不了

818体育
2024-05-12 17:00:17
董宇辉香港之行被吐槽:这老六,霍启刚说普通话,他居然说英语

董宇辉香港之行被吐槽:这老六,霍启刚说普通话,他居然说英语

剑齿猫de动物志
2024-05-12 12:04:01
很多人宁愿房子空着,也不愿意出租?房产经纪:这种做法很精明

很多人宁愿房子空着,也不愿意出租?房产经纪:这种做法很精明

科学发掘
2024-05-10 16:33:05
法媒的眼光果然犀利!他们敏锐察觉到,中国已在关键领域开始崛起

法媒的眼光果然犀利!他们敏锐察觉到,中国已在关键领域开始崛起

搞笑的阿票
2024-05-12 13:58:39
迈阿密3-2逆转!5连胜+27分领跑东部,梅西0球0助,苏亚雷斯破门

迈阿密3-2逆转!5连胜+27分领跑东部,梅西0球0助,苏亚雷斯破门

侃球熊弟
2024-05-12 09:36:49
2024-05-13 06:02:44
脑极体
脑极体
从智能密钥到已知尽头
3006文章数 164640关注度
往期回顾 全部

科技要闻

苹果高管体验ChatGPT后恐惧,砍掉汽车项目

头条要闻

普京提名原副总理别洛乌索夫担任俄国防部长

头条要闻

普京提名原副总理别洛乌索夫担任俄国防部长

体育要闻

不再“啃老”的辽宁队,绝处逢生

娱乐要闻

《歌手2024》首播排名出了,那英第三

财经要闻

周鸿祎的放贷生意:为金融机构兜底催债

汽车要闻

配备纯视觉高阶智驾 极越07信息发布/即将量产

态度原创

亲子
时尚
教育
健康
家居

亲子要闻

幼儿园专访,来看孩子眼中的“天使”妈妈

为什么我劝白发奶奶:少剪短发、多留长发?看3组对比图就明白了

教育要闻

穿过这场暴风雨吧|典型J人400+上岸北京师范大学新传经验帖

春天野菜不知不识莫乱吃

家居要闻

极致肌理 线条质感打造轻奢空间

无障碍浏览 进入关怀版