网易首页 > 网易科技 > 网易科技 > 正文

第四范式推出业界首个基于持久内存、支持毫秒级恢复的万亿维线上预估系统

0
分享至

(原标题:第四范式推出业界首个基于持久内存、支持毫秒级恢复的万亿维线上预估系统)

线上预估服务是AI在企业应用落地的关键环节,企业通常会采用分布式计算架构在内存中完成实时数据处理和高达万亿维的模型特征存储,并通过多集群副本解决传统纯内存(DRAM)天生的易“失”性隐患,以达到线上实时服务质量(Quality of Service)效果。然而,随着企业AI应用模型大小和数量的增长,线上预估服务所需要的硬件资源也呈几何倍数增加。

为进一步满足企业线上预估需求,第四范式定制开发了基于持久内存技术、支持实时恢复的万亿维线上预估系统,为企业提供高可用性、毫秒级恢复的在线预估服务,同时将企业总拥有成本降低80%。该系统基于第四范式AI算力平台SageOne的持久内存进行了软硬一体设计,与其他预估系统相比,可实现每秒亿级KV查询的高性能,并能够与第四范式自研的高维机器学习框架以及TensorFlow等AI开源框架无缝对接。保证了在线预估服务无论在发生物理故障或者程序崩溃的情况下,均具备毫秒级故障实时恢复特性,是企业低成本实现高可用AI线上预估服务的最佳选择。

第四范式自研的基于持久内存的万亿维级参数服务器 – HyperPS是该线上预估系统的关键基础组件。HyperPS参数服务器具备高性能底层序列化框架、链路共享、多级访存优化、双端参数合并及动态扩缩容等特性。基于持久内存设计和优化后,HyperPS在保持与基于纯内存参数服务器几乎一致性能的同时,展现出在线上预估应用中数据实时恢复和应用成本低的巨大优势。

持久内存加持 参数服务器性能升级

参数服务器通常将所有数据放在纯内存中处理,AI模型越大,分布式参数服务器的内存需求越大。此外,纯内存虽然性能优秀,但因其易失性(volatile)特性,一旦硬件或者软件发生故障,内存丢失的全部数据必须从持久性存储设备(HDD/SSD)中读取日志恢复,恢复速度慢,严重影响线上性能服务质量。

持久内存的大容量、高性能、非易失性属性,为其带来了高安全性、低成本等优势,改善了目前纯内存容量小、成本高、灾备恢复慢等问题。针对持久内存这些应用优点,第四范式针对HyperPS参数服务器的底层系统架构和存取性能等进行了软硬一体设计。首先,针对节点内的shard重新设计了新的存储引擎,采用持久化哈希表为底层数据结构储存特征,保证高并行度性能的同时,对持久内存数据组织格式进行优化,达到接近于纯内存哈希表的性能;其次,对参数服务器灾难恢复机制调优,使用持久化智能指针记录哈希表的核心数据结构和根指针,实现业界首创的参数服务器实时恢复能力;再次,利用PMDK的transaction机制,使用pmempool分配和管理持久内存空间,确保持久内存数据一致性;最后,针对影响性能的持久化操作进行策略性的降低,进一步提高性能。

在实际测试环境中,基于持久内存的HyperPS表现出更低的拥有成本和巨大的实时恢复优势,以及与纯内存近乎一致的性能表现。

01. 企业AI应用内存预估:

AI为企业带来出众的业务效果,同时企业也要承担AI产生的成本压力,特别是当AI规模化应用时。以某著名手机终端厂商为例,分别采用配备384GB 纯内存服务器和配备2TB持久内存的服务器为预估单节点基准。每上线一个模型在在纯内存的参数服务器上占用内存空间大概是128GB。基于持久内存的数据结构由于其有额外的持久化逻辑,在空间复杂度上会略高于纯内存数据结构,其空间占用大概是204GB。在此基础上,估算企业上线1-100个模型参数服务器所需的纯内存物理节点数和配备持久内存的物理节点数量。

从预估结果来看,企业需要采用持久内存的物理节点数量和纯内存的物理节点数量比为1:3.4-4,而持久内存的参数服务器总成本最多下降80%。

02. 数据恢复速度测试:

当系统节点出现故障时,采用纯内存的参数服务器需要从数据存储集群(如HDFS)重新申请模型参数数据恢复,耗时长,严重影响线上服务质量。采用持久内存的HyperPS则完全不同,节点发生故障或者程序崩溃后,数据依然保存在持久内存中,服务重启后只需要调用优化过的数据一致性检查函数,即可实现毫秒级实时恢复。

以恢复6千万维参数模型为例,纯内存参数服务器恢复模型需要花费58秒,而持久性内存参数服务器只需要0.03秒,故障恢复时长缩短将近2000倍。

恢复20个模型总计12亿维参数测试中,纯内存参数服务器数据恢复时间随着数据总量增加而大幅增长,而持久内存的参数服务器几乎没有受到影响,只需检查哈希表元数据后即可提供服务,其恢复时长缩短17114倍。

03. 预估性能测试:

HyperPS不仅大幅降低了总拥有成本并提升数据恢复速度,也展现出和纯内存模式下同水准的性能表现。在非高压(1个请求线程)和高压(56个并发请求线程)的情况下的请求延迟(TP99)。结果表明,基于持久内存的HyperPS参数服务器在延迟上,与采用纯内存的参数服务器性能相近。单线程和56线程两个测试中,持久内存的参数服务器均仅比采用纯内存的参数服务器延迟多1毫秒。

在吞吐性能对比测试项目中,基于持久内存的参数服务器在56线程的高压负载测试中的QPS仅比纯内存参数服务器低3.5%。

此次,通过 “软件定义算力”的全新方式,第四范式将自研HyperPS万亿维参数服务器与英特尔傲腾持久内存进行软硬一体优化设计,保证线上推理服务超高性能的同时,大幅降低企业AI整体投入成本,提升线上服务质量,进一步扫清了企业AI规模化应用的前进障碍。

相关推荐
热点推荐
全球5.3亿人疯了!全球首例糖尿病痊愈,将引发53万亿市场价值

全球5.3亿人疯了!全球首例糖尿病痊愈,将引发53万亿市场价值

简读视觉
2024-05-18 16:05:02
湖南一公园发生刑事案3死2伤,疑原因曝光,网友:都是520惹的祸

湖南一公园发生刑事案3死2伤,疑原因曝光,网友:都是520惹的祸

180°视角
2024-05-21 15:03:34
什么叫降维打击?看完网友评论陷入深思!这也太逆天了!

什么叫降维打击?看完网友评论陷入深思!这也太逆天了!

小陆搞笑日常
2024-05-21 13:14:23
国务委员谌贻琴,多了一个新身份

国务委员谌贻琴,多了一个新身份

政知新媒体
2024-05-20 20:21:43
赖清德此话一出,台股暴跌丨湾区望海峡

赖清德此话一出,台股暴跌丨湾区望海峡

直新闻
2024-05-20 22:30:22
笑不活了,董明珠再游洛邑古城体验汉服妆造,我却笑死在评论区里

笑不活了,董明珠再游洛邑古城体验汉服妆造,我却笑死在评论区里

蓝色海边
2024-05-21 13:08:46
新加坡中国女星离奇失踪后,一直托梦给母亲,称自己被困高楼之上

新加坡中国女星离奇失踪后,一直托梦给母亲,称自己被困高楼之上

小鱼滑
2024-04-11 23:31:28
40000亿救市,失败!物价飙升,汇率大跌20%,或被美元2次收割

40000亿救市,失败!物价飙升,汇率大跌20%,或被美元2次收割

财说得明白
2024-05-21 12:40:14
阿根廷彻底崩了!IMF及欧美已经放弃治疗:再给8亿镑当“分手费”

阿根廷彻底崩了!IMF及欧美已经放弃治疗:再给8亿镑当“分手费”

老郭在学习
2024-05-20 11:55:01
让乌克兰女人“滚出中国”的,拉低了国人的平均素质

让乌克兰女人“滚出中国”的,拉低了国人的平均素质

关尔东
2024-05-20 10:33:46
“最强”房产新政是为了救银行?有人发现新政下,买房的总成本反倒增加了

“最强”房产新政是为了救银行?有人发现新政下,买房的总成本反倒增加了

西游日记
2024-05-20 17:24:09
毛利率近70%,南京咖啡阿姨日赚3500,让各大公司白领自愧不如

毛利率近70%,南京咖啡阿姨日赚3500,让各大公司白领自愧不如

可达鸭面面观
2024-05-20 14:49:49
伊朗外交关系战略委员会考察团访问上海

伊朗外交关系战略委员会考察团访问上海

财联社
2024-05-20 16:54:12
这咋无缘欧洲杯?挪威:英超冠亚军双核+西甲射手王+五大联赛防线

这咋无缘欧洲杯?挪威:英超冠亚军双核+西甲射手王+五大联赛防线

直播吧
2024-05-21 13:32:21
关于台湾问题,普京提出了中国统一的新方案,有多少可行之处?

关于台湾问题,普京提出了中国统一的新方案,有多少可行之处?

文静呀
2024-05-21 11:14:57
蒋达勇履新!曾在潮汕任职!

蒋达勇履新!曾在潮汕任职!

ilove汕头
2024-05-21 14:57:43
噩耗:他于5月21日去世,曾被举国敬仰也令举国痛心……

噩耗:他于5月21日去世,曾被举国敬仰也令举国痛心……

华人星光
2024-05-21 12:08:20
女排澳门站头号劲敌公布大名单,主力倾巢而出,蔡斌迎来真正大考

女排澳门站头号劲敌公布大名单,主力倾巢而出,蔡斌迎来真正大考

吾爱女排
2024-05-21 12:40:48
身份证上没有省名?南京警方做政策解读

身份证上没有省名?南京警方做政策解读

上游新闻
2024-05-21 12:39:12
迪拜王子拉希德:33岁纵欲过度猝死,只留下数不完花不完的钱

迪拜王子拉希德:33岁纵欲过度猝死,只留下数不完花不完的钱

百年历史老号
2024-05-19 05:38:44
2024-05-21 18:08:49

科技要闻

微软发AI PC:这次真的能与MacBook竞争了

头条要闻

莱希遇难后最高领袖发照片纪念 其依然掌控军政教大局

头条要闻

莱希遇难后最高领袖发照片纪念 其依然掌控军政教大局

体育要闻

兄弟们,为了我,拿下冠军吧!

娱乐要闻

杨洋乔欣聊天记录曝光!还牵扯张天爱

财经要闻

重营销轻研发 “扫地茅”股价已跌去78%

汽车要闻

四排八座纯电MPV/续航超过800km 翼真L380开启预订

态度原创

家居
健康
时尚
手机
数码

家居要闻

生活蜕变 简约理念雕刻理想居所

在中国,到底哪些人在吃“伟哥”?

女人40也能很美!夏天利用穿搭来释放女人味,成熟风格有韵味

手机要闻

vivo举办影像新蓝图X系列沟通会 自研传感器芯片和算法

数码要闻

华硕无畏Pro15 2024正式发布 75 TOPS总算力开启AI PC新时代

无障碍浏览 进入关怀版
×