【闪耀吧！创客】跨域多DC数据流动下的东数西存

（原标题：【闪耀吧！创客】跨域多DC数据流动下的东数西存）

编者按

以“能力无界 智算同行”为主题的第七届中国移动创客马拉松大赛正在如火如荼进行中,经过一系列精彩的比拼和激烈的角逐,一批高质量“科创”项目脱颖而出。本届大赛围绕产业链、部署创新链、配置资金链,依托中国移动及合作伙伴优势资源,开展通信能力开放、物联网、移动云、智慧家庭等12项专题赛事活动,致力发掘并培育一批硬核科技创新项目和潜力型创业团队,共同推动科创新锐企业高水平发展、产业链生态体系化升级。

为了激发更多有志创客们创新创业的潜能,给予更多怀揣梦想的创客们鼓励与支持,中移双创推出「闪耀吧!创客」系列报道,为大家展现众多创客们在砥砺创新奋斗征程中的精彩故事。

众所周知,存力是算力网络的数据基础设施,是其数据底座。2022年,党和国家正式启动“东数西算”工程,中国移动积极响应国家战略号召,发布了《中国移动算力网络白皮书》。同时,中国移动通信集团贵州有限公司和中国移动信息技术有限公司多名技术人员共同组建了“跨域多DC数据流动下的东数西存解决方案研究”项目团队,以求实现通用跨域底层统一存储能力。2022年,在第七届中国移动创客马拉松大赛算力网络专题赛中,该项目获得了应用类决赛一等奖。

团队合影

1、以“需”为本   固“存”以待

“东数西算”作为算力网络创新试验的三大课题之一,其目的在于打造行业样板,形成多场景、一体化任务式技术方案,其中,解决“存力”问题尤其根本。

场景应用

“东数西存”主要应用于两类场景,一是跨域通用存储,占比60%左右,以文件数据存储为主,如话单文件;二是跨域大数据存储和分析,如防疫大数据。

“东数西存”应用场景

痛点&难点

目前,跨域、跨DC的数据往往以孤岛形式存在,没有全局统一视图,调度难、管理难、利用难,“东数西存”规模应用存在困难。如何满足内外部存储需求量大、实时性要求低的日志留存、重点行业温冷数据存储等场景应用是关键。

“需”位以待

随着“东数西算”项目的推进,东西部数据持续大规模流动,跨域数据查询和分析将成为常态。因此,对数据智能流动、数据全局可见可管、数据存储和调用、数据分析加速、降低设备能耗等方面提出了更高的要求。

2、共享“数”流   跬步之行

基于此,由云计算、网络、存储、数据库、安全等基础设施领域专家组成的“跨域多DC数据流动下的东数西存解决方案研究”项目团队提出了创新模式,将数据部署从本地数据集群逐步转向跨域数据集群,形成了以东部数据中心在线分析、实时检索,西部数据中心离线分析的格局,有效解决了海量数据调度和高速处理的问题。

全局统一文件视图

跨域多DC全局统一数据视图采用全局文件系统来实现,即东部的文件系统共享到数据共享流动总线,成为全局文件系统的源文件系统,同时上传本地文件系统元数据。当东部节点提供数据访问服务时,如果数据不在本地,即可从数据共享流动总线获取存储在西部节点的文件。此应用不感知数据布局,无需适配改造,可快速上线,提升体验。

统一文件视图架构

全局数据智能流动

通过基于用户策略和数据智能分级技术实现跨域数据的自动冷热分级流动,支持数据跨域按需访问、数据智能预读取和数据的反向再利用,满足不同应用场景对数据流动能力的差异化需求和限制,灵活制定数据流动策略,使数据按需流动。

全局数据智能流动

跨域数据查询分析

西存的数据,可与东部数据进行跨域联合查询与分析,实现感知数据布局,查询任务精准分片,西存数据无需回流。另外,算子下推,降低了计算和存储互联网络带宽,提升了分析效率。

跨域数据查询分析

绿色高效集群存储

构建集群存储,大比例EC使得磁盘有效利用率从33%提升至90%;SSD重删压缩,大大提升存储空间效率,例如数据库增加2-2.6倍,虚拟化增加3-5倍,视频增加1.1倍;DPU卸载加速存储访问效率,使得IO密集型性能提升20%-50%。

集群存储创新方案

3、“无”胜于形   制胜千里

基于全局文件系统的跨域多DC数据自由流动技术,在存储层提供应用无感的远程数据传输能力,从底层实现专业的全局数据视图、数据流动与数据保护能力,极大地简化了上层应用的开发工作,让应用专注于业务逻辑本身的同时,面向复杂多变的海量数据跨域流动需求,具有更加优越的技术普适性。

“跨域多DC数据流动下的东数西存解决方案研究”项目团队提出的创新模式,除了提供全局统一数据视图、数据智能分级流动等跨域多DC数据自由流动所需的基础能力之外,在数据重删与压缩、可信传输、防勒索、防病毒、元数据分析与价值挖掘等方面还具备持续的技术演进能力。从长远来说,无论从架构,还是性能、安全和演进等方面都更具有优势。

项目从2022年3月开始启动,8月完成试验环境搭建,9月在试验环境进行应用部署和验证,10月进行试验成果展示和演示。目前项目处在实验完善阶段,已投入到省内跨DC数据流动测试工作中,预计在2024年初投入商用。后续,方案将落地建设为东数西存的通用基础设施平台,并发布相应标准,以确保应用能在不进行改造或简单优化的条件下,快速对接实际业务数据,助力国家“东数西算”工程建设。