随着互联网、5G、AI等技术的快速发展，企业的数据急剧暴增，现有存储架构通常无法应对海量非结构化数据的管理与使用。各大行业的存储选型采购以及更新已将现有存储架构逐步替换为对象存储，对象存储已成为当今企业内非结构化数据存储的最佳选型。
在此过程中，通常企业会重点考虑两个因素：
存储利旧：保护历史已有投资发挥最大效用，降低企业成本，利旧原有存储设备。
业务平滑切换：无缝替换现有存储，切换过程中业务不中断，简化业务切换运维操作。
存储纳管可以说是应对上面这些需求的神器，深受广大客户青睐。从广义上来讲，新存储系统对外提供一致的访问入口，实现对新旧存储统一访问的技术，都可以称为存储纳管。
根据纳管程度的不同，大致可以分为如下几种类型：
01
利旧数据访问
仅通过统一访问入口实现对历史数据的访问，不负责维护历史数据更新、删减，且新产生的数据只存放到新存储设备。满足这一需求的最简单、通用的技术方案就是扫描历史数据，提取历史数据的元数据信息，存储到新存储系统中，同时记录它到旧存储系统的访问路径或映射关系。当通过新存储系统入口访问历史数据时，借助前面扫描生成的元数据信息，到旧存储系统中读取数据。
这种实现方案，很适合预先明确某些数据集需要被利旧的情况，比如某些特定前缀的对象，或位于某些特定子目录下的文件。
在我们和客户交流过程中，发现还存在着下面几种场景，依靠预先扫描并存储历史数据元数据难以满足的需求：
历史数据仅仅是偶尔会被访问到，对性能也没有特别的要求，不愿意在新存储中存储历史数据的元数据，它会导致因数据利旧而额外增加成本。
只能确认有小部分历史数据会被业务访问，但不能预先确定是哪些历史数据。如果全部扫描历史数据元数据，预先存储到新建存储中，会大幅增加用户成本。
少量历史数据在一定时间范围内需要被高频访问(比如调集历史数据制作某个专题节目)，需要这些历史数据能在新建存储中缓存一段时间，使用完后，又可以自动释放本地存储空间，避免历史数据长期占用新建存储空间。
关键业务需要平滑切换到新建存储，不能出现业务中断。如果采用预先扫描并存储历史数据元数据方式，在扫描期间，不断产生新的数据，基本难以做到完整扫描，不可能实现无中断的业务平滑切换。
02
利旧存储
通过统一的访问入口，既可以访问历史数据，也能更新历史数据、删减历史数据，甚至新产生的数据也能存储到旧存储设备上，属于更高级的存储纳管。
一
XSKY存储纳管之利旧数据访问技术方案
XSKY通过对象回源技术方案来解决存储纳管中的利旧数据访问需求。对象回源是指当客户端访问本地XSKY对象存储时，如果本地存储中没有存储被访问的数据，系统通过回源规则从源站获取对应数据。目前支持的源站类型包括AWS S3、阿里云OSS、腾讯云COS、华为云OBS等公有云存储, 兼容AWS S3的对象存储，以及NAS文件存储。为适应不同的场景，还同时支持重定向、代理、镜像、CDN四种回源模式，可以满足业务从旧存储平滑切换、访问重定向、数据热迁移、第三方存储纳管、边缘CDN加速等需求。
二
客户场景
场景一：回源重定向
需求：应用客户端和旧有存储、新建的XSKY对象存储都网络联通，但新旧存储之间无网络连接，需要统一业务访问入口到新建存储，并能无缝访问旧有存储中的历史数据。
方案：在新建的XSKY对象存储上，开启重定向回源模式，将原来的老存储系统配置为回源访问的源站，再将业务访问存储的入口切换到新建的XSKY对象存储，即完成新旧存储无缝切换。
该方案中，应用从XSKY对象存储(下面简称新建存储)提供的统一访问入口请求读取数据，如果数据在新建存储上不存在，新建存储自动向应用返回该数据在源站存储的访问路径，应用再依此路径从源站读取数据。历史数据不需要预先扫描，新建存储不用为历史数据额外规划存储空间，也无需额外的网络改造，满足历史利旧数据访问需求，轻松实现业务从旧存储到新建存储的无缝切换。
场景二：回源代理
需求：从网络安全和简化网络部署运维考虑，应用客户端只与新建存储之间网络连接，由新建存储系统对外提供统一接入访问入口，新数据写入新建存储，旧有存储上的数据能读取到即可，对性能没有特别要求。
方案：新建的XSKY对象存储上，开启代理回源模式，将原来的老存储系统配置为回源访问的源站。为了能代理访问旧有存储系统上的数据，在业务切换到新建的XSKY对象存储上之前，还需要打通新老存储系统之间的网络，保持网络互通。
该方案中，应用从XSKY对象存储(下面简称新建存储)提供的统一访问入口请求读取数据，如果数据在新建存储上不存在，新建存储系统会充当中间代理人角色，从旧有存储系统读取到数据后返回给应用。不做数据扫描、不做数据迁移、不占用额外存储空间，实现对历史数据利旧访问，降本增效。
场景三：回源镜像
需求：业务上线运行已经有很长时间，在旧有存储系统中积累了大规模的历史数据，其中只有很少一部分还有使用价值，需要将这部分数据迁移到新建存储上。但让人头痛的是，只有业务再次访问到的数据，才被认为是有价值的历史数据，所以不能预先确认和规划迁移哪些数据到新建存储。如果把历史数据全部迁移到新建存储，不仅迁移时间长，而且要占用大量的新建存储空间，代价高昂。
方案：在新建的XSKY对象存储中，开启镜像回源模式，将原来的老存储系统配置为回源访问的源站。
该方案中，当应用客户端向XSKY对象存储(以下简称新建存储)请求读取数据时，如果在新建存储中没有该数据，新建存储系统首先充当代理人角色，从旧有存储系统中读所需数据返回给应用，然后在后台启动一个镜像任务，从旧有存储中将这个数据完整下载并存储起来。借助业务触发来按需将有使用价值的历史数据迁移到新建存储，业务无感知，经济、实惠、简便。
场景四：CDN缓存
需求：在旧有存储中的历史数据，在某些时间段里会被频繁访问，使用完后又归于平寂。比如为了制作某个专题需要大量历史数据素材，短期制作完成后，这些数据就不再经常访问，具有很强的临时性特征。
方案：新建的XSKY对象存储中，开启CDN缓存回源模式，将原来的老存储系统配置为回源访问的源站，并按需设置缓存过期时间。
该方案中，当应用客户端向XSKY对象存储(以下简称新建存储)请求读取数据时，如果在新建存储中没有该数据，新建存储系统首先充当代理人角色，从旧有存储系统中读所需数据返回给应用，然后在后台启动一个缓存任务，从旧有存储中将这个数据完整下载并临时存储起来。当设置的缓存有效期到期后，系统会自动将缓存的数据删除。借助业务触发来按需将有使用价值的历史数据临时缓存到新建存储，满足对数据的高频访问需求，在缓存到期后自动释放新建存储上占用的空间，性能、成本兼顾。
场景五：数据在线迁移
需求：新建存储系统部署后，需要无缝替换旧有存储，存储切换过程中保持业务连续、不中断。
方案：在新建的XSKY对象存储中，开启镜像回源模式，将原来的老存储系统配置为回源访问的源站。然后运行数据迁移工具开始从旧有存储系统迁移数据到新建存储系统，在数据迁移过程中，将业务切换到新建存储系统即可。
该方案中，已经完成迁移的历史数据，可以在新建存储中直接访问，还没有完成迁移的数据如果被访问到，借助镜像回源可以为应用提供数据访问，并提前将数据迁移到新建存储中。镜像回源和数据迁移相配合，无需等待数据全部迁移完成，实现业务快速切换、业务永续、数据在线热迁移。
三
总结
虽然市场上有一些厂商也宣传支持存储纳管，但是只能借助预先扫描历史数据，并将元数据重建到新建存储中，同时记录元数据到旧存储数据的访问路径或映射关系，从而满足对旧有历史数据的纳管访问。而XSKY的存储纳管利旧数据访问方案无需预先扫描历史数据，借助回源技术广泛适用各种存储纳管利旧数据访问需求，实现业务快速切换，减少用户新建存储投入成本。
敬请期待下一篇：
存储纳管之利旧存储技术方案
—END—
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
