点击下方“JavaEdge”,选择“设为星标”
第一时间关注技术干货!
关注我,紧跟本系列专栏文章,咱们下篇再续!
作者简介:魔都技术专家兼架构,多家大厂后端一线研发经验,各大技术社区头部专家博主,编程严选网创始人。具有丰富的引领团队经验,深厚业务架构和解决方案的积累。 负责:中央/分销预订系统性能优化;活动&优惠券等营销中台建设;交易平台及数据中台等架构和开发设计。
数据库的历史上,每次存储介质变化都会引发软件变革。从 SAN 存储到 SSD 到大内存到 NVM,都触发了数据库内核从理论到工程的演进。
数据库一直是推动企业数字化和创新的最重要基础设施之一。从关系型数据库到 NoSQL、分析型数据库、多模数据库,涌现新型数据库产品,满足不同企业的应用场景和细分市场需求。
但关系型数据库(Relational Database Service,RDS)依然占据数据库市场大半壁江山,根据 IDC 近期发布的《2023 年上半年中国关系型数据库软件市场跟踪报告》,2023 年上半年中国关系型数据库软件市场规模为 17.5 亿美元,其公有云关系型数据库的市场份额约为 59%。而根据 Garnter 《Forecast Analysis: Database ManagementSystems, Worldwide》报告中的预测,2023 年全球关系型数据库总市场达到 838 亿美元,在数据库总盘里公有云部分占比也约为 59%。
RDS 通常以云盘(即块存储)作为其核心存储基础设施。如 AWS 的 RDS 服务所有实例规格均采用 Elastic Block Store(EBS)云盘。
对使用 RDS 的用户及在公共云上购买虚拟机来自建数据库服务的用户,云盘是否代表存储的最终选项? No!在技术革新缺席的前提下,云盘在性价比和计费策略方面失去了其竞争优势,我们判断其会从云厂商的主导产品降级为边缘选项。
公共云的RDS将会从依赖云盘向利用好对象存储,向采用更云原生架构的新时代。为适应对象存储,充分发挥其优势,数据库架构势必大改,水平扩缩容、容灾技术及存储引擎的数据格式都随之变化。
1 云盘的问题 1.1 定价比较高
如一块 1TB 标准型云盘(含 5 万 IOPS 及 350MB 带宽),云服务商收取约 1000 元每月基础费。为服务海量客户,云盘 IOPS(输入/输出操作每秒)和带宽通常会在软件通过流控限制,免费 IOPS 额度通常在 1000~3000,而带宽限额约150MB/s。超出限额,用户需向云厂商购买额外 IOPS 和带宽,若将 IOPS 提高至 10 万(这一性能水平对于企业级 NVMe SSD 来说并不算特别高),用户需要额外支付 1500 元每月的预配置性能费用。然而,1TB 的企业级 NVMe SSD 的一次性购买成本还不到千元
1.2 云盘的弹性尚未完全向用户开放
主流云厂商的云盘仅支持扩容,不支持缩容。该限制导致业务在缩容时须曲线救国,即逻辑复制,先将数据迁移到一块容量更小的新云盘,然后才能释放原较大云盘。
部分云厂商如 AWS 的 EBS 对控制面还存在限流,限制两次扩容操作之间间隔6h。这虽保证服务稳定性,但也限制用户对存储资源的即时调整能力。这都限制了上层软件基于云盘实现按存储使用量付费的能力。
1.3 灾难恢复能力局限于单个可用区(AZ)
云厂商建议的最佳实践:为实现更高级别业务连续性,客户应采取跨可用区的灾难恢复策略。这意味着,如客户想为他们的数据库实现跨 AZ 的灾难恢复,他们不得不购买多个云盘。
但这种额外投资并非最经济,因云盘定价已包含单 AZ 多副本数据的分摊成本。当用户为实现跨 AZ 的冗余而购买更多云盘时,存储层面的多副本与数据库层面的多副本机制叠加,便产生资源的重复配置。
1.4 系统性能瓶颈
面对高性能数据库需求,云盘性能也成为限制整体系统性能的薄弱环节。云盘使用分布式架构,通过 Erasure coding 机制将数据分割成多个小片段,并将其冗余存储在多个服务器。进一步,还可对数据进行压缩。这些技术以牺牲一定性能为代价,换来显著可扩展性和成本效益。由于所有 I/O 操作都要跨越网络,因此云盘延迟通常比本地盘高一个数量级。
旗舰数据库产品如 Aurora 和 PolarDB 采纳更新设计理念,构建定制化的分布式存储集群,来解决云盘性能:
Aurora采用日志即数据库的理念,减少数据库节点与存储节点之间的数据传输量
PolarDB 使用 RDMA 和 NVM 优化 I/O 延迟,
二者都支持多个数据库节点并发访问存储节点的共享数据架构。但这些存储系统与数据库之间的通信是通过私有接口。而且这些专用存储的定价比云盘更高。
编程严选网(www.javaedge.cn),程序员的终身学习网站已上线! 点击阅读原文,即可访问网站!
欢迎长按图片加好友
,我会第一时间和你分享软件行业趋势
,面试资源
,学习途径
等等。
添加好友备注【技术群交流】拉你进群,更多教程资源应有尽有
关注公众号后,在后台私信:
微信【ssshflz】私信【副业】,进副业交流群
最近在准备面试,为大家准备一份2024最新最全Java学习路线一条龙
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.