网易首页 > 网易号 > 正文 申请入驻

数据库的下一站:对象存储之云盘的问题

0
分享至

点击下方“JavaEdge”,选择“设为星标”

第一时间关注技术干货!

关注我,紧跟本系列专栏文章,咱们下篇再续!


作者简介:魔都技术专家兼架构,多家大厂后端一线研发经验,各大技术社区头部专家博主,编程严选网创始人。具有丰富的引领团队经验,深厚业务架构和解决方案的积累。 负责:中央/分销预订系统性能优化;活动&优惠券等营销中台建设;交易平台及数据中台等架构和开发设计。

数据库的历史上,每次存储介质变化都会引发软件变革。从 SAN 存储到 SSD 到大内存到 NVM,都触发了数据库内核从理论到工程的演进。

数据库一直是推动企业数字化和创新的最重要基础设施之一。从关系型数据库到 NoSQL、分析型数据库、多模数据库,涌现新型数据库产品,满足不同企业的应用场景和细分市场需求。

但关系型数据库(Relational Database Service,RDS)依然占据数据库市场大半壁江山,根据 IDC 近期发布的《2023 年上半年中国关系型数据库软件市场跟踪报告》,2023 年上半年中国关系型数据库软件市场规模为 17.5 亿美元,其公有云关系型数据库的市场份额约为 59%。而根据 Garnter 《Forecast Analysis: Database ManagementSystems, Worldwide》报告中的预测,2023 年全球关系型数据库总市场达到 838 亿美元,在数据库总盘里公有云部分占比也约为 59%。

RDS 通常以云盘(即块存储)作为其核心存储基础设施。如 AWS 的 RDS 服务所有实例规格均采用 Elastic Block Store(EBS)云盘。

对使用 RDS 的用户及在公共云上购买虚拟机来自建数据库服务的用户,云盘是否代表存储的最终选项? No!在技术革新缺席的前提下,云盘在性价比和计费策略方面失去了其竞争优势,我们判断其会从云厂商的主导产品降级为边缘选项。

公共云的RDS将会从依赖云盘向利用好对象存储,向采用更云原生架构的新时代。为适应对象存储,充分发挥其优势,数据库架构势必大改,水平扩缩容、容灾技术及存储引擎的数据格式都随之变化。

1 云盘的问题 1.1 定价比较高

如一块 1TB 标准型云盘(含 5 万 IOPS 及 350MB 带宽),云服务商收取约 1000 元每月基础费。为服务海量客户,云盘 IOPS(输入/输出操作每秒)和带宽通常会在软件通过流控限制,免费 IOPS 额度通常在 1000~3000,而带宽限额约150MB/s。超出限额,用户需向云厂商购买额外 IOPS 和带宽,若将 IOPS 提高至 10 万(这一性能水平对于企业级 NVMe SSD 来说并不算特别高),用户需要额外支付 1500 元每月的预配置性能费用。然而,1TB 的企业级 NVMe SSD 的一次性购买成本还不到千元

1.2 云盘的弹性尚未完全向用户开放

主流云厂商的云盘仅支持扩容,不支持缩容。该限制导致业务在缩容时须曲线救国,即逻辑复制,先将数据迁移到一块容量更小的新云盘,然后才能释放原较大云盘。

部分云厂商如 AWS 的 EBS 对控制面还存在限流,限制两次扩容操作之间间隔6h。这虽保证服务稳定性,但也限制用户对存储资源的即时调整能力。这都限制了上层软件基于云盘实现按存储使用量付费的能力。

1.3 灾难恢复能力局限于单个可用区(AZ)

云厂商建议的最佳实践:为实现更高级别业务连续性,客户应采取跨可用区的灾难恢复策略。这意味着,如客户想为他们的数据库实现跨 AZ 的灾难恢复,他们不得不购买多个云盘。

但这种额外投资并非最经济,因云盘定价已包含单 AZ 多副本数据的分摊成本。当用户为实现跨 AZ 的冗余而购买更多云盘时,存储层面的多副本与数据库层面的多副本机制叠加,便产生资源的重复配置。

1.4 系统性能瓶颈

面对高性能数据库需求,云盘性能也成为限制整体系统性能的薄弱环节。云盘使用分布式架构,通过 Erasure coding 机制将数据分割成多个小片段,并将其冗余存储在多个服务器。进一步,还可对数据进行压缩。这些技术以牺牲一定性能为代价,换来显著可扩展性和成本效益。由于所有 I/O 操作都要跨越网络,因此云盘延迟通常比本地盘高一个数量级。

旗舰数据库产品如 Aurora 和 PolarDB 采纳更新设计理念,构建定制化的分布式存储集群,来解决云盘性能:

  • Aurora采用日志即数据库的理念,减少数据库节点与存储节点之间的数据传输量

  • PolarDB 使用 RDMA 和 NVM 优化 I/O 延迟,

二者都支持多个数据库节点并发访问存储节点的共享数据架构。但这些存储系统与数据库之间的通信是通过私有接口。而且这些专用存储的定价比云盘更高。

编程严选网(www.javaedge.cn),程序员的终身学习网站已上线! 点击阅读原文,即可访问网站!

欢迎长按图片加好友,我会第一时间和你分享软件行业趋势面试资源学习途径等等。

添加好友备注【技术群交流】拉你进群,更多教程资源应有尽有

关注公众号后,在后台私信:

  • 微信【ssshflz】私信【副业】,进副业交流群

最近在准备面试,为大家准备一份2024最新最全Java学习路线一条龙


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
七旬老人为工地“离奇”坠亡儿子发声求助?广西崇左警方通报

七旬老人为工地“离奇”坠亡儿子发声求助?广西崇左警方通报

界面新闻
2024-05-28 09:03:04
闹大了!全国出动上万检查小组查电动车!网友:世界性笑话啊!

闹大了!全国出动上万检查小组查电动车!网友:世界性笑话啊!

三月柳
2024-05-27 17:06:25
越闹越大!王处长凭一己之力,把沈阳送上了热搜,评论区炸锅!

越闹越大!王处长凭一己之力,把沈阳送上了热搜,评论区炸锅!

番茄说史聊
2024-05-28 22:00:59
江南“最美”丈母娘火了,身穿旗袍温柔婉约,网友:美得很高级

江南“最美”丈母娘火了,身穿旗袍温柔婉约,网友:美得很高级

雅清故事汇
2024-05-27 19:34:15
领导干部任前公示

领导干部任前公示

锡望
2024-05-28 21:31:38
欧文谈G4:对森林狼而言是超级碗 对我们来说就是一场普通比赛

欧文谈G4:对森林狼而言是超级碗 对我们来说就是一场普通比赛

直播吧
2024-05-29 06:19:16
“我不想赚人民币”,台湾艺人杨绣惠深夜发不当言论,引发众怒!

“我不想赚人民币”,台湾艺人杨绣惠深夜发不当言论,引发众怒!

小毅讲历史
2024-05-27 05:34:24
网传上海某公园内,保安呵斥年轻人读外国诗:中国五千年文化没有诗了吗?

网传上海某公园内,保安呵斥年轻人读外国诗:中国五千年文化没有诗了吗?

可达鸭面面观
2024-05-28 12:30:33
爱德华兹狂妄言论仍延续:欲0-3落后逆转创先河 被打脸4次还不够

爱德华兹狂妄言论仍延续:欲0-3落后逆转创先河 被打脸4次还不够

颜小白的篮球梦
2024-05-28 13:24:04
宋慧乔晒照庆贺电影杀青:白衣蓝帽好休闲,与晚辈拥抱好有爱!

宋慧乔晒照庆贺电影杀青:白衣蓝帽好休闲,与晚辈拥抱好有爱!

笑猫说说
2024-05-29 01:21:33
今年到底是怎么了?继牛疯狂后,西瓜也要烂大街了

今年到底是怎么了?继牛疯狂后,西瓜也要烂大街了

特特农村生活
2024-05-27 20:36:12
一夜2人获奖!姆巴佩环足欧洲最佳,贝林厄姆西甲最佳,皇马起飞

一夜2人获奖!姆巴佩环足欧洲最佳,贝林厄姆西甲最佳,皇马起飞

体育知多少
2024-05-29 06:38:51
国足集结2天,伊万遇头号难题!足协确认:大将停赛2场,针对我们

国足集结2天,伊万遇头号难题!足协确认:大将停赛2场,针对我们

话体坛
2024-05-28 17:31:31
朝鲜太后:旺夫脸,靠秘诀拴住花心金正日,提前为金正恩上位铺路

朝鲜太后:旺夫脸,靠秘诀拴住花心金正日,提前为金正恩上位铺路

古今档案
2023-12-25 14:55:12
坏消息是俄罗斯退出了;好消息是中国决定自己干

坏消息是俄罗斯退出了;好消息是中国决定自己干

星辰故事屋
2024-05-26 19:12:10
小米SU7各地区销量排行

小米SU7各地区销量排行

电动知家
2024-05-28 11:00:40
两大头部券商有可能合并? 双方称“以公告为准”

两大头部券商有可能合并? 双方称“以公告为准”

每日经济新闻
2024-05-28 22:21:07
我公公,一个小学退休教师,每月退休金7000多,简直是人生赢家!

我公公,一个小学退休教师,每月退休金7000多,简直是人生赢家!

知秋侃史
2024-05-23 03:10:40
皮尔斯:东契奇&塔图姆谁拿下冠军、FMVP,谁就是联盟门面

皮尔斯:东契奇&塔图姆谁拿下冠军、FMVP,谁就是联盟门面

懂球帝
2024-05-28 18:56:07
自认为很红却被现实打脸的明星有谁?网友:没人捧他们算啥啊!

自认为很红却被现实打脸的明星有谁?网友:没人捧他们算啥啊!

阿迪爱音乐
2024-05-27 05:37:10
2024-05-29 07:04:49
JavaEdge
JavaEdge
Java 技术
313文章数 443关注度
往期回顾 全部

科技要闻

4月中国手机需求回升 iPhone出货量增长52%

头条要闻

安徽坍塌居民楼结构脆弱 专家称其"像积木搭在墙上"

头条要闻

安徽坍塌居民楼结构脆弱 专家称其"像积木搭在墙上"

体育要闻

商讨球队建队计划?巴萨主席拉波尔塔与弗里克共进晚餐

娱乐要闻

昆凌晒三胎正面照,2岁妹妹超像周杰伦

财经要闻

东方通收购藏雷 花6亿买来"业绩变脸"

汽车要闻

三联屏/纯电续航318km 岚图FREE 318官图发布

态度原创

亲子
本地
家居
艺术
公开课

亲子要闻

妈妈分享自家萌娃玩蹦蹦车的样子,这不就是爷爷奶奶的梦中情孙吗

本地新闻

食味印象|歙县限定!枇杷味儿的清甜初夏

家居要闻

圆的世界 流动的曲线与自如的空间

艺术要闻

穿越时空的艺术:《马可·波罗》AI沉浸影片探索人类文明

公开课

近视只是视力差?小心并发症

无障碍浏览 进入关怀版