网易首页 > 网易科技 > 网易科技 > 正文

2天完成17TB数据量迁移,华为云数据库是如何做的?

0
分享至

(原标题:2天完成17TB数据量迁移,华为云数据库是如何做的?)

童年时候,我们会对着墙上挂着的中国地图,来认识一处处山川河流和城市人文。如今,数字化时代下,传统的地图已经不能满足人们的需求,如何获取各种丰富的地理内容和实时动态信息成为现代人普遍的地理信息诉求。

作为国家基础地理信息公共服务平台,天地图集成了来自国家、省、市(县)各级测绘地理信息部门,以及相关政府部门、企事业单位 、社会团体、公众的地理信息公共服务资源,以门户网站、服务接口、前置服务等形式向政府、专业部门、企业、公众等用户提供在线地理信息服务。

此前,国家基础地理信息中心携手华为云,基于天地图平台,共同打造云上智慧地图,促进地理信息资源共享和高效利用,让世界触手可及。

地理数据量增加,数据库弹性迎挑战

天地图覆盖全国300多个地级以及地级以上城市0.6米分辨率的卫星遥感影像等地理信息数据,全库数据量达到17TB,数据吞吐量巨大。巨大的吞吐量和高额运维成本,促使国家基础地理信息中心迫切寻求低成本、高可用、高性能、大容量的数据库产品,同时希望可以将迁移时间压缩到2天左右。

●低成本:早期天地图运营投入较多资金,包括数据库在内的IT投入成本居高不下。业务有读写分离诉求,希望在保证性能的前提下,通过一套实例实现读写分离,从而降低数据库成本。

高可用社区版MongoDB一个shard多数节点故障,就会导致该shard成为只读,因此希望提供无状态的路由节点,实现快速故障转移。

性能天地图每天的访问量在6亿左右,随着数据量和业务访问量的增加,现有系统不足以支撑日益增长的业务需求,需要更高性能的数据库来支撑日益增长的业务数据。

容量:随着瓦片层级增加,数据量越来越大,现有MongoDB扩容难度大,需要一款数据库支持不少于20TB的瓦片数据,支持在线扩容。

运维效率:运维人力有限,系统运维压力越来越大,运维工作成本越来越高,现有社区版MongoDB难以支撑运维工作需求。希望能够提供数据库自运维能力,能为数据库做技术兜底,降低运维成本。

天地图&华为云

彰显云上“数字中国”新魅力

天地图业务数据复杂,数据种类多样,结合客户诉求和业务特点,华为云数据库采用公有云对外服务为主,私有云对内测试为辅的混合云架构,提供多种数据库引擎方案,联合打造高性能、高可用的数字底座。

华为云GaussDB(for Mongo)提供在线地图的瓦片数据处理服务;华为云RDS for PostgreSQL提供矢量数据和三维数据处理服务;华为云RDS for MySQL提供用户管理和专题图层属性服务,多款数据库极速融合,共同发力,17TB的海量数据迁移仅仅用了2天。

高可用特性加持,业务稳定运行

天地图作为国家级的服务平台,数据的安全可靠可谓至关重要。华为云GaussDB(for Mongo)支持跨AZ高可用,拥有完善的跨区域容灾策略,每天自动进行全量备份和增量备份,并定期进行恢复演练,验证备份恢复流程的有效性,实现分钟级备份恢复。同时提供无状态的路由节点,支持秒级故障转移,客户业务无感知,业务运行稳定。

超高性能与大容量,再大流量也不怕

天地图为30+部委机构和全国30多个省市提供地理信息基础平台服务,日均API和服务调用超过6亿次,访问压力极大。华为云GaussDB(for Mongo) 可实现分钟级节点扩容和秒级存储扩容,满足敏捷业务弹性需要,对天地图高达上亿的访问毫无压力,响应能力快稳准,有效保障了天地图在高负载情景下业务的正常运行。而且GaussDB(for Mongo)基于存算分离架构和rocksdb优化,相比开源MongDB性能提高3倍以上,最大支持96TB的数据处理能力,完全满足天地图海量业务请求。

降本增效不止一点点

GaussDB(for Mongo)完全兼容MongoDB协议,客户业务无需任何改造,即可轻松切换数据库,极大减少了改造成本;而且通过实时生成快照和删除快照的能力,GaussDB(for Mongo)实现一套集群即可提供读写分离的能力,数据库成本节省至少50%。天地图上华为云之后,基于数据库服务自动化运维平台,数据更新效率提升5倍,新业务上线速度提高2倍,还减轻了DBA繁重的运维压力,让客户更聚焦业务层面。

自2019年2月上线以来,华为云数据库已轻松支撑天地图6亿+的日均访问量,保障业务平稳运行,实现零事故;同时为公众提供了更为全面、精准、权威、 智能、人性化的地理信息服务,让全社会共享测绘发展成果,感受“数字中国”的独特魅力。

Ps:【云数据库特惠专场】新用户4.5折起,助力企业效益增长,详情请登录华为云官网

相关推荐
热点推荐
中国援助柬埔寨114亿?

中国援助柬埔寨114亿?

名人苟或
2025-12-31 06:03:41
破解卫浴行业症结,九牧用服务体系构建“信任生产力”

破解卫浴行业症结,九牧用服务体系构建“信任生产力”

砺石商业评论
2025-12-31 08:22:19
商务部就荷兰经济大臣卡雷曼斯接受采访答记者问

商务部就荷兰经济大臣卡雷曼斯接受采访答记者问

界面新闻
2025-12-31 10:17:42
俄方称乌方袭击普京官邸,中方回应

俄方称乌方袭击普京官邸,中方回应

中国青年报
2025-12-30 21:00:11
两部门:2026年个人消费者购买手机、平板、智能手表手环、智能眼镜等4类产品,按产品销售价格的15%给予补贴

两部门:2026年个人消费者购买手机、平板、智能手表手环、智能眼镜等4类产品,按产品销售价格的15%给予补贴

界面新闻
2025-12-30 18:13:17
委内瑞拉:摧毁8架飞机、4个营地

委内瑞拉:摧毁8架飞机、4个营地

参考消息
2025-12-30 14:25:56
湘超夺冠即送车!美女老板翻脸+清空社媒退网,永州球员:不厚道

湘超夺冠即送车!美女老板翻脸+清空社媒退网,永州球员:不厚道

我爱英超
2025-12-31 09:04:10
世界级峡谷悬索桥矮寨大桥3颗螺栓松了?管养单位:巡检已发现将维修,不影响结构安全

世界级峡谷悬索桥矮寨大桥3颗螺栓松了?管养单位:巡检已发现将维修,不影响结构安全

上游新闻
2025-12-30 12:40:06
一个国家正在崩塌:伊朗女孩扔掉头巾,如同大清朝开始剪辫子

一个国家正在崩塌:伊朗女孩扔掉头巾,如同大清朝开始剪辫子

老范谈史
2025-12-29 15:59:06
凌晨3点屏东以南发生激烈对峙,052D不顾阻扰,强行压向台护卫舰

凌晨3点屏东以南发生激烈对峙,052D不顾阻扰,强行压向台护卫舰

墨兰史书
2025-12-31 04:55:03
CBA官方!曾凡博正式完成注册 元旦京粤大战复出迎回归首秀

CBA官方!曾凡博正式完成注册 元旦京粤大战复出迎回归首秀

醉卧浮生
2025-12-31 10:53:15
越南遭遇暴击,从巅峰到崩盘仅仅8天!

越南遭遇暴击,从巅峰到崩盘仅仅8天!

一个坏土豆
2025-12-30 20:07:26
体制内“近亲繁殖”,现阶段无解

体制内“近亲繁殖”,现阶段无解

冰川思想库
2025-12-30 11:38:23
爽!美军售台海马斯被我海警查扣!

爽!美军售台海马斯被我海警查扣!

占豪
2025-12-30 23:26:03
12月30日俄乌:精心包装的谎言,远比不上泽连斯基的睿智

12月30日俄乌:精心包装的谎言,远比不上泽连斯基的睿智

山河路口
2025-12-30 17:48:08
林俊杰官宣恋情不到24小时,女方被扒个底朝天,擦边只是冰山一角

林俊杰官宣恋情不到24小时,女方被扒个底朝天,擦边只是冰山一角

白面书誏
2025-12-30 11:54:05
台当局成立应变中心,“坦克冒烟”上热搜

台当局成立应变中心,“坦克冒烟”上热搜

上观新闻
2025-12-31 06:42:07
数千辆“巨无霸”,每天绵延几公里!沪上公路引发“安全之忧”,相关部门回应

数千辆“巨无霸”,每天绵延几公里!沪上公路引发“安全之忧”,相关部门回应

新民晚报
2025-12-30 19:23:40
说一说我国道德败坏的复方药

说一说我国道德败坏的复方药

科海识贝sci
2025-12-29 10:54:44
涉嫌严重违纪违法!王世明,被查!

涉嫌严重违纪违法!王世明,被查!

中国基金报
2025-12-30 23:24:29
2025-12-31 11:32:49

科技要闻

老罗,演砸了,也封神了?

头条要闻

70后飞行员翻脸将22岁情人告上法庭 让其归还700多万

头条要闻

70后飞行员翻脸将22岁情人告上法庭 让其归还700多万

体育要闻

联盟第一人倒下了!掘金还有底牌吗?

娱乐要闻

林俊杰女友被扒 父亲涉经济案卷款13亿?

财经要闻

朱光耀:美关税政策正使WTO名存实亡

汽车要闻

标配华为乾崑ADS 4 Pro 华境S明年上半年上市

态度原创

本地
旅游
房产
手机
公开课

本地新闻

即将过去的2025年,对重庆的影响竟然如此深远

旅游要闻

西盟佤山 云海翻涌如诗如画

房产要闻

疯了!2025海南拿地榜巨变:榜首狂砸80亿,民企火力全开!

手机要闻

三星Galaxy S26 Ultra手机机模曝光:圆角边框、药丸状相机凸起

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版
×