网易首页 > 网易号 > 正文 申请入驻

数据库40年:从一家独霸,到国产崛起

0
分享至

23年磨一剑。

文 | 华商韬略 熊剑辉

今天,见证国产数据库的崛起。

【扼住数据的“咽喉”】

5月22日,华为完成一件了不起的大事:全球88家子公司的MetaERP系统,成功实现大规模切换。

这是一场史无前例的“全球总动员”。

整个切换过程耗时15小时,地跨亚太、欧洲、中东中亚、南部非洲、拉美5个地区部、6个账务共享中心、75个国家,涵盖ICT、华为云、终端等多个产业。

从未有哪家中国企业,进行过规模如此之大、范围如此之广、复杂程度如此之高的软件工程,这也是“华为有史以来最广泛、最复杂的转型项目”。

ERP(Enterprise resource planning企业资源计划),是企业对人员、资金、业务等进行全方位管理的系统软件,也是最关键、最核心的企业级IT应用。过去20多年,华为一直使用甲骨文ERP,以支撑其每年数千亿、遍布170多个国家和地区的庞大业务。

但2019年,美国突如其来的“制裁”“断供”,令甲骨文中断了ERP的升级服务。

而ERP软件的底座,是号称“软件皇冠上明珠”的数据库。所以,很多ERP只是搞定了面上的“一张皮”,却搞不定内在的“一团魂”,无法替代甲骨文的ERP。

有人评价,华为很可能因此重返“农业社会”。

上承软件、下接硬件的数据库,就这样变成了大国博弈的“杀手锏”。

但这种“抵背扼喉”的致命压制,对华为来说却只道是寻常。

30多年前,华为还是一家初创小公司,靠着帮珠海、香港的公司做代理卖交换机,赚到了“第一桶金”。

但看华为卖得好,供应商很快就“断供”了。

用任正非的话说:当时根本无路可走。

被逼无奈下,华为只好自主研发交换机,并大获成功。

类似的“被逼无奈”不计其数,终于把一只“虫”生生逼成了一条“龙”。

2019年被制裁后,华为不得不在“极限生存”条件下自研“一切”:从芯片、电路板,到操作系统,以及ERP、数据库。

终于——

2023年5月22日,华为成功实现MetaERP系统大规模切换,相当于宣告MetaERP系统、GaussDB数据库的研发取得全面成功。

用华为董事、质量流程IT部总裁陶景文的话说:“我们已经突破了封锁,我们活了下来!”

今天(6月7日),华为云再度揭开了新一代金融级分布式数据库GaussDB的帷幕。

孤注一掷下,GaussDB实现两大突破:

一是核心代码,100%自主研发;二是,GaussDB是国内首个软硬协同、全栈自主的数据库,即可以实现从芯片、服务器、存储、网络,到操作系统、数据库的全栈迁移及替换。

要知道,芯片、操作系统、数据库,号称现代信息技术的三大核心基础。

但不论是X86的CPU,Windows、Linux的操作系统,还是Oracle、MySQL的数据库,基本都被美国把持。

数据库的重要程度,更是不亚于芯片。

大到国家统计、金融交易,中到企业管理、财务信息,小到聊微信、刷抖音、点外卖、玩游戏……APP、小程序的背后,都是数据库作为底层核心在支撑。

而且,数据库都是7X24小时不间断运转,不仅要安全可靠、无时延快速地记录每笔数据,甚至在“618”“双11”这种数据洪峰面前,都不能有丝毫错误。

2020年“两会”期间,全国人大代表、合肥工业大学应用数学研究所所长檀结庆对媒体表示,甲骨文、IBM、微软等国际厂商把持着87.7%的市场份额,数据库行业基本被美国垄断。

由于牵一发而动全身,数据库产品极具黏性,导致在最核心的金融、能源、通信等关键领域,即便有全面断供的风险,也鲜有人动得了Oracle们的“奶酪”。

如今华为云GaussDB的问世,正试图击破这块“铁壁”。

【数据库“帝国”大裂变】

数据库时代的潮水变迁,要追溯到40多年前。

上世纪70年代,IBM的天才研究员科德,把关系型数据库的理论、模型和查询语言SQL,一并琢磨了出来。

只不过“蓝色巨人”依然沉迷于大型计算机,结果让“硅谷大忽悠”拉里·埃里森抓住了史诗级的机会。

1977年,埃里森创立甲骨文,并根据科德的论文研发出Oracle数据库。

早期的Oracle相当不靠谱,但埃里森还是忽悠了美国海军、中情局、国家航天局当“冤大头”,赚到了“第一桶金”。

上世纪90年代,甲骨文的Oracle、IBM的DB2、微软的SQLServer等数据库开始各领。Oracle占据市场先机,日益成熟,令甲骨文的营收连续12 年翻番,成为全球第二大软件公司,一度令埃里森问鼎“硅谷首富”。

风骚

1996年,免费开源数据库MySQL在瑞典诞生。它原本能跟Oracle掰掰手腕,随着2009年甲骨文完成对SUN公司的收购,MySQL也一并被甲骨文收入囊中。

这意味着,Oracle(闭源)和MySQL(开源)两条技术路线,都彻底在甲骨文的掌控之中。

美国数据库产业在大杀四方,此时中国的数据库技术却囿于象牙塔。

结果90年代末,甲骨文们一到中国,就接连斩获金融、电信、航空等领域的超级大单,占据了绝对垄断地位。

关系型数据库,成就了甲骨文们统治全球的黄金时代。

但2008年,时代的洪流突然逆转:NoSQL(非关系型数据库)诞生了。

驱动这场新变革的,是电商。

2007年,阿里98%的系统和业务都跑在Oracle数据库上,IT开销暴涨。

但2009年,即便淘宝跃升为Oracle全球居前的超级应用集群,集群的CPU跑冒了烟,还是扛不住“双十一”的超级洪流。

战无不胜的Oracle,不灵了!

这背后,是图片、语音、视频等非结构化数据呈现指数级暴涨,必须用“云计算+NoSQL”的办法来解决。

比如,你可以把关系型数据库,看成一家“淄博烧烤店”。在Oracle支持下,它每天能招待1000位客人,爆满了。

但现在,“店里”又涌进了1000万人。他们不但要吃烧烤,还要买紫米饼、逛八大局、看鹧鸪戏……

这种天量的、爆发式增长的非结构化数据,瞬间就会冲破关系型数据库的天花板。

所以,“烧烤店”必须升级成云端“烧烤城”。

于是,一场由关系型向非关系型、由集中式向分布式转型的数据库裂变,爆发了!

在分布式数据库里,数据库不会再集中于单机或一地,而会将查询、存储、事务管理等核心功能,扩展到多机或多地。

于是,200万人在A区吃烧烤,300万人在B区逛街,400万人在C区看戏……

另外,云计算通过存算分离、弹性分配等手段,还能打破资源瓶颈,让分布式数据库自由伸缩、无限扩展。

也就是说,哪怕“烧烤城”突然涌进1亿人,分布式数据库“遇强更强”,依然能应对自如。

这是传统的关系型数据库,根本无法比拟的。

如今,NoSQL更进一步发展到NewSQL(新关系型数据库),以便整合传统关系型数据库和NoSQL的优势,使其在OLTP(联机事务处理)和OLAP(联机分析处理)上都能大显身手。

据Gartner预测,2024年,全球数据库市场规模突破千亿美元,而分布式数据库将是最主要的市场增量。

那么,只要对准云化、分布式数据库的城墙口冲锋,国产数据库就一定会迎来“换道超车”的大机会。

【历时23年,强渡“大渡河”】

实际上,华为下决心自研数据库的初衷,一点都不“高大上”。

2000年,华为的电信业务迅猛增长。但客户这边业务结算耗时长,甚至结算不了的状况,让人大伤脑筋。因为电信业务定制多、改动大,只能用国外数据库。可一旦出问题,“原厂大佬”又请不动。

客户很着急,问题很严重。华为人只能壮着胆子,试着改一改,写起了数据库代码。

事就是这么干起来的。

但自研数据库,决不能拿客户当“小白鼠”。所以,“狗粮”必须自己啃,数据库先在内部用。

结果一用,问题不断,骂声一片,“吐槽”的邮件雪片般飞舞,甚至捅到高管层,让研发团队大呼“要命”。

所有人都不自觉在拿业界的最高标准Oracle,来要求初生的华为数据库。

而开发数据库的内核,更像在刀尖上起舞。因为如果第1颗“扣子”没“扣正”,你可能并不知情;但等问题一暴露,你发现已经“扣歪”了10万颗“扣子”了。

这时候,多年的心血付之一炬,架构又要推倒重来,没有人扛得住这样的泣血折磨。

但是正是在客户的“骂声”、华为自身内部业务的打磨下,经过多个技术路线融合、多个版本迭代下,才形成了今天的分布式数据库GaussDB。

2022年4月,中国邮政储蓄银行(以下简称“邮储银行”)新一代个人业务分布式核心系统成功上线,一举成为全球最大的银行分布式新核心系统。

核心系统是银行的“大脑”和“心脏”,不但承载关键任务,而且在亿万次存储、计算中不容丝毫闪失。

以往,这是Oracle才能染指的“禁区”。

但金融服务在线化,使交易频次极速提高,传统Oracle数据库的容量瓶颈、性能支撑、业务负载越来越大,系统资源缺乏弹性,拥堵成了家常便饭。

这次,华为云GaussDB无缝衔接,打破“铁律”。

新系统上线后,邮储银行实现日均20亿笔、峰值6.7万笔/秒的超强交易处理能力。即便面对6.5亿客户、4万多个网点的数据冲击,依然游刃有余。

全天联机平均耗时从93毫秒减少到65毫秒,批处理时间从4.5小时缩短到3小时,季度结息时间从140分钟缩短到25分钟,性能、效率大幅提升。

2023年4月,在“英雄强渡大渡河”MetaERP表彰大会上,华为宣布:自主可控的MetaERP完成了对旧ERP的完全替换。

在这场世界级难度的攻坚战中,华为云GaussDB作为MetaERP的智能数据底座,凭借其高弹性、高性能、高可用等特性,通过了这场终极挑战。

首先,ERP每天要处理海量的业务和数据,其中包括各类应用与ERP的逻辑集成点3950个、数据集成点27000个,以及销售订单行76万、应付开票行21万、会计分录行1500万……

由于华为的业务极度复杂,账本业务量几乎是业界第一,对存储空间要求极高。

但华为云GaussDB通过GTM-Lite技术,实现了计算与存储的自由水平扩展,并能根据业务压力动态伸缩读节点,读吞吐量提升2倍,主/读节点间数据同步秒级时延;容量更从单库TB级扩展到PB级;支持业务压力自动负载均衡,一举解决了传统数据库扩展性不足的问题。

因此,即使面对超大规模业务,以及ERP海量数据存储和并发访问的压力,华为云GaussDB照样能轻松应对。

其次,ERP频繁的业务查询,需要系统在面对成倍并发量时,性能依然保持稳定。

为此,华为云GaussDB通过使用大并发线程池技术,不仅大幅提高系统响应速度,还最大程度节省了资源;加上全新上线的Ustore存储引擎,能将“有效数据”与“垃圾数据”分离存储,同时采用多版本索引技术,有效提升了存储空间的效率和性能。

由此,华为云GaussDB性能抖动降低70%,整体性能提升10%以上;而3000万笔/天的会计分录峰值处理,从30分钟延时变成了实时处理,效率大幅提升。

再次,在高可用性方面,华为云GaussDB还提供了同城AZ(物理资源)内、跨AZ、异地跨Region的两地三中心容灾方案和1000公里以上的城市级容灾能力。

哪怕故障的发生不可避免,跨AZ切换时间短于1分钟,城市级故障分钟级恢复,并确保每一笔交易准确记录,真正实现“数据零丢失、业务永在线”。

23年磨一剑。今天,人们得以见证GaussDB的崛起。

【重构数据库世界“新版图”】

在数据库的世界中,在海量数据、任务并发的情况下,如何让数据处理“不出错”?这是一件极端困难的事情。

这仿佛是在1000万人涌动的“烧烤城”里,要求不走丢人、不传错菜、不走错路。

怎么可能?

但在金融、电信、能源、航空等系统中,极度苛求“稳定压倒一切”。

而凭借高性能、高可用、高安全、高智能、高弹性,以及易部署、易迁移的特性,GaussDB做到了。

2023年,GaussDB在工行核心信贷系统中,上线了业界领先的同城双集群RPO=0(即故障恢复后数据零丢失)方案。

这个方案的强大之处在于,同城两大数据中心,通过数据库软件独立部署,实现了软硬件故障完全隔离。所以,一个数据中心升级(或瘫痪),完全不影响备用中心正常展开业务。

这一架构,真正实现了7*24小时不间断服务,双集群下RPO=0,达成极致的同步性能。

在各类专业测评中,GaussDB拿奖拿到手软:

2022年11月,通过数据库产品最高标准EAL4+认证,成为国内唯一获得国际CC认证的产品;

2023年2月,完成中国信通院《分布式事务型数据库稳定性测评》;

3月,完成信通院《全密态数据库基础能力测评》;

4月,荣获中国电子学会科学技术奖科技进步“一等奖”。

此外,GaussDB还通过了信通院防篡改、智能化、分布式事务基础能力三大专项严苛评测。

所谓防篡改,就是极端情况下,GaussDB依然具备识别风险、防止篡改、备份还原的能力;甚至在内存中实施运算态加密,实现了数据全生命周期内的安全保护,成为业界第一款纯软全密态数据库。

所谓智能化,就是GaussDB作为全球首款AI-Native数据库,提供了从开发到运维的全流程“自动驾驶”能力,并通过趋势预测算法,帮管理者推理预警、智能决策。

所谓分布式事务型数据库基础能力,就是一旦出现高并发需求,GaussDB瞬时反应,就近调集分布式的CPU、内存、存储等系统资源,从而实现秒级弹性伸缩的能力。

而GaussDB全栈自研的软硬件,更是打通了数据库的“任督二脉”,足以将性能发挥到极致。

如此强悍实力的背后,则是全球700+授权专利、80+顶会论文、2000+内核研发人才,在提供强有力的支撑。

80+ISV伙伴联合构架200+解决方案,使得GaussDB涉及的行业,涵盖金融、证券、办公OA、企业ERP,数据库运维管理、备份恢复、迁移工具等。

GaussDB的客户,则遍及金融、电商、汽车、制造、能源等行业,并在工行、建行、农行、邮储银行、华夏银行、中石油、中海油等规模落地,并拥有用友、金蝶、宝兰德、神州信息等生态伙伴。

我们看到,国产数据库正在崛起。

在IDC最新发布的《2022年上半年中国关系型数据库软件市场跟踪报告》中,在本地部署模式市场中,华为云数据库凭借GaussDB以16.59%的份额排名国内第一。自2020H1以来,GaussDB已经连续五次蝉联第一,在国内关系型数据库市场持续领跑。

旧世界在崩塌,新世界在重塑。时代的转换,总令人措手不及。

今天,国产数据库早就过了“能用”的阶段,正趋于成熟,不断向“好用、易用”的阶段迈进。面对数据库这类“国货”,国人应该更包容、更开放、更自信地使用,促其越用越灵、越用越稳,加速其成长。

而大国崛起的大背景,正是以华为云GaussDB为代表的中国数据库真正的大契机。

在这个过程中,哪怕有人不断搞断供、搞制裁,希望籍此扼杀中国企业,但除了遭遇一次次失败,只能激发起中国人更蓬勃、更强大、更坚韧的生命力、创造力。

所有的“垄断”都是用来打破的,面对这场数据库的“国运之战”,华为再次证明:

“中国有能力做出和世界顶级数据库媲美的产品。”

欢迎关注【华商韬略】,识风云人物,读韬略传奇。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
曼晚回忆桑切斯:他带着期望加盟曼联,却在首次训练后想要回枪手

曼晚回忆桑切斯:他带着期望加盟曼联,却在首次训练后想要回枪手

直播吧
2024-04-29 18:35:22
城中之城:看到大结局陶无忌赵辉父子相认!才懂苗彻为何辞职隐退

城中之城:看到大结局陶无忌赵辉父子相认!才懂苗彻为何辞职隐退

娱乐圈酸柠檬
2024-04-30 07:40:01
李连杰携女儿探望向太!两手插兜惹争议,女儿颜值高媲美利智!

李连杰携女儿探望向太!两手插兜惹争议,女儿颜值高媲美利智!

柠檬有娱乐
2024-04-30 11:44:26
中超第九轮裁判安排:新人主哨多,名哨坐黑屋,马宁再为海港护航

中超第九轮裁判安排:新人主哨多,名哨坐黑屋,马宁再为海港护航

阿牛体育说
2024-04-30 14:02:22
中央督察后被撤职的原市长,“消失”两年后又被查了

中央督察后被撤职的原市长,“消失”两年后又被查了

政知新媒体
2024-04-29 20:13:58
问界M7追尾起火3人遇难,四大疑问待解

问界M7追尾起火3人遇难,四大疑问待解

红星新闻
2024-04-28 23:30:17
6万吨和8万吨的差距有多大?把山东舰和福建舰放一起比就一目了然

6万吨和8万吨的差距有多大?把山东舰和福建舰放一起比就一目了然

我是娱乐哥
2024-04-13 08:51:39
陕西高二女生操场生子,调查后发现,孩子父亲身份令人傻眼

陕西高二女生操场生子,调查后发现,孩子父亲身份令人傻眼

青丝人生
2023-11-30 18:09:24
15岁泰国“男妓鸭王”:感谢艾滋病毒选择了我,让我能拯救更多人

15岁泰国“男妓鸭王”:感谢艾滋病毒选择了我,让我能拯救更多人

妮子说美食
2024-04-29 15:14:44
上海29分惨败夜却给辽宁致命一击?广东或成大赢家:续约周琦稳了

上海29分惨败夜却给辽宁致命一击?广东或成大赢家:续约周琦稳了

篮球快餐车
2024-04-30 01:17:41
施伯雄疑吐槽吴千语不省事:比较自我,性格倔不轻易妥协,爱炫耀

施伯雄疑吐槽吴千语不省事:比较自我,性格倔不轻易妥协,爱炫耀

娱乐八卦木木子
2024-04-29 23:13:52
中国市场惩罚苹果:手机销量大跌近20%,华为大增70%!

中国市场惩罚苹果:手机销量大跌近20%,华为大增70%!

科记集中地
2024-04-30 14:47:18
现场球迷:没人看比赛!所有人都只想看梅西一眼!

现场球迷:没人看比赛!所有人都只想看梅西一眼!

历史第一人梅西
2024-04-29 22:25:33
痛失首富,山东第一民企杀入造车行业,能再卷个世界第一吗?

痛失首富,山东第一民企杀入造车行业,能再卷个世界第一吗?

本原科技
2024-04-30 09:35:15
U17女足今日出征亚洲杯,范埃格蒙德:目标夺冠!

U17女足今日出征亚洲杯,范埃格蒙德:目标夺冠!

足球报
2024-04-30 14:43:05
她是正国级领导之女,投资银行界的佼佼者,敢打敢拼令人佩服

她是正国级领导之女,投资银行界的佼佼者,敢打敢拼令人佩服

历史1949
2024-04-30 00:19:36
伊朗一场导弹雨,同时炸醒3个国家:若来的是中国导弹将毫无胜算

伊朗一场导弹雨,同时炸醒3个国家:若来的是中国导弹将毫无胜算

娱乐圈小胡椒
2024-04-29 10:49:36
NASA利用激光链路以25Mbps的速度将数据在太空中传输了1.4亿英里

NASA利用激光链路以25Mbps的速度将数据在太空中传输了1.4亿英里

cnBeta.COM
2024-04-30 04:51:11
4月30日下午,突然曝出一个重大消息!又要来大动作吗?

4月30日下午,突然曝出一个重大消息!又要来大动作吗?

股市皆大事
2024-04-30 13:15:06
朝鲜战场上,彭德怀当众扇了金日成两耳光,志愿军官兵:打得好!

朝鲜战场上,彭德怀当众扇了金日成两耳光,志愿军官兵:打得好!

洞鉴五千年
2024-04-29 15:37:25
2024-04-30 15:36:49
华商韬略
华商韬略
聚焦标杆热点、解构趋势韬略
8266文章数 382001关注度
往期回顾 全部

财经要闻

查道炯:中国经济的外部挑战与应对思考

头条要闻

女子万元买的衬衣手洗完现划痕 商家拒退货:不能水洗

头条要闻

女子万元买的衬衣手洗完现划痕 商家拒退货:不能水洗

体育要闻

哈姆关键挑战又成败笔 詹姆斯黑脸离场

娱乐要闻

黄子韬被曝求婚徐艺洋 大量亲密照曝光

科技要闻

特斯拉和百度独家深度定制车道级高辅地图

汽车要闻

越野老炮最爱 哈弗新H9新增2.4T柴油机

态度原创

手机
本地
房产
游戏
公开课

手机要闻

网传小米MIX Fold 4厚度将破纪录:拥有5000mAh电池

本地新闻

食味印象 | 潍坊:碳水脑袋的人间乐园

房产要闻

刺激!市区惊现1.1w/㎡新房+现房!海口楼市,五一打响价格战!

幻唐志高等级力天魔爆发堪比万兽?隐身躲技能分分钟反杀

公开课

父亲年龄越大孩子越不聪明?

无障碍浏览 进入关怀版