网易首页 > 网易号 > 正文 申请入驻

开源“摩尔定律”即将打破,《2022开源大数据热力报告》重磅发布

0
分享至

11月5日,在2022云栖大会一体化大数据智能峰会上,由开放原子开源基金会、X-lab开放实验室和阿里巴巴开源委员会联合出品的《2022年开源大数据热力报告》重磅发布。

开放原子开源基金会副秘书长刘京娟女士对报告进行了深度解读。报告基于公开数据研究最活跃的102个开源大数据项目,探寻出开源大数据技术发展背后的“摩尔定律”:每隔40个月,开源项目热力值就会翻一倍,技术完成一轮更新迭代。在过去8年里,发生了5次较大规模的技术热力跃迁,多元化、一体化、云原生成为当前开源大数据发展趋势的最显著特征。

定量分析“后Hadoop时代”开源趋势

Hadoop 作为开源大数据技术的起源,兴起于2006年,至今已有16年历史。我们收集了从Hadoop 发展第10年(即2015年)至今的相关公开数据,并进行了关联分析,定义了开源项目热力值研究模型,使用量化指标,来刻画开源项目的开发迭代活跃度和受开发者欢迎程度。

报告所呈现的开源大数据热力图,从技术全景、技术栈分类以及项目维度对入围项目的热力表现进行洞察,将项目进程中的关键事件与热力表现关联分析,并访谈了开源基金会、知名开源项目等领域专家,尝试找到项目健康发展一般规律,并对有效提升项目影响力的方法论进行了归纳总结。

开源大数据技术的“摩尔定律”即将打破

报告发现,每隔40个月,热力值会提升1倍,开源大数据完成一轮技术迭代升级,而且技术周期在加速缩短。在8年时间内,发生了多轮热力变迁,反映出背后技术的更新换代趋势。开发者对「数据查询与分析」保持了长期的开发热情,这一技术栈连续8年位于热力值榜首。2017年,「流处理」热力值超过「批处理」,大数据处理进入实时阶段。随着数据规模越来越大,数据结构更多样化,「数据集成」从2020年开始爆发式增长。

三大热力趋势:多元化、一体化和云原生

用户需求多样化推动技术多元化。「数据湖」以34%的热力值年均复合增长率高居热力值增速第一位,「交互式分析」、「DataOps」紧随其后,分列第二、三位 。而原有Hadoop体系的产品迭代则趋于稳定,热力值年均复合增长率为1%。

从2015年开始,计算部分率先进入「一体化」演进历程,其中的典型代表「流批一体」在2019年出现第一个热力峰值。以数据湖存储为代表的存储一体化从2019年起进入了一个新的发展阶段,涌现了Delta Lake、 Iceberg和Hudi等热点项目。

云原生大规模重构开源技术栈。诞生于云原生时代的开源项目如雨后春笋般破土成长。「数据集成」、「数据存储」、「数据开发与管理」等领域都发生了非常大的项目更迭,新项目热力值占比已经超过了80%。

开源大数据热力榜单TOP30

本报告从102个入围项目中,评选出了TOP30热力榜单。Kibana以989.40的热力值高居榜首。ClickHouse(数据查询与分析)、Airflow(数据调度与编排)、Flink(流处理)、Airbyte(数据集成)分别摘得各自细分领域的TOP1。Pulsar、Doris、StarRocks、DolphinScheduler、SeaTunnel等一众中国开源项目也表现出高热力趋势。把解决用户痛点作为核心竞争力,是这些优秀开源项目的共同特征,这一特征保证它们与时俱进,成为热力趋势中的“常青树”。

感谢开源中国、InfoQ和阿里云开发者社区的战略支持,感谢对本报告内容产出做出重要贡献的32位专家和贡献者。感谢CSDN、DataFun、Segmentfault思否、开源社等社区合作。

报告下载地址:

https://files.alicdn.com/tpsservice/d985b559f65e3ffd004620e0050e9f21.pdf

立即下载报告

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
归化专家:目前全球活跃在各级联赛U10队伍以上华裔球员近200位

归化专家:目前全球活跃在各级联赛U10队伍以上华裔球员近200位

直播吧
2024-06-16 16:41:13
国足晋级18强!上上签即将诞生,冲击小组前二,有望直通世界杯

国足晋级18强!上上签即将诞生,冲击小组前二,有望直通世界杯

体坛春秋
2024-06-16 21:34:03
范志毅:有人看好荷兰是黑马,我认为荷兰这种传统强队不能这么叫

范志毅:有人看好荷兰是黑马,我认为荷兰这种传统强队不能这么叫

直播吧
2024-06-16 20:45:19
抗癌中草药第一名,把肿瘤细胞逐个击破

抗癌中草药第一名,把肿瘤细胞逐个击破

肿瘤科王红军
2024-06-16 15:41:39
江西于都出现中华穿山甲,蜷缩成一团在路边,每年吃掉750万只蚁

江西于都出现中华穿山甲,蜷缩成一团在路边,每年吃掉750万只蚁

老牛讲
2024-06-16 13:50:02
破案了!龚翔宇痛哭真相大白,知情人揭内情,球迷错怪教练蔡斌了

破案了!龚翔宇痛哭真相大白,知情人揭内情,球迷错怪教练蔡斌了

二哥聊球
2024-06-16 22:18:43
那些年手感最好的十二部手机,你用过哪几款?

那些年手感最好的十二部手机,你用过哪几款?

最潮家居评
2024-06-16 16:38:15
从亚洲最大的算力中心,看华为和英伟达的差距!

从亚洲最大的算力中心,看华为和英伟达的差距!

嘿哥哥科技
2024-06-16 17:47:38
17岁身价上亿?亚马尔1年前15岁0身价,如今16岁已涨至9000万

17岁身价上亿?亚马尔1年前15岁0身价,如今16岁已涨至9000万

直播吧
2024-06-16 11:01:22
倪妮被偶遇造型惨不忍睹,小腹隆起像怀孕,皮肤很黄显老仪态变差

倪妮被偶遇造型惨不忍睹,小腹隆起像怀孕,皮肤很黄显老仪态变差

娱乐白名单
2024-06-16 13:36:32
主板IPO丨浙能燃气等待注册生效,毛利率低于同行,现金流充裕募资必要性存疑

主板IPO丨浙能燃气等待注册生效,毛利率低于同行,现金流充裕募资必要性存疑

时代商学院
2024-06-16 17:03:17
她曾是安徽省省长,后出任全国政协副主席,如今70岁仍在奋斗!

她曾是安徽省省长,后出任全国政协副主席,如今70岁仍在奋斗!

历史龙元阁
2024-06-16 15:35:31
教师因救人上课迟到被处分!网传举报的是留学生,当事人回应!

教师因救人上课迟到被处分!网传举报的是留学生,当事人回应!

远荐
2024-06-16 15:08:00
沉浸式乘坐高铁优选一等座

沉浸式乘坐高铁优选一等座

悠闲葡萄
2024-06-16 10:15:32
张本美和惨败!16岁生日夜0-3被横扫,第11次输给早田希娜

张本美和惨败!16岁生日夜0-3被横扫,第11次输给早田希娜

全言作品
2024-06-16 19:36:51
创业板IPO|数智交院提交注册一年仍未获批,部分项目合规性遭深交所质疑

创业板IPO|数智交院提交注册一年仍未获批,部分项目合规性遭深交所质疑

时代商学院
2024-06-16 17:07:11
媒体人:崔永熙确定放弃退选的选项,会将今年的参选进行到底

媒体人:崔永熙确定放弃退选的选项,会将今年的参选进行到底

懂球帝
2024-06-16 18:28:33
姜萍数赛夺12名后续:13名刘奔上热搜,本人发声回应,评论搞笑

姜萍数赛夺12名后续:13名刘奔上热搜,本人发声回应,评论搞笑

180°视角
2024-06-15 12:39:00
港澳通行证为什么还没取消?

港澳通行证为什么还没取消?

基本常识
2024-06-15 22:25:31
2名主帅认可国足:直言中国男足有能力击败亚洲任何对手

2名主帅认可国足:直言中国男足有能力击败亚洲任何对手

茜子足球
2024-06-16 20:57:45
2024-06-16 23:14:44
开源中国
开源中国
每天为开发者推送最新技术资讯
6329文章数 34225关注度
往期回顾 全部

科技要闻

iPhone 16会杀死大模型APP吗?

头条要闻

理想车友聚会多车连环追尾 组织者:突遭大雨 车距较近

头条要闻

理想车友聚会多车连环追尾 组织者:突遭大雨 车距较近

体育要闻

没人永远年轻 但青春如此无敌还是离谱了些

娱乐要闻

上影节红毯:倪妮好松弛,娜扎吸睛

财经要闻

打断妻子多根肋骨 上市公司创始人被公诉

汽车要闻

售17.68万-21.68万元 极狐阿尔法S5正式上市

态度原创

教育
手机
游戏
时尚
健康

教育要闻

高考志愿怎么报?人民日报发布填报技巧→

手机要闻

消息称苹果计划为 iPhone 17 系列开发一款更薄的机型

68天!最后的《喷射1》玩家已断开服务器连接

伊姐周日热推:电影《沙漏》;动漫《眷思量2》......

晚餐不吃or吃七分饱,哪种更减肥?

无障碍浏览 进入关怀版