网易首页 > 网易号 > 正文 申请入驻

超越Hadoop、Spark的国产OLAP引擎!CyrexCube多维数据库测试报告

0
分享至

Cyrex Cube是一个国产分布式OLAP引擎,由于使用C语言进行开发,具有极高的效率。

针对千亿级明细数据的多维数据集,Cyrex Cube理论上能够在10秒时间内完成对任何粒度数据的任何多维分析和即席查询。

Cyrex Cube的全部测试均在无缓存支持的情况下完成。

此次测试在一台16G内存8核CPU的CentOS机器上进行,进行的是Cyrex Cube的单worker节点测试。

数据模型是一个具有8个维度和两个度量值的多维数据集。

8个维度

度量值

8个维度明细成员数量的笛卡尔积为9亿8千万左右,度量值为两个,可以计算出整个数据集明细数据量为17亿,由于是内存计算,此时Cyrex Cube将占用13G左右的内存。

如果连同非明细成员计算,8个维度成员数量笛卡尔积为60亿左右,再与度量值数量进行相乘,整个多维数据集的全部数据量为120亿左右。

测试首先在应用端进行,应用端平台是Cyrex BI,是一个100%面向业务式的自助分析平台,Cyrex BI提供了完全的图形化操作界面,让无任何技术能力的业务人员也能轻松驾驭数据分析。

登录Cyrex BI后选择相应的多维数据集,可在左侧数据模型视图中浏览维度和度量结构。

随后,拖拽任意维度的任意粒度成员,放置到页面右侧多维查询结果表格的或任何位置(行位置、列位置、过滤条),并且可以随意的旋转表格进行行列互换,随意把任何维度在任何位置进行交叉组合,在任意非明细维度成员上进行向下钻取,所有的查询都可以在几秒钟内完成。

登录系统

多维分析01

多维分析02

图形预览01

图形预览02

图形预览03

在随后的自动化查询中,使用1000个MDX(多维查询表达式)进行随机查询,测试结果MDX的平均响应时间均在6秒以内。

服务器CPU核数的增加可以加快Cyrex Cube的查询效率。

此次测试中,进行一个粒度非常大的查询,响应时间在7秒左右,当使用4个并行线程同时进行查询时,每个线程的完成时间在9秒左右,8个线程并行时,每个线程完成时间在12秒左右。

并行测试结果统计

对于明细数据量达到千亿、万亿乃至更多时,可以采用Cyrex Cube的分布式方案进行解决。

Cyrex Cube在16台服务器(3台master节点,13台worker节点)上对明细数据量190亿的多维数据集进行过测试,其中每个worker承载的最大数据量不超过15亿。

master和worker节点组成一个树状结构。

百亿级数据支持架构

Cyrex Cube在分布式结构中,worker节点承担具体的聚合运算任务,master通过map-reduce算法将聚合任务分配给各个worker,随后进行汇总。

由于Cyrex Cube采用高效的C语言进行开发,并且每个master不承担具体的运算任务,所以Cyrex Cube在分布式结构下的响应效率与单worker节点情况几乎相同。

以64G内存8核cpu的Linux服务器为例,每台服务器上可以运行6个worker节点,每个worker承载10亿级数据,那么20台左右的服务器便能搭建一个秒级响应千亿级明细数据的多维分析平台。

千亿级数据支持架构(理论)

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
用时5小时18分!张朝阳成功横渡“南澳岛—饶平海湾”

用时5小时18分!张朝阳成功横渡“南澳岛—饶平海湾”

极目新闻
2025-09-14 19:01:42
70岁米歇尔表白52岁巩俐:嫁给我,我年入5亿!巩俐:我每周做4次有氧运动,你跟得上吗?

70岁米歇尔表白52岁巩俐:嫁给我,我年入5亿!巩俐:我每周做4次有氧运动,你跟得上吗?

广电新视网
2025-09-13 12:04:43
扶老人过马路被打后续:老人已找到,目击者发声,警方:需要道歉

扶老人过马路被打后续:老人已找到,目击者发声,警方:需要道歉

奇思妙想草叶君
2025-09-14 22:28:58
前华人首富赵长鹏回国!痛快交531亿罚款,成全球最相信美国大冤种

前华人首富赵长鹏回国!痛快交531亿罚款,成全球最相信美国大冤种

不写散文诗
2025-09-14 16:10:13
引火上身?胖东来站台西贝遭打脸,亲自承认有隔夜菜,罗永浩说对

引火上身?胖东来站台西贝遭打脸,亲自承认有隔夜菜,罗永浩说对

法老不说教
2025-09-12 22:03:34
柯文哲再抛联合政府!蓝委:可合作

柯文哲再抛联合政府!蓝委:可合作

新时光点滴
2025-09-15 05:36:53
官宣:青岛市委常委孙永红,被查

官宣:青岛市委常委孙永红,被查

新京报政事儿
2025-09-14 10:21:31
为什么以色列不敢轻易碰阿尔及利亚?

为什么以色列不敢轻易碰阿尔及利亚?

陆弃
2025-09-14 08:30:06
抱怨过多,不配队长?B费回应外界质疑:不会改变风格

抱怨过多,不配队长?B费回应外界质疑:不会改变风格

臻体育
2025-09-14 18:37:56
劳动性所得统一征税!国家新明确:未来五年,税收将迎来8大变化

劳动性所得统一征税!国家新明确:未来五年,税收将迎来8大变化

学税
2024-07-23 15:25:30
2000多亿买回一堆垃圾?印尼与韩方公开反目,韩媒:要怪就怪中国

2000多亿买回一堆垃圾?印尼与韩方公开反目,韩媒:要怪就怪中国

8哥话天下
2025-09-13 16:40:43
亚冠海港VS神户胜利船:轮换8大主将,蒯纪闻领衔,古斯塔沃冲锋

亚冠海港VS神户胜利船:轮换8大主将,蒯纪闻领衔,古斯塔沃冲锋

零度眼看球
2025-09-15 07:22:19
40岁5天,莫德里奇成为意甲有史以来进球年龄最大的中场

40岁5天,莫德里奇成为意甲有史以来进球年龄最大的中场

懂球帝
2025-09-15 04:32:25
未来名人堂?施罗德:若没夺冠肯定不过生日 MVP该和小瓦格纳分享

未来名人堂?施罗德:若没夺冠肯定不过生日 MVP该和小瓦格纳分享

罗说NBA
2025-09-15 06:06:43
为了一张地图,大厂们要“钞”起来了

为了一张地图,大厂们要“钞”起来了

每日资本论
2025-09-15 07:00:09
德国88-83逆转土耳其夺欧锦赛冠军,施罗德16+12,申京28分

德国88-83逆转土耳其夺欧锦赛冠军,施罗德16+12,申京28分

懂球帝
2025-09-15 04:00:21
白天陪玩晚上陪睡?明码标价8000一次!高端伴游沦为色情交易温床

白天陪玩晚上陪睡?明码标价8000一次!高端伴游沦为色情交易温床

阿纂看事
2025-08-29 15:46:57
43岁贾玲最新状态再创新巅峰,网友:这样一看,言承旭高攀了

43岁贾玲最新状态再创新巅峰,网友:这样一看,言承旭高攀了

娱乐故事
2025-09-14 23:56:02
FMVP+最佳防守球员,如此优秀的锋线侧翼,湖人当年竟然没有发现

FMVP+最佳防守球员,如此优秀的锋线侧翼,湖人当年竟然没有发现

移动挡拆
2025-09-15 07:53:15
女知青口述:生产队里无好人

女知青口述:生产队里无好人

霹雳炮
2025-09-14 22:30:07
2025-09-15 08:31:00
邦格科技
邦格科技
提供全球领先的数据分析服务
22文章数 20关注度
往期回顾 全部

科技要闻

AI眼镜能否成为下一代人机互动的超级入口?

头条要闻

NASA叫嚣美国"一定会在中国之前登月" 前局长当众拆台

头条要闻

NASA叫嚣美国"一定会在中国之前登月" 前局长当众拆台

体育要闻

利物浦1-0绝杀十人伯恩利 萨拉赫95分钟点射

娱乐要闻

花泽香菜官宣离婚 结束与老公5年婚姻

财经要闻

西贝贾国龙,“错”得离谱

汽车要闻

混动狂潮 835马力V12 阿斯顿·马丁的最后浪漫

态度原创

家居
教育
健康
艺术
公开课

家居要闻

原木风格 温馨舒适氛围

教育要闻

山东多校开展开学第一课活动,费曼学习法被推荐

内分泌科专家破解身高八大谣言

艺术要闻

故宫珍藏的墨迹《十七帖》,比拓本更精良,这才是地道的魏晋写法

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版