网易首页 > 网易号 > 正文 申请入驻

超越Hadoop、Spark的国产OLAP引擎!CyrexCube多维数据库测试报告

0
分享至

Cyrex Cube是一个国产分布式OLAP引擎,由于使用C语言进行开发,具有极高的效率。

针对千亿级明细数据的多维数据集,Cyrex Cube理论上能够在10秒时间内完成对任何粒度数据的任何多维分析和即席查询。

Cyrex Cube的全部测试均在无缓存支持的情况下完成。

此次测试在一台16G内存8核CPU的CentOS机器上进行,进行的是Cyrex Cube的单worker节点测试。

数据模型是一个具有8个维度和两个度量值的多维数据集。

8个维度

度量值

8个维度明细成员数量的笛卡尔积为9亿8千万左右,度量值为两个,可以计算出整个数据集明细数据量为17亿,由于是内存计算,此时Cyrex Cube将占用13G左右的内存。

如果连同非明细成员计算,8个维度成员数量笛卡尔积为60亿左右,再与度量值数量进行相乘,整个多维数据集的全部数据量为120亿左右。

测试首先在应用端进行,应用端平台是Cyrex BI,是一个100%面向业务式的自助分析平台,Cyrex BI提供了完全的图形化操作界面,让无任何技术能力的业务人员也能轻松驾驭数据分析。

登录Cyrex BI后选择相应的多维数据集,可在左侧数据模型视图中浏览维度和度量结构。

随后,拖拽任意维度的任意粒度成员,放置到页面右侧多维查询结果表格的或任何位置(行位置、列位置、过滤条),并且可以随意的旋转表格进行行列互换,随意把任何维度在任何位置进行交叉组合,在任意非明细维度成员上进行向下钻取,所有的查询都可以在几秒钟内完成。

登录系统

多维分析01

多维分析02

图形预览01

图形预览02

图形预览03

在随后的自动化查询中,使用1000个MDX(多维查询表达式)进行随机查询,测试结果MDX的平均响应时间均在6秒以内。

服务器CPU核数的增加可以加快Cyrex Cube的查询效率。

此次测试中,进行一个粒度非常大的查询,响应时间在7秒左右,当使用4个并行线程同时进行查询时,每个线程的完成时间在9秒左右,8个线程并行时,每个线程完成时间在12秒左右。

并行测试结果统计

对于明细数据量达到千亿、万亿乃至更多时,可以采用Cyrex Cube的分布式方案进行解决。

Cyrex Cube在16台服务器(3台master节点,13台worker节点)上对明细数据量190亿的多维数据集进行过测试,其中每个worker承载的最大数据量不超过15亿。

master和worker节点组成一个树状结构。

百亿级数据支持架构

Cyrex Cube在分布式结构中,worker节点承担具体的聚合运算任务,master通过map-reduce算法将聚合任务分配给各个worker,随后进行汇总。

由于Cyrex Cube采用高效的C语言进行开发,并且每个master不承担具体的运算任务,所以Cyrex Cube在分布式结构下的响应效率与单worker节点情况几乎相同。

以64G内存8核cpu的Linux服务器为例,每台服务器上可以运行6个worker节点,每个worker承载10亿级数据,那么20台左右的服务器便能搭建一个秒级响应千亿级明细数据的多维分析平台。

千亿级数据支持架构(理论)

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
炸掉干扰站,撕开伊朗信息铁幕:美以这一刀,捅在德黑兰的喉管上

炸掉干扰站,撕开伊朗信息铁幕:美以这一刀,捅在德黑兰的喉管上

老马拉车莫少装
2026-03-28 09:18:09
1-0,58岁塞尔维亚籍主帅发威:率中国男足掀翻大洋洲劲旅

1-0,58岁塞尔维亚籍主帅发威:率中国男足掀翻大洋洲劲旅

侧身凌空斩
2026-03-28 16:54:31
国家一级女演员陈丽云被逮捕!

国家一级女演员陈丽云被逮捕!

许三岁
2026-03-28 09:24:30
三分10投0中!亚历山大创造生涯单场三分最差纪录

三分10投0中!亚历山大创造生涯单场三分最差纪录

北青网-北京青年报
2026-03-28 15:41:02
温暖如春!上海今天22℃,明天23℃!下周一大风+大雨+雷电!

温暖如春!上海今天22℃,明天23℃!下周一大风+大雨+雷电!

上观新闻
2026-03-28 13:52:10
170cm的环神师妹,出道即巅峰!

170cm的环神师妹,出道即巅峰!

贵圈真乱
2026-03-28 13:11:50
霍尔木兹海峡停摆,浙江这位船商却公开承诺:不加价!他说这是浙江人的契约精神

霍尔木兹海峡停摆,浙江这位船商却公开承诺:不加价!他说这是浙江人的契约精神

都市快报橙柿互动
2026-03-28 00:20:22
张雪峰葬礼结束!亲友全哭了,几万人送别,学生捧录取通知书送别

张雪峰葬礼结束!亲友全哭了,几万人送别,学生捧录取通知书送别

180视角
2026-03-28 12:22:56
张雪峰出殡现场:送行队伍绵延数公里、交警维持秩序、菊花卖脱销

张雪峰出殡现场:送行队伍绵延数公里、交警维持秩序、菊花卖脱销

娱乐圈圈圆
2026-03-28 10:48:11
张雪峰为什么配享太庙

张雪峰为什么配享太庙

黔有虎
2026-03-28 17:25:42
味多美拒招北京人?门店实锤公司规定,翻脸太离谱

味多美拒招北京人?门店实锤公司规定,翻脸太离谱

趣味萌宠的日常
2026-03-28 15:52:41
传机长下体被女乘务长损坏,涉事航空公司被扒,事发全过程被还原

传机长下体被女乘务长损坏,涉事航空公司被扒,事发全过程被还原

博士观察
2026-03-27 18:08:37
张雪峰生前推荐的6所高校,性价比极高,记得默默收藏!

张雪峰生前推荐的6所高校,性价比极高,记得默默收藏!

教育导向分享
2026-03-25 22:32:02
冰雹!大暴雨!8~10级雷暴大风!今年首场大范围强对流天气即将来袭,注意防范

冰雹!大暴雨!8~10级雷暴大风!今年首场大范围强对流天气即将来袭,注意防范

环球网资讯
2026-03-28 15:49:15
娃哈哈被曝大规模停产,“连AD钙奶和营养快线都让停了”,知情人:正常排产调整,“宗馥莉的管理方式和宗庆后确实不一样”

娃哈哈被曝大规模停产,“连AD钙奶和营养快线都让停了”,知情人:正常排产调整,“宗馥莉的管理方式和宗庆后确实不一样”

每日经济新闻
2026-03-28 11:57:07
一把好牌打得稀烂!四胞胎“冰清玉洁”出道失败,沦为酒吧擦边女

一把好牌打得稀烂!四胞胎“冰清玉洁”出道失败,沦为酒吧擦边女

离离言几许
2026-03-28 14:17:07
大外交|美国“带着炸弹谈判”,中方密集外交促和:斡旋伊朗局势的关键变量

大外交|美国“带着炸弹谈判”,中方密集外交促和:斡旋伊朗局势的关键变量

澎湃新闻
2026-03-27 22:10:26
在以色列住了30天,我彻底破防:没有战火只有离谱物价和反差人生

在以色列住了30天,我彻底破防:没有战火只有离谱物价和反差人生

老特有话说
2026-03-28 12:53:08
广东:坚决拥护党中央决定

广东:坚决拥护党中央决定

新京报政事儿
2026-03-27 22:17:04
张雪峰追悼会现场!天不亮排长队,妈妈哭得很伤心,汪涵前去送别

张雪峰追悼会现场!天不亮排长队,妈妈哭得很伤心,汪涵前去送别

180视角
2026-03-28 10:03:05
2026-03-28 18:40:49
邦格科技
邦格科技
提供全球领先的数据分析服务
22文章数 20关注度
往期回顾 全部

科技要闻

遭中国学界"拉黑"后,这家AI顶会低头道歉

头条要闻

特朗普:北约没支持美打击伊朗 美国以后也不会帮北约

头条要闻

特朗普:北约没支持美打击伊朗 美国以后也不会帮北约

体育要闻

“我是全家最差劲的运动员”

娱乐要闻

王一博改名上热搜!个人时代正式开启!

财经要闻

卧底"科技与狠活"培训:化工调味剂泛滥

汽车要闻

置换补贴价4.28万起 第五代宏光MINIEV正式上市

态度原创

亲子
艺术
教育
时尚
家居

亲子要闻

爱玩沙子是孩子的天性,这套#太空沙玩具 在家就能实现玩沙子的快乐,关键比去游乐场玩干净卫生。#儿童玩...

艺术要闻

这位富二代写的草书,据说康生临摹500多遍

教育要闻

AI+教师发展公益行暨第二届全国“英语读思言”及成果展评研讨会在福建泉州成功举办

龙虾来了,厌蠢症炸了

家居要闻

曲线华尔兹 现代简约

无障碍浏览 进入关怀版