网易首页 > 网易号 > 正文 申请入驻

超越Hadoop、Spark的国产OLAP引擎!CyrexCube多维数据库测试报告

0
分享至

Cyrex Cube是一个国产分布式OLAP引擎,由于使用C语言进行开发,具有极高的效率。

针对千亿级明细数据的多维数据集,Cyrex Cube理论上能够在10秒时间内完成对任何粒度数据的任何多维分析和即席查询。

Cyrex Cube的全部测试均在无缓存支持的情况下完成。

此次测试在一台16G内存8核CPU的CentOS机器上进行,进行的是Cyrex Cube的单worker节点测试。

数据模型是一个具有8个维度和两个度量值的多维数据集。

8个维度

度量值

8个维度明细成员数量的笛卡尔积为9亿8千万左右,度量值为两个,可以计算出整个数据集明细数据量为17亿,由于是内存计算,此时Cyrex Cube将占用13G左右的内存。

如果连同非明细成员计算,8个维度成员数量笛卡尔积为60亿左右,再与度量值数量进行相乘,整个多维数据集的全部数据量为120亿左右。

测试首先在应用端进行,应用端平台是Cyrex BI,是一个100%面向业务式的自助分析平台,Cyrex BI提供了完全的图形化操作界面,让无任何技术能力的业务人员也能轻松驾驭数据分析。

登录Cyrex BI后选择相应的多维数据集,可在左侧数据模型视图中浏览维度和度量结构。

随后,拖拽任意维度的任意粒度成员,放置到页面右侧多维查询结果表格的或任何位置(行位置、列位置、过滤条),并且可以随意的旋转表格进行行列互换,随意把任何维度在任何位置进行交叉组合,在任意非明细维度成员上进行向下钻取,所有的查询都可以在几秒钟内完成。

登录系统

多维分析01

多维分析02

图形预览01

图形预览02

图形预览03

在随后的自动化查询中,使用1000个MDX(多维查询表达式)进行随机查询,测试结果MDX的平均响应时间均在6秒以内。

服务器CPU核数的增加可以加快Cyrex Cube的查询效率。

此次测试中,进行一个粒度非常大的查询,响应时间在7秒左右,当使用4个并行线程同时进行查询时,每个线程的完成时间在9秒左右,8个线程并行时,每个线程完成时间在12秒左右。

并行测试结果统计

对于明细数据量达到千亿、万亿乃至更多时,可以采用Cyrex Cube的分布式方案进行解决。

Cyrex Cube在16台服务器(3台master节点,13台worker节点)上对明细数据量190亿的多维数据集进行过测试,其中每个worker承载的最大数据量不超过15亿。

master和worker节点组成一个树状结构。

百亿级数据支持架构

Cyrex Cube在分布式结构中,worker节点承担具体的聚合运算任务,master通过map-reduce算法将聚合任务分配给各个worker,随后进行汇总。

由于Cyrex Cube采用高效的C语言进行开发,并且每个master不承担具体的运算任务,所以Cyrex Cube在分布式结构下的响应效率与单worker节点情况几乎相同。

以64G内存8核cpu的Linux服务器为例,每台服务器上可以运行6个worker节点,每个worker承载10亿级数据,那么20台左右的服务器便能搭建一个秒级响应千亿级明细数据的多维分析平台。

千亿级数据支持架构(理论)

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
董宇辉“单飞” 销售额超东方甄选,东方甄选市值缩水超100亿港元

董宇辉“单飞” 销售额超东方甄选,东方甄选市值缩水超100亿港元

大眼瞄世界
2024-06-05 13:31:20
清华教授王文湛发声说:凭什么拿我们纳税人的钱去供养留学生!

清华教授王文湛发声说:凭什么拿我们纳税人的钱去供养留学生!

华人星光
2024-06-03 17:29:51
被国网拉黑,损失或达33亿元!这家公司股价崩了,股民曾灵魂拷问:你们有26个博士741个硕士,搞芯片市值不如香飘飘?

被国网拉黑,损失或达33亿元!这家公司股价崩了,股民曾灵魂拷问:你们有26个博士741个硕士,搞芯片市值不如香飘飘?

每日经济新闻
2024-06-05 13:16:12
普京惊人举动!公开场合开始穿防弹背心

普京惊人举动!公开场合开始穿防弹背心

亡海中的彼岸花
2024-06-04 23:45:46
原湖南建工集团有限公司党委书记、董事长叶新平接受审查调查

原湖南建工集团有限公司党委书记、董事长叶新平接受审查调查

鲁中晨报
2024-06-05 17:15:08
只缺巴黎梅西晒照为巴萨迈阿密球衣签名!网友刷屏:巴黎呢?

只缺巴黎梅西晒照为巴萨迈阿密球衣签名!网友刷屏:巴黎呢?

直播吧
2024-06-05 13:26:15
剧组在ICU拍剧,让患者家属“哭小声点”?当事人:剧组和医院已道歉

剧组在ICU拍剧,让患者家属“哭小声点”?当事人:剧组和医院已道歉

王姐懒人家常菜
2024-06-05 15:43:24
出险一次,保费接近翻倍?车主吐槽新能源车险涨价太离谱,有人没出险也涨了!业内:车险定价背后暗藏这些“非车主”因素……

出险一次,保费接近翻倍?车主吐槽新能源车险涨价太离谱,有人没出险也涨了!业内:车险定价背后暗藏这些“非车主”因素……

每日经济新闻
2024-06-03 17:33:08
两性疑问:为什么男生更喜欢从后面来

两性疑问:为什么男生更喜欢从后面来

坟头长草
2024-05-30 16:33:38
北约拱火亚太?土耳其海军穿越台海,解放军052d全程跟监!

北约拱火亚太?土耳其海军穿越台海,解放军052d全程跟监!

王子看台海
2024-06-05 11:28:43
一觉醒来,特朗普又创造了历史

一觉醒来,特朗普又创造了历史

牛弹琴
2024-05-31 08:14:58
浙江驴友落水后续,当事人已找到,活动详情曝光,真怪不得女孩!

浙江驴友落水后续,当事人已找到,活动详情曝光,真怪不得女孩!

伊印
2024-06-04 18:54:41
铁头事件,中韩两国网友态度天差地别,韩国人点赞鼓掌要请他吃饭

铁头事件,中韩两国网友态度天差地别,韩国人点赞鼓掌要请他吃饭

辣条小剧场
2024-06-05 08:55:02
原来他早已离世!生前一天吃十几片止疼药,20天被死神带走

原来他早已离世!生前一天吃十几片止疼药,20天被死神带走

代军哥哥谈娱乐
2024-06-05 10:51:32
伊万点燃中泰之战第一把火!三国脚被他除名送走,原因让球迷无奈

伊万点燃中泰之战第一把火!三国脚被他除名送走,原因让球迷无奈

评球论事
2024-06-04 22:00:02
股市王炸一个接一个,比降印花税还要劲爆,A股周四或迎远古巨阳

股市王炸一个接一个,比降印花税还要劲爆,A股周四或迎远古巨阳

静守时光落日
2024-06-05 11:54:31
美媒:中国在摆脱美国芯片生产技术方面取得进展

美媒:中国在摆脱美国芯片生产技术方面取得进展

俄罗斯卫星通讯社
2024-06-05 15:20:49
再见曼城!不满哈兰德!轰19球12助攻,标价9000万欧,瓜帅留不住

再见曼城!不满哈兰德!轰19球12助攻,标价9000万欧,瓜帅留不住

阿泰希特
2024-06-05 10:20:03
三年暴亏80亿,400家店接连关闭,永辉50岁董事长一夜白头

三年暴亏80亿,400家店接连关闭,永辉50岁董事长一夜白头

拾叁生意经
2024-05-12 16:58:47
全网疯传的“台州水饺店发疯73秒”视频,炸出了多少可怕的巨婴?

全网疯传的“台州水饺店发疯73秒”视频,炸出了多少可怕的巨婴?

小椰子专栏
2024-06-04 13:04:40
2024-06-05 17:34:44
邦格科技
邦格科技
提供全球领先的数据分析服务
22文章数 20关注度
往期回顾 全部

科技要闻

马斯克把特斯拉5亿美元AI芯片提前调拨给X

头条要闻

上市公司被国网拉黑损失或达33亿 股民曾发出灵魂拷问

头条要闻

上市公司被国网拉黑损失或达33亿 股民曾发出灵魂拷问

体育要闻

赴美试训的崔永熙,表现究竟怎么样?

娱乐要闻

《青春有你》胡文煊被曝孕期出轨

财经要闻

员工证实周大福关闭深圳工厂

汽车要闻

又一个水桶车 试驾新“卷王”极狐阿尔法S5

态度原创

健康
教育
游戏
手机
时尚

晚餐不吃or吃七分饱,哪种更减肥?

教育要闻

现在的语文课,都进化到这个程度了??

夏日游戏节索尼还有新作?多家媒体已预约体验

手机要闻

荣耀开启折叠屏普及风暴 2.0 行动,市场份额或将再创新高

眼“屎”妆很上镜,咱悟了!

无障碍浏览 进入关怀版