网易首页 > 网易号 > 正文 申请入驻

大厂大数据架构分享,基于此架构如何进行大数据测试?

0
分享至

前面我们为大家整体介绍了大数据和大数据测试,本文我们一起来了解一下中通大数据的架构,下图是中通科技的大数据架构图。

最下面是数据存储,这里刚刚也讲过了,最主要的是HDFS,也包括一些TIDB、REDIS、ES等等。上面是资源管理,这里使用的主要是Yarn。

然后计算层主要是分为两个部分,一个是实时计算,主要是以Fink和Sparkstreaming为主,批量计算这部分主要是Hive、Presto跟Spark。
在这些计算服务上面,我们这边做了一些基础服务的平台。比如说调度,调度是一个集计算与管理于一体的一个平台,主要是对任务和数据的计算做统一的管理,主要是针对离线数据这一块。

在此基础上实现了历史数据查询、数据订阅、数据下载等一些数据服务。


最上面一层主要是我们的数据应用这一块,比如说数据报表、数据大屏等一些可视化的数据平台。
以上就是我们中通科技的一个整体的数据架构,接下来我们一起了解一下基于这样的架构,如何进行大数据测试。
大数据测试通常是指对采用大数据技术的系统或应用的测试。它可以分成两个维度,对数据本身的测试,对大数据系统或应用产品的测试。

下面这两张图一个是数据报表,是一个数据展示的平台。第二张是数据管理平台,是对数据进行管理的一个平台。他们分别是数据纬度和系统纬度。


首先我们一起来看一下数据测试,数据测试是指数据质量的测试,主要关注数据的完整性、准确性、一致性、及时性、可用性这五个维度。

大数据系统一般指使用Hadoop生态组件搭建的或自主研发的大数据系统,主要包括数据存储、计算、分析等组件。大数据应用产品比较丰富,典型的有BI报表、数据挖掘产品、数据分析平台等。

大数据系统测试是比较复杂的,首先包括Hadoop本身生态的一些组件,再就是包括我们自己做的一些数据应用平台、数据开发平台,主要包括这三块内容。

后面的文章我们会继续为大家进行展开讲解,欢迎大家继续关注。

(本系列文章根据《优品软件培育计划》公益直播内容整理,观看直播回放可以在评论区留言获取观看链接。)

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
稀缺金属第一龙头,比黄金稀有百倍,外资抄底买爆,未来潜力大

稀缺金属第一龙头,比黄金稀有百倍,外资抄底买爆,未来潜力大

落叶玫瑰
2024-05-29 12:58:44
离婚8年后的马伊琍传出消息!全网沸腾,终于等到这一天

离婚8年后的马伊琍传出消息!全网沸腾,终于等到这一天

娱乐八卦木木子
2024-06-01 01:18:13
突然悟了孙楠当年退赛的原因,今晚之后,孙楠的口碑180度大反转

突然悟了孙楠当年退赛的原因,今晚之后,孙楠的口碑180度大反转

热剧迷
2024-06-01 05:50:48
82岁蔡澜谈无儿无女是否遗憾:一点儿后悔都没有

82岁蔡澜谈无儿无女是否遗憾:一点儿后悔都没有

红星新闻
2024-05-29 12:14:12
癌细胞最害怕的3种碱性食物,每天适当吃,“饿死癌细胞”?

癌细胞最害怕的3种碱性食物,每天适当吃,“饿死癌细胞”?

肿瘤科王红军
2024-05-31 14:19:34
遭遇大麻烦,李盈莹摊牌发声,坚决追责,女排力挺,朱婷期待真相

遭遇大麻烦,李盈莹摊牌发声,坚决追责,女排力挺,朱婷期待真相

娱乐八卦木木子
2024-05-31 19:36:39
《庆余年2》庆帝宁愿和皇后老死不相往来,也不允许她自裁的真相

《庆余年2》庆帝宁愿和皇后老死不相往来,也不允许她自裁的真相

四月海豚
2024-05-31 22:19:50
白玉兰提名看点多:胡歌和范伟争视帝,唐嫣获视后提名胜算大

白玉兰提名看点多:胡歌和范伟争视帝,唐嫣获视后提名胜算大

肥罗大电影
2024-05-31 02:47:32
普京亲自过问后,英国人发现:俄军越来越多地使用中国全地形车

普京亲自过问后,英国人发现:俄军越来越多地使用中国全地形车

瞩望云霄
2024-05-30 14:00:49
黑老大聂磊雄霸一方,被抓后狱中想要活命,情急之下供出背后靠山

黑老大聂磊雄霸一方,被抓后狱中想要活命,情急之下供出背后靠山

古今档案
2024-05-27 18:14:20
理想总部已增加保安控场裁员或近万人

理想总部已增加保安控场裁员或近万人

悠闲葡萄
2024-05-31 08:49:45
岸田文雄再提恢复对日短期免签政策,外交部:望日方相向而行

岸田文雄再提恢复对日短期免签政策,外交部:望日方相向而行

澎湃新闻
2024-05-31 15:40:30
鹈鹕必须在6月2日11点59分前通知湖人 是要17号签还是推迟到明年

鹈鹕必须在6月2日11点59分前通知湖人 是要17号签还是推迟到明年

直播吧
2024-05-31 22:05:20
证券市场传来3消息,一条比一条重磅,A股周一必让股民大吃一惊!

证券市场传来3消息,一条比一条重磅,A股周一必让股民大吃一惊!

静守时光落日
2024-06-01 01:18:59
王阳评论区沦陷了!网友大骂:年纪大了,学会了做小偷?不心虚吗

王阳评论区沦陷了!网友大骂:年纪大了,学会了做小偷?不心虚吗

娱乐的小灶
2024-05-31 15:30:34
全裸在海滩上沐浴阳光,演员查尔斯·丹斯和小22岁的女友激情四射

全裸在海滩上沐浴阳光,演员查尔斯·丹斯和小22岁的女友激情四射

圈里的甜橙子
2024-05-31 18:09:45
再见巴萨!曝曼城接受分期,无力承担2500万年薪,巴黎捡漏签B席

再见巴萨!曝曼城接受分期,无力承担2500万年薪,巴黎捡漏签B席

夏侯看英超
2024-05-31 15:36:52
5月31日俄乌最新:美国政策出现重大逆转+普京官邸被点

5月31日俄乌最新:美国政策出现重大逆转+普京官邸被点

西楼饮月
2024-05-31 15:00:13
泪目!李盈莹赛后与朱婷深情拥抱,采访声援:看朱姐回归我很感动

泪目!李盈莹赛后与朱婷深情拥抱,采访声援:看朱姐回归我很感动

我爱英超
2024-05-31 23:47:43
如何看待5月开始的富豪大量亏本抛售房产的举动

如何看待5月开始的富豪大量亏本抛售房产的举动

重远投资观
2024-05-31 15:30:17
2024-06-01 07:56:49
道普云
道普云
深耕软测行业二十年。可帮助企业和组织建立软件测试体系,提供软件测试cnas/cma认证咨询服务。
136文章数 1关注度
往期回顾 全部

科技要闻

业务不卖了,字节跳动重新做游戏

头条要闻

媒体:中美防长"香会"见面 两个关键细节最值得说

头条要闻

媒体:中美防长"香会"见面 两个关键细节最值得说

体育要闻

欧文:当老二怎么了?硬就行了!

娱乐要闻

白玉兰提名:胡歌、范伟争视帝

财经要闻

证监会:对恒大地产罚款41.75亿

汽车要闻

外观内饰升级/六项权益 全新哈弗H6开启预售

态度原创

手机
艺术
旅游
亲子
数码

手机要闻

别急着换机,下半年有6款迭代旗舰在路上,超声波指纹已成标配!

艺术要闻

穿越时空的艺术:《马可·波罗》AI沉浸影片探索人类文明

旅游要闻

美国华盛顿年内将迎来大熊猫“宝力”和“青宝”

亲子要闻

她居然还是跳的最好的一个

数码要闻

真正的咸鱼翻身!两年前的骁龙6 Gen 1怎么就翻红了

无障碍浏览 进入关怀版