网易首页 > 网易号 > 正文 申请入驻

什么是数据、元数据、主数据?这可能是大多数人没看过的解释

0
分享至

文|大数据架构师

曾经有段时间给甲方爸爸做项目的时候,他们看我长的显小,喜欢挑战一些问题,其中我遇到最多的就是“什么是元数据”。遇到这种问题既不能啰嗦,也不能太过于专业,否则领导会不开心。

另外,元数据、主数据也都是数据治理的核心中的核心。今天就给大家把这几个名词给彻底解释清楚。

为什么要取这么多名字?

我初入数据行业的时候也被一堆的名词给绕晕了。什么元数据、技术元数据、业务元数据、操作元数据、主数据、参考数据、事务数据、业务数据、维度、度量、指标等等等等,那时候简直一脑门子的官司。

那时候就是刘姥姥进大观园,看啥都新鲜,看啥也都不懂,长期处于信息过载的状态。那时候也没有人帮我整理整理,自己也没时间去系统性的学习,只是硬着头皮边用边学,慢慢地加深理解。其实这些东西都是内在关联的。我梳理了一下,这样看就能清楚很多了:

我们知道,面对大量信息的时候,最好的办法就是归类、合并、分解,把它们用一个结构组合起来,这样就能很容易地理解。其实所有的数据也是一样,我按照数据的记录、管理和分析三个用途,对这些数据名词进行归类,这样是不是就清晰多了?

记录类数据

什么是事务数据?

事务是数据库的处理数据的一个单元,可以理解为一次数据库CRUD的操作。事务数据就是记录下数据库操作的系统日志数据,以及特定业务场景中,专门记录的业务操作事务记录的数据,比如用于安全审计的系统登录日志。

什么是业务数据?

业务数据就是为了完成业务流程而存储的业务操作类数据。就是业务系统的绝大多数表和数据。

什么是日志数据?

早期的日志数据是属于事务数据中的。现在大数据时代,用户访问数据变得越来越重要,所以单独分离出来。

什么是元数据

元数据(Meta-data)是描述数据的数据。如何理解这句话?以小学课文《翠鸟》为例, 我告诉你这是一只翠鸟,如果你没见过翠鸟,你肯定无法理解翠鸟是个什么东西。但是如果是这样描述一下呢?

翠鸟喜欢停在水边的苇秆上,一双红色的小爪子紧紧地抓住苇秆。它的颜色非常鲜艳。头上的羽毛像橄榄色的头巾,绣满了翠绿色的花纹。背上的羽毛像浅绿色的外衣。腹部的羽毛像赤褐色的衬衫。它小巧玲珑,一双透亮灵活的眼睛下面,长着一张又尖又长的嘴。

上文在描述翠鸟,怎么描述的呢?从这几个方面:停在那儿、小爪子、颜色、头上的羽毛、背上的羽毛、腹部的羽毛、体型、眼睛、嘴。

同理,现在我告诉一个数字:175,你除了对175这个数字有比较确定的量化意义之外,也无法理解175具体代表了什么含义。但是如果是这样描述一下呢?

这样是不是就很清楚了?175的意思是:2020年统计的全国成年男性平均身高,该值的合理阈值是80-260cm,数据目前存在MySQL中,访问链接是XXXX,由国家统计局的张三在2020年1月1日创建,数据目前是公开的,很安全,质量经过多重确认无误的。

在描述175这个数据,用了哪些描述项呢?单位、指标、统计时间、统计范围、合理阈值、数据库、表、字段、接口、创建人、创建时间、数据权限、质量等级等等。这些都是在描述175这个数据。我们把描述175这个数据的其他数据称之为“元数据”。

当然,为了管理方便,我们同样还能将上述元数据进行归类:

与业务规则、流程相关的描述性数据,我们称之为业务元数据;

与存储、访问等技术底层的描述性数据,我们称之为技术元数据;

与数据操作相关的描述性数据,我们称之为操作元数据;

与数据管理相关的描述性数据,我们称之为管理元数据

元据可以解决什么核心问题?

如上所述,元数据就是为了准确的描述我们拥有的所有数据。其核心的目的是降低人与数据之间的沟通成本。描述的越准确,我们使用数据的成本就越低。

什么是主数据

主数据(Master Data)就是关于业务实体的数据。主数据是关键业务实体的最权威、最准确、价值最大的数据,用于建立交易闭环。其实Master Data翻译成“核心数据”可能会更合适,因此主数据也被称为“黄金数据”。这么说吧,其实阿里的One ID就是主数据理念的结果。

对于CRM客户管理系统来说,用户就是主数据;对于银行来说,卡bin码、开户行、账号、理财产品等都是主数据;对于生产企业,BOM表是主数据;对于二手房平台,房源信息是主数据。贝壳的楼盘字典就是典型的主数据,他们从2008年开始建设,持续了12年,投入了5、6亿。

所以我们总结一下,主数据一共有以下种类:

  • 与人相关的:用户、客户、公民、病人、供应商、学生等;
  • 与物相关的:实体产品、虚拟产品(理财产品)、生产资料(BOM表)等;
  • 与场相关的:地址库、楼盘字典、POI信息等;
  • 与规则相关的:财务的账套等。

在传统IT企业,甲方公司的主数据可以立一个千万级的项目。国内也有很多公司专门做主数据这个行当。主数据的核心思想是全局唯一的标准数据。因此,主数据一般会完成以下工作:

  • 确定核心业务环节
  • 识别主数据
  • 定义和维护主数据匹配规则(代码规则、ID Mapping)
  • 建立及发布数据标准
  • 主数据的后续维护及更新

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
2-0进决赛冲冠!中国女网15岁天才创纪录:李娜最佳接班人是她?

2-0进决赛冲冠!中国女网15岁天才创纪录:李娜最佳接班人是她?

李喜林篮球绝杀
2026-07-10 19:50:52
黑人版海伦!未映先火,伦敦人受累走个面

黑人版海伦!未映先火,伦敦人受累走个面

TVB的四小花
2026-07-11 06:41:26
李婉华:我与吴镇宇同居8年,但凡他跟我求婚,我都不会另嫁他人

李婉华:我与吴镇宇同居8年,但凡他跟我求婚,我都不会另嫁他人

骄阳之夏明
2026-07-11 07:58:49
阿隆索晒首次带切尔西训练照,阿韦洛亚评论:“”

阿隆索晒首次带切尔西训练照,阿韦洛亚评论:“”

懂球帝
2026-07-11 01:27:29
路径北调!台风“巴威”对本市的风雨影响→

路径北调!台风“巴威”对本市的风雨影响→

上海预警发布
2026-07-10 18:58:32
阿隆索强力要求签下皇马球星作为切尔西第六签,背后三大核心原因

阿隆索强力要求签下皇马球星作为切尔西第六签,背后三大核心原因

舟望停云
2026-07-11 07:46:21
韩国母女在广东买西瓜遭拒,老板:卖瓜多年,还没见过有这要求的

韩国母女在广东买西瓜遭拒,老板:卖瓜多年,还没见过有这要求的

千秋文化
2026-07-10 20:02:12
公司突然开除我,收拾东西时,对面的女同事问我:集团副总做不?

公司突然开除我,收拾东西时,对面的女同事问我:集团副总做不?

千秋文化
2026-07-08 19:30:53
网红良子最新体检报告出来了,全网都震惊了。。

网红良子最新体检报告出来了,全网都震惊了。。

微微热评
2026-07-11 10:15:43
时隔1个月重新回归!WSBK英国站:德比斯三段刷橙获排位赛第7

时隔1个月重新回归!WSBK英国站:德比斯三段刷橙获排位赛第7

全景体育V
2026-07-11 04:33:06
世界杯最被高估!巴萨世一中彻底现形!灾难级发挥险些坑惨西班牙

世界杯最被高估!巴萨世一中彻底现形!灾难级发挥险些坑惨西班牙

澜归序
2026-07-11 06:43:48
前裁判拉奥斯:从技术角度看,2022年吹罚阿根廷vs荷兰时的判罚全对

前裁判拉奥斯:从技术角度看,2022年吹罚阿根廷vs荷兰时的判罚全对

懂球帝
2026-07-11 08:54:08
陈建斌首次谈及和吴越分手缘由:她太优秀,我怕以后走不到一起!

陈建斌首次谈及和吴越分手缘由:她太优秀,我怕以后走不到一起!

玖宇维
2026-07-10 21:31:15
第二个许家印!又一首富栽了!世界500强竟是假的,千亿帝国清零

第二个许家印!又一首富栽了!世界500强竟是假的,千亿帝国清零

阿绐聊社会
2026-07-07 05:55:20
34岁皇马门神捂脸痛哭!连续神扑后拉伤肌肉 被迫下场或告别世界杯

34岁皇马门神捂脸痛哭!连续神扑后拉伤肌肉 被迫下场或告别世界杯

风过乡
2026-07-11 04:53:09
比利时2米门神伤退后痛哭!目睹队友送礼 不满被换下:我还能坚持

比利时2米门神伤退后痛哭!目睹队友送礼 不满被换下:我还能坚持

我爱英超
2026-07-11 06:49:14
远华集团赖昌星,在狱中对董文华的描述,让无数人感慨万千

远华集团赖昌星,在狱中对董文华的描述,让无数人感慨万千

萧竹轻语
2025-11-05 18:48:55
1938年接到处决韩复榘的命令后,郑洞国上门抄家,刚推开韩府大门,韩复榘妻子高艺珍上前做出一个举动,瞬间改变郑洞国从严处置的念头

1938年接到处决韩复榘的命令后,郑洞国上门抄家,刚推开韩府大门,韩复榘妻子高艺珍上前做出一个举动,瞬间改变郑洞国从严处置的念头

磊子讲史
2026-07-10 18:29:32
蔡澜:告诉你一个扎心现实,不要跟为你提供服务、你要服务的人频繁聊天,更别走得太近,因为.....

蔡澜:告诉你一个扎心现实,不要跟为你提供服务、你要服务的人频繁聊天,更别走得太近,因为.....

犀利强哥
2026-07-07 06:58:57
中国代表:中方将继续推动全球互联互通

中国代表:中方将继续推动全球互联互通

环球网资讯
2026-07-11 06:26:07
2026-07-11 10:59:00
数据分析不是个事儿
数据分析不是个事儿
专注数据分析领域
985文章数 10477关注度
往期回顾 全部

科技要闻

苹果起诉OpenAI系统性窃密,挖超400前员工

头条要闻

33岁女子在拉斯维加斯连环骗婚14人 金额超10万美元

头条要闻

33岁女子在拉斯维加斯连环骗婚14人 金额超10万美元

体育要闻

燃尽的比利时黄金一代,逃不过厄运诅咒

娱乐要闻

IU被曝分手双方回应 年初互动早有预兆

财经要闻

一封举报信 引发小红书IPO合规考验

汽车要闻

吉利银河TT:C级纯电轿跑新玩家 此TT非彼TT

态度原创

房产
健康
艺术
家居
军事航空

房产要闻

重磅学校规划曝光!西海岸教育,正强得可怕!

肝病、肾病患者注意!吃粘食要谨慎

艺术要闻

陈子庄『花卉禽鸟册』

家居要闻

2026建博会(广州) 公装联探展交流活动

军事要闻

以色列:已做好打击伊朗的准备

无障碍浏览 进入关怀版