大数据时代企业元数据管理平台

在各种数字化的影响下，将企业环境中的各种元数据整合利用至关重要。对于企业来说，选择适合自己的元数据管理工具将能最大化发挥元数据的作用，以协助企业完成在数据方面的战略目标。

企业中不同角色对元数据工具的期望可能有所不同，但这些期望基本都可以映射到元数据管理工具的十大能力上，当然这些能力背后少不了关键技术的支撑。“元数据管理将是未来企业信息化的核心基础设施”。确实，在大数据环境中，如果企业不通过元数据管理把多种复杂的信息管理起来，很难做到信息的有效利用。但是，很多企业逐渐发现元数据管理直接给企业业务创新带来的价值非常有限。

目前的元数据管理现状是什么？

元数据管理不能给业务创新带来直接价值的主要原因，在于目前的元数据管理太“孤独”，这种孤独主要体现在以下四个方面：

管理范围窄：目前元数据管理范围窄主要体现在两个层面：第一，只管理了数据仓库相关的元数据，没有将元数据管理扩展到整个企业层面；第二，即使在数据仓库领域，也只管理了部分技术元数据，技术元数据的缺失导致元数据系统不能展现出企业系统的真实情况，业务元数据的缺失导致最终大家只能得到一堆缺少具体业务含义的表结构。

业务难结合：因为缺少和业务的结合，很多企业做完元数据管理系统之后，发现只是数据管理部内部人员在使用，其他部门的人根本没法用。系统都应该是为业务服务的，只有一个部门的人在用的系统是没有生命力的，如何让各部门的人都会使用元数据管理系统是一件很重要的事。

应用场景缺:目前，大部分元数据的应用场景都局限于元数据系统的内部功能，比如血缘分析，血统分析，版本管理等，这些功能都是企业在信息化里面使用到的，但实际上元数据的作用不只是体现在这些有限的功能上。

技术不完善：技术的不完善导致了以上一系列问题的出现。扩展性不强，导致很多元数据管理工具没办法管理企业业务数据和架构；采集能力差，导致只能通过手工做辅录，人工成本高，不能建立完整的信息链路；实时性不高，导致很多企业的元数据管理还停留在T+1（甚至不是T+1）阶段，不能实时了解数据资产状况，跟不上企业数据增长的速度。

目前市场上对企业级元数据管理的需求正日益增加：

1、数字化加速，企业内数据量成倍增长

数字化时代到来，许多复杂多变的信息能转变成可以度量的数据，引入到计算机内部进行统一处理，相关研究表明，每年企业收集和使用的数据都会成倍增长，有效管理这些海量数据需要企业级元数据管理。

2、大数据相关技术的出现，让企业看到了新机遇

大数据相关技术让企业数据的价值能被充分挖掘，但是大数据往往意味着许多数据源之间的采集、传播和共享，例如移动个人数据、社交网络数据、公共数据、物联网数据等，这些过程需要企业级元数据管理的支撑。

3、企业对数据治理的需求增加

现如今企业都在关注大数据该如何用，但大数据应用的前提是有高质量的数据，现在很多企业内部数据形态多样，标准不统一，大数据应用往往得从数据治理着手，企业级元数据管理作为企业数据治理的重要手段，必然会受到国内外企业的关注。

如何充分释放元数据管理的业务价值？

元数据也是根据实际业务场景定义属性，元数据会有通用的属性，比如名称、类型，不同类型的元数据还会有自己特定的属性。元数据既然也是数据，肯定是存储在数据库中的。元数据存储库是指存储元数据的物理数据库表，通常采用开源的关系型数据库（MySQL）实现元数据存储，下面从几个方面展开说说如何管理元数据：

1.确定元数据范围

首先确定元数据来源范围，在实际的工作中，不是所有数据都是要做元数据管理，通常我们会选择业务数据做元数据管理，非业务数据是不会纳入管理范围内的，主要还是因为元数据管理是提供业务和开发人员快速掌握业务数据。

确定规则后，就要结合公司的实际情况去梳理哪些业务系统、数据库、数据库用户、哪些表需要做元数据管理。当然也可以支持非结构化的元数据抽取，例如：word、pdf等。

2.接入元数据

元数据从哪接入，一般都是从源系统接入。假如公司已经存在数仓或者实时性要求不高，为了节约开发工作量，对于已有的元数据会从数仓接入，还未接入的会从源系统进行接入。但这种方案也是存在风险的，假如数仓的数据和源系统出现不一致，就会导致元数据出错。现在大部分的元数据抽取都是采用配置自动化的方式进行。

那就不得不提亿信华辰的元数据管理系统，它完美地实现了数据的自动化采集，提供多种数据库适配器，实现元数据的管理、分析与采集，可以从Oracle、MySQL、SQL Server等数据库中采集数据，从excel文本中采集，并且还内置Hbase等分部署数据库采集适配器，可满足不同场景的业务需求。

3.建立元数据标准

在梳理的过程中可能会出现有些数据库或者有些数据定义不规范的情况，导致元数据管理无法进行下去。那接下来需要建立元数据的管理规范，去反推前端的源数据进行整改，主要是保证元数据的完整性和一致性。

针对不同的类型的公司要求，元数据会开放给不同的人群，所以要对元数据进行权限管理，规范里面就需定义权限的管理流程：元数据的权限分层、元数据权限申请流程、元数据的发布流程、元数据的审核流程。

4.元数据的维护

元数据维护主要是对已经发布的元数据进行维护管理，已经发布上线的元数据，如需调整、优化则必须重新走元数据发布流程，不准许对元数据进行直接修改。为了安全，元数据所有操作行为都要记录到元数据操作日志里面。

可以对元数据创建目录将不同的元数据挂在对应的目录下，按照业务流程、业务主题域、开发流程设计对应的目录，主要还是根据公司要求设计。

5.元数据的查找、分析、报告

有单独的页面支持元数据的模糊或精准快速查找，通过输入关键信息查找对应的元数据。还可以将元数据作为数据资产的一类，因此我们需要产出元数据资产报告，从报告中能够快速的了解元数据访问热度、数据价值、数据成本、数据分布等相关信息。

在这里亿信华辰的元数据管理平台内置全文搜索引擎，让各层次用户可快速定位自己所关心的元数据。该管理平台支持基于名称、基本属性、元数据间关系查找的同时，还支持全文搜索。通过多种组合条件的模糊查询，即可在整个元数据环境中随时检索所需元数据。

元数据的应用都有哪些？

企业业务多样、产品纷繁复杂，在各类系统和应用中形成了大量的数据。有了元数据，我们就可以了解企业拥有什么数据，数据表示什么、数据来自何处、它如何在系统中流转等等，进行元数据管理、构建元数据应用，如业务术语、数据标准、数据字典、数据资产目录、数据血缘分析、数据地图等。下面我们主要说说数据血缘关系和数据地图。

1.数据血缘分析

数据血缘是元数据的重要应用，数据血缘能够说明数据与数据之间的关系，比如说这张表是从某个系统抽取过来的，这个字段和那个字段有什么关系，包含了集群血缘关系、系统血缘关系、表级血缘关系和字段血缘关系，其指向数据的上游来源，向上游追根溯源。

向上、向下表级、字段级别的追溯数据，能清晰展现数据加工处理逻辑脉络，快速定位数据异常字段影响范围，准确圈定最小范围数据回溯，降低了理解数据和解决数据问题的成本。血缘分析可以满足许多行业(包括医疗、金融、银行和制造业等)对所呈现数据的特殊监管及合规性要求。比如亿信元数据管理平台（EsPowerMeta）就提供了图形化的元数据基础分析以及高级应用分析。

除此以外，影响度分析，也是较为血缘关系应用的一部分，其用来分析数据的下游流向。当系统进行升级改造时，能动态数据结构变更、删除及时告知下游系统。通过依赖数据的影响性分析，可以快速定位出元数据修改会影响到哪些下游系统，哪些表和哪些字段。从而减少系统升级改造带来的风险。

2.数据地图

数据地图在整个数据体系中，承担的是一种管理者的角色，通过图形化的方式来展示数据信息，并标明数据计算中所必要的各种信息参数，不仅数据开发人员可以使用，对于产品和运营来说也是非常友好的。它包含的内容有如下几个部分：

（1）快速的搜索定位：通过搜索引擎的方式来查找相关数据，支持精确查询、模糊查询、表名查询、字段查询、备注查询等方式；

（2）标准化的图形展示：采用图形化的方式来组织页面逻辑，例如采用类似Wifi图标的形式来标注数据质量级别，肉眼可见的便捷，方便使用者所需要的关键信息；

（3）积累历史数据信息：在很多场景下，历史数据是不需要重复计算的，直接拉取能够极大的避免重复开发。例如针对新用户的统计，可以拉取历史用户信息，和每日用户登录日志进行关联，用于生产每日新增用户；

（4）直接关联分析工具：因为数据的信息直接存储在平台上，因而可以调用报表插件来快速看到直观的报表信息，不需要二次加工开发，很大的提升了开发的效率。

有了这些，业务人员可以了解企业的数据有哪些，通过数据的业务内涵更好地理解数据；技术人员可以掌握数据的整体情况，根据数据标准建立数据库表，实现落标，达到数据标准化。数据血缘和数据地图将会使数据脉络格外清晰，再也不会觉得数据一团乱麻了。