Dataphin数据治理系列丨3步提升企业数据标准化程度

（原标题：Dataphin数据治理系列丨3步提升企业数据标准化程度）

企业在设计、采购、生产、销售、物流、售后等业务环节,往往会存在大量的信息不规范、不统一、不及时的情况,导致数据资产无法在核心业务流程中高效流转和消费。

通过集成各系统,将数据融合打通形成数据流之外,非常重要的一环,是在企业内充分贯彻同一套数据标准,无论是后端设计研发,到前端业务运营消费,还是企业内跨部门、跨组织、跨角色协作,通过数据标准管理和实施,都能基于统一的术语和统计口径进行表单定义以及指标设计,以促进数据流通和消费。

常见的数据标准问题

根据中国信通院的定义:数据标准,是指保障数据的内外部使用与交换的一致性和准确性的规范性约束。更直接点来说,数据标准是用于描述公司层面需共同遵守的数据含义和业务规则,通常从业务、技术、管理三方面进行定义。

然而,数据标准需求缺乏统一管理、不同系统间标准制定依据各异、资产建设缺乏和标准的关联,使得数据标准的建设和应用都面临很大困难:

·建设:多源异构数据整合缺乏统一的约束口径,数据开发效率低

数仓开发人员无法快速理解数据背后的实际业务含义,需要和业务人员反复沟通,理解成本高;不同业务人员对于同一个指标口径的理解不一致,容易出现认识偏差,影响分析决策结果。

·管理:各系统分散管理,人工保障规范,数据质量难以提升

不同主题域由不同负责人进行开发和维护,导致规范不一致,数据可信度降低;由于缺乏有效的工具监督,规范定义和开发实现隔离,无法保证数据开发符合标准规范,数据质量难以提升,导致频繁的数据重构,管理成本高。

·使用:缺少元数据信息及使用引导说明,数据消费难度大

数据的使用不仅需要明确数据详情,还需要参考元数据信息,以便数据使用方快速找到需要的数据并评估数据可用性。由于缺少必要的数据定义及使用说明,造成数据经常被误用滥用,数据消费难度大。

由此,我们需要一套功能全面、操作便捷的产品,来帮助企业中的数据标准管理人员/组织,提升企业数据标准化程度和数据资产可信度。

Dataphin 数据标准模块在标准建设、标准管理、标准应用三大核心环节,提供了统一的产品化能力,并结合质量监控能力实现对资产对象的落标稽核,帮助企业解决数字建设管理过程中遇到的问题。

Dataphin数据标准功能介绍

数据标准怎么建?

数据标准模板,一次定义多次复用

相较于传统模式下用 Excel 等线下文件管理数据标准的方式,Dataphin 支持在线创建标准集以便将规范相似、业务含义相关的数据标准进行统一管理,起到分类的作用,实现一次定义多次复用。如,某团队的基础数据标准需要具备以下属性:

·业务属性:标准名称、标准编码、描述

·技术属性:字段类型、字段长度、字段精度

·管理属性:标准制定部门、应用业务部门

在创建标准集模板时,我们可以将“标准制定部门”和“应用业务部门”的类型设置为“枚举单值”,且枚举值来源引用“公司部门”码表,这样在创建标准时,这两个属性会以下拉单选框的形式展示,且可选范围为“公司部门”码表配置的码值,不仅大大提升了标准填写人员的效率和体验,也避免信息来源和操作不一致造成的标准规范各异。

此外,为了更好地将历史已有标准文件导入系统进行统一管理,Dataphin 支持批量导入及更新数据标准,只需要下载标准模板并配置冲突策略,就可以实现约束一致的数据标准的批量更新。

如何高效管理标准?

全生命周期管理,让多方协同更清晰

在Dataphin中完成数据标准创建后,会默认生成“草稿态”标准,确认填写无误后可以提交标准上线申请并生成对应的审批任务。Dataphin 支持设置标准审批模板,以适配不同管理范围下标准的审批。

标准上线后根据设置的标准生效时间,自动生成“待生效、已生效、已失效”的标准。上线后的标准支持在线修订,会生成“修订中”的版本,修订中版本再次发布前,不会影响线上已生效的标准版本。基于该流程,可以实现灵活完整的标准生命周期管理。

参考数据管理,有约束才够准确

数据标准常常需要和参考数据一起使用,才能更好地适配业务需求。常见的参考数据包括码表、词根、度量单独等等。

码表可用于约束标准属性字段的取值范围或直接作为范围值属性(如值域)的来源,提升标准定义的准确性;词根常用作词缀并作为数据表、字段等研发对象命名的参考依据,以提升命名规范性减少数据消费时的不一致性和理解误差。

Dataphin 数据标准支持码表和字根的创建和管理,通过简单的界面操作即可完成创建,并可在创建标准时引用码表作为取值范围的约束,降低了标准管理人员的操作成本。

数据标准怎么用?

落标映射,将数据治理前置到研发链路

标准创建完成后,需要和对应的资产对象关联起来才能真正实现其应用价值,实现对资产的规范性约束。Dataphin 支持基于标准属性值和资产对象元数据属性值进行落标关联映射配置,以实现标准和资产的关联,作为后续落标稽核的基础。下面,我们通过一个例子来进一步理解 Dataphin 如何实现落标映射与稽核。

首先,我们需要圈选出进行映射匹配的标准和资产对象来源范围:

·标准:来自于“测试标准集”的所有“已生效”状态的标准

·资产对象:所属表名包含“test”字样的所有字段

接着,我们需要配置标准和资产对象的关联映射条件:标准名称 = 字段名称;

最后,我们需要配置该规则的执行时间和频率等信息。

基于上述配置,系统会自动执行该映射规则,圈选出相应范围的标准和资产对象并进行匹配。规则执行完成后,我们就可以在资产目录及规则执行明细页面清晰的看到某个资产关联到了哪些标准,以便参考映射到的标准定义进行开发,将数据治理前置到研发链路。

落标评估,从源端保障数据规范统一

映射成功的资产对象是不是真正遵循了这些标准?接下来就需要我们的落标评估能力来助力。

Dataphin 支持针对资产对象的技术元数据进行落标评估,如字段类型、字段长度等。后续我们还将结合质量监控的能力,进一步拓展对值域、字段格式等内容的监控。针对不满足关联标准的资产,标准管理人员可以推动研发人员可以尽早进行整改,从源端保障数据规范性和统一性。

结语

总体来说,作为资产治理的重要一环,Dataphin 数据标准功能为标准的统一管理提供了灵活的产品化能力支持,同时也能减少人工监控成本,为标准的落地执行提供了强有力的保障,以提升企业整体数字能力建设的标准化成熟和资产的健康度。