数据质量问题管理实践

　　数据质量是数据管理的核心，只有高质量的数据才能为数据消费者应用，助力企业更好的使用数据来获得洞察力、做决策和服务业务。而企业许多直接的成本，也与质量问题相关，如错误数据驱动的错误业务决策造成损失、因缺乏良好信誉而导致业务损失等等。

　　然而，没有一个企业能拥有完美的业务流程、完美的技术流程或完美的数据管理实践，所有组织都会不可避免的遇到与数据质量相关的问题。因此，需要行之有效的问题管理措施，如进行数据质量问题处理、进行数据质量问题分析、进行数据质量问题验收等。

　　01 数据质量改进方法论

　　PDCA循环是质量最常用的方法论中，又称戴明环，是全面质量管理的思想基础和方法依据。PDCA循环的含义是将质量管理分为四个阶段，即Plan（计划）、Do（执行）、Check（检查）和 Act（处理）。在质量管理活动中，要求把各项工作按照作出计划、计划实施、检查实施效果，然后将成功的纳入标准，不成功的留待下一循环去解决。

　　而处理阶段，就主要包括质量问题记录、分析、处理。找出影响质量问题的主要原因。并且针对主要原因，提出解决的措施并执行。而随着问题原因的评估和解决方案的提出，循环也将重新开始。　　

　　02 数据质量问题产生的原因

　　数据质量问题在数据生命周期的任何节点都可能出现，原因多种多样。有如下常见原因：

　　（1）缺乏系统的数据管理和治理。如领导和员工缺乏质量意识、缺乏治理手段、缺乏领导力和管理能力、没有选择合适的质量工具；

　　（2）数据输入过程引起的问题。如数据输入接口问题、字段重载、业务流程的变更、业务流程执行混乱等；

　　（3）数据处理功能引起的问题。如没有定义正确的业务规则、变更数据结构等；

　　（4）系统设计引起的问题。如由于丢失的数据被分配为默认值而导致数据准确性、未执行唯一性约束、编码不准确等。

　　03 数据质量问题管理两个典型场景

　　高质量的数据是为了满足业务的需求，而业务的规则是数据质量规则的重要输入，因此，需要业务人员与技术人员一起，承担起质量问题管理的责任。

　　场景一：由业务人员在使用数据时发现数据质量问题　　

　　场景二：现有数据质量规则定期监控发现问题　　

　　04 数据质量问题管理工具实践

　　进行行之有效的数据质量问题管理和跟踪需要做到以下几点：

　　（1）标准化数据质量问题和活动。统一企业/组织内部描述数据问题的术语以及定义，以简化问题的分类，上下游人员沟通更加通畅。

　　（2）提供数据问题的分配过程。数据质量问题发生后，可以由数据治理专员分配给具体责任人或专家进行诊断，并提供解决方案，可下发给具有特定专业领域知识的人员推动问题解决。

　　（3）管理问题分级机制。数据质量问题处理能通过分级分类，区分问题影响，需要根据问题的影响、持续时间或紧急程度制定明确的升级机制，明确不同问题在数据质量SLA中的地位。

　　（4）管理数据质量解决方案工作流。制定数据质量SLA规范，规定监控、控制和解决的目标，所有这些定义了操作工作流的集合。能通过事件跟踪系统支持工作流管理，以跟踪问题诊断和解决的进度。

　　工欲善其事，必先利其器，以往有大量的客户依靠传统的人工线下手工维护问题，并通过邮件分配问题。针对疑似数据质量问题，有些部门的解释原因直接由业务核查同事直接回复给IT，没有流程化和系统化。长期下来，历史异常和质量问题，依靠手工整理和邮件，无法追溯和解决，数据治理效率低下。

　　Easydata数据质量中心的问题管理模块，可以实现数据质量问题的跟踪记录，能够收集与解决问题、分配问题处理和验收工作、统计问题数量和发生频率，以及维护计划解决方案、处理记录处理时长等信息。可以推动数据质量监控进行持续的、有依据的改进。目前在制造业、金融行业均有客户落地应用。　　

　　数据质量问题管理模块，可将所有数据质量问题汇总留存，并进行处理。支持用户主动提报问题，也可以通过配置在质量规则异常时自动进行问题提报。　　

　　可配置问题表单的自定义属性，支持移动其在表单中的展示位置及选择是否必填。用户可以自定义问题管理是要包含的字段信息。　　

　　质量问题将自定义资源目录的一种分组管理形式，系统内置校验类型和严重等级两个资源目录。　　

　　流程协作中心可自定义设计处理流程和整改流程。　　

　　问题详情中可以查看和维护问题的基本信息，也可以关联质量监控规则或者规则的某次执行结果。　　

　　问题处理有多种方式，问题处理人可以自行直接处理或关闭问题，也可派发工单加签或转办问题。　　

　　最后，可以周期性的订阅数据质量报告，定时跟踪数据质量问题情况。　　

　　05 总结

　　数据质量问题不是通过一些工具和口号就能改进的，还依赖企业内部自上到下的质量观念树立和资源支持。比如建设数据质量问题管理计划、拉通业务人员和IT人员、关注数据质量报告和问题处理状态、强化培训等等。