实战丨监管驱动下的数据治理敏捷实践

中国农业银行研发中心高级专员 薛羽

监管背景

2021年3月11日，十三届全国人大四次会议表决通过了《中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要》，其中提到，要加快数字化发展，建设数字中国，迎接数字时代，激活数据要素潜能，推进网络强国建设，加快建设数字经济、数字社会、数字政府，以数字化转型整体驱动生产方式、生活方式和治理方式变革。要推进监管能力现代化，提升大数据等现代化技术手段辅助治理能力，推进线上线下一体化监管。

金融业作为数据密集型行业，近几年数字化转型进程加速，数字化程度较高，每天会产生海量的交易数据，人民银行、银保监会、外管局等金融监管部门非常重视对监管数据的运用。伴随着监管科技的不断升级，从金融机构角度看，监管部门数据需求呈现如下几个特点：一是数据范围持续扩充，二是数据粒度方面更重视使用明细数据进行监管检查，三是报送渠道由部分线上化转向全面线上化，四是报送时效性和监管检查频度不断提升，五是逐步加强指标与明细间、明细与明细间的交叉校验，六是实行穿透式监管，将监管检查穿透到每一笔交易明细和每一个客户，七是不断加强数据校验，对监管报送数据质量要求越来越高。2020年5月20日，银保监会发布了《中国银保监会关于开展监管数据质量专项数据治理工作的通知》，以加强对银行机构数据治理的要求。

监管数据治理项目特点

在强监管驱动下，监管数据治理项目具有如下几个特点。一是问题导向，数据治理需求的来源为数据问题，数据问题由监管检查和自查自纠产出，由于监管检查的时间、频度、标准的不确定性，导致数据治理项目需求的范围和交付时间具有不确定性。二是快速交付，为了能够尽快使用合格数据，监管数据治理需求通常要求立查立改，交付时效性要求很高。三是数据复杂，监管报送数据通常为跨系统整合数据，数据整合规则复杂，且存在历史业务数据问题、过渡账务、打包账务、交易对手追溯流程复杂等数据加工难点，需反复进行数据治理需求的研制和验证，需求验证迭代次数较多。

监管数据治理项目的研发模式探索

针对监管数据治理项目的特点，作者发现敏捷研发模式具有天然的适配优势。首先，敏捷研发模式包含多个迭代过程，能够有效满足监管数据问题确认和数据治理需求研制对于需求版本迭代次数的要求；其次，敏捷研发模式支持需求分批交付，在监管数据治理需求零散交付的场景下，能够实现先进先出的需求队列交付模式。再次，敏捷研发模式将需求条目化并行实施，能够有效提升数据治理需求的快速交付能力。除了农业银行在尝试使用敏捷研发模式用于监管数据治理外，同业也有在使用，如2020年8月，银保监会面向多家银行开展了监管标准化数据质量专项稽核调查，发现中信银行、光大银行也采用敏捷研发模式开展专项数据治理工作。

监管数据治理项目敏捷实践

为了实现监管数据治理需求的快速响应和持续交付，农行大数据团队在日常项目研发过程中，逐渐演进出一套敏捷研发模式，团队成熟度能力持续提升。

图1 敏捷项目流程

需求框架：在数据治理需求不能全部确定或者治理需求不够细化的情况下，产品经理如果能够根据优先级，确定项目周期内数据治理范围和重点数据治理内容，经过开发团队充分评审后，可以先提交敏捷项目需求框架和首批项目需求，作为项目规模估算的依据。

规模估算：依据需求框架，进行工作量评估，确定项目复杂度和项目规模，并据此配置人力资源计划，制定项目时间计划和目标定义书。

需求研制阶段：监管检查或自查自纠提出数据问题后，首先由产品经理完成数据问题条目化，每一条问题，在数据治理需求研制过程中，均会经历两个迭代过程，每条需求的用户故事由此开始。

图2 需求研制-数据问题确认

第一个迭代过程是数据问题的确认过程，由总行业务主管部门牵头，组织总行、分行、支行、网点四级相关业务人员，数据加工团队和源头系统团队两方技术人员，组建数据治理团队，经过多轮次的问题数据提取、数据血缘追溯、源头数据提取、业务系统举证、小组沟通讨论后，最终确定数据问题产生原因。

图3 需求研制-治理需求研制

第二个迭代过程是治理需求的研制过程，根据上一个迭代过程确定的数据问题产生原因，由总行业务主管部门综合各方意见，提出数据治理需求，经过数据治理团队反复的需求准入、需求评审、数据测算、数据验证、需求完善后，完成需求准出并纳入需求队列。当完成多条需求迭代研制后，按照成熟一批，交付一批的思路，产品经理将需求打包提起交付流程，经开发团队评审通过后完成需求交付。

开发测试阶段：进入开发阶段后，用户故事继续按照需求条目并行开展，为了减少逐条需求测试准入的管理成本，我们进行了测试前移，一是测试人员前移至需求研制迭代阶段，加入需求评审小组和数据治理敏捷团队，使其充分了解数据治理需求的起因、制定过程，进一步减少后期沟通成本，二是在每条需求完成单元测试和集成测试后即交付测试人员进行功能测试，交付业务人员进行业务测试，符合投产要求后再分批提交测试准入，进行回归测试，并按照迭代投产计划进行测试准出。

投产阶段：按照项目迭代投产计划，每两周或一个月进行一次迭代投产。

相较于瀑布研发模式，上述数据治理敏捷研发模式通过多个敏捷迭代过程，实现了治理需求条目的并行实施，在监管数据治理需求范围和交付时间不确定且监管部门要求立查立改的场景下，能够有效提升紧急数据治理需求的交付速度，进一步提高数据质量监管评级。相较于常规的敏捷研发模式，上述敏捷研发模式的核心体现在需求研制阶段的两个迭代过程，即数据问题确认迭代过程和治理需求研制迭代过程，这两个过程往往需要跨越多部门，经过数轮迭代讨论验证才能完成，在此过程中，不仅能够孵化出可实施的数据治理需求，而且数据治理团队经过不断地磨合，其团队成熟度能力也在持续提升，治理项目结束后，会产生多位数据治理专家，能够拥有跨系统数据问题分析能力和某个特定业务领域的数据问题分析能力。

未来展望

监管数据治理项目采用敏捷研发模式后，有效提升了数据治理的需求研制速度和交付速度，但是用于支撑敏捷治理的工具和平台的自动化、智能化程度还存在进一步提升空间，下一阶段，大数据团队将从敏捷模式和治理工具平台如何有机高效地结合方面着手，不断提升农业银行数据治理能力。

一是搭建企业级数据治理平台，进一步提升数据治理自动化水平。目前项目流水线中的数据问题分析确认、数据治理需求研制两个迭代过程，仍然以线下流转为主，数据治理过程还不够自动化。下一步，大数据团队将着力搭建企业级数据治理平台，力争将数据治理流程全面线上化，不断提升数据治理需求的快速交付能力。

二是在强化数据安全合规管控的前提下，进一步加快测试数据交付速度。在当前数据治理过程中，测试数据需要经过提取、脱敏、装载等交付过程，交付周期较长，且有些治理场景需要看到实际的数据内容才能进行数据问题的分析和治理需求研制。下一步，数据治理团队将探索在数据治理平台集成数据问题探查测算能力，实现数据分级分类授权、数据表字段级审批、数据使用日志审计等数据安全管控功能，同时为数据治理人员提供便捷的数据测算功能。

三是建立数据治理智能仓库，进一步提升数据治理智能化水平。将数据质量问题建档立卡，建立质量问题索引，在数据治理项目过程中落地沉淀数据质量问题成因、数据治理方法步骤等数据治理知识，形成数据治理知识仓库。当增量数据质量问题发生后，能够基于治理仓库，快速索引获取已有治理方法，形成治理需求，实现知识复用，有效提升数据治理效率。