山东城商行联盟数据库准实时数据采集系统入选大数据应用样板案例

12月17日，由中国信息协会大数据分会主办的“2021中国大数据技术应用大会”在北京圆满落幕。来自中国信息协会、中国工程院、国家信息中心、中国软件评测中心、中国金融认证中心等的权威专家、知名企业代表出席本次大会，对大数据的需求、应用和产业发展进行了深度探讨。大会重磅发布“2021中国大数据应用样板100例”，「DataPipeline助力山东城商行联盟构建企业级数据库准实时数据采集系统」案例成功入选。

《2021中国大数据应用样板100例》意在表彰2021年度实施的重点大数据标杆案例，案例信息将被呈报到国务院各直属机构信息中心、各省市经济和信息化主管部门、各大央国企等龙头企业、国家及省级产业联盟协会等，为相关部门提供数字化转型方案应用范本及决策参考，并起到行业示范引领效应。

实时数据管理，业务创新发展必然保障

作为全国唯一持有金融牌照的中小银行金融科技服务公司，山东城商行联盟为中小银行提供全方位的信息科技解决方案以及多元服务，致力于打造赋能中小银行、开放共享的金融科技生态平台。

山东城商行联盟认为，中小金融机构是普惠金融的主要力量。当前经济社会互联网化、数字化程度正在快速加深，普惠金融的消费模式和金融服务供给模式正在发生深刻变化的形势下，只有借助金融科技的力量，实现传统普惠金融服务与管理、运营模式向数字化普惠金融的转变，才能有效获客、有效控制传统模式下难以控制的金融风险，才能提高普惠金融的服务触达范围和能力，进而实现普惠金融的可持续发展。

经过10多年的电子化发展、信息化建设，山东城商行联盟积累了海量的数据，如何利用好这些数据成为了联盟应对新形势挑战、谋求转型发展的重要课题。相对于大型商业银行，降低运营成本、提升客户体验、提高营销能力等转型工作对于以山东城商行联盟为代表的的城市商业银行在科技创新发展上更为关键。

随着数据应用的深入，成员行业务部门不断提出更复杂的实时数据加工需求，新需求的加工复杂度持续升高、使用场景持续扩展、交付效率持续加快、运营质量要求持续提升。为提升实时数据支撑能力，山东城商行联盟开始启动实时数据体系建设。该体系需要实现综合业务系统CBUS、外联业务处理平台XBUS、ESB服务总线、电子银行等系统的数据实时采集、同步、分发。如何打通Oracle、IBM DB2、MySQL、Kafka等多种数据管理技术，实现每日产生的数亿条数据的整合，成为联盟亟待解决的问题。

携手DataPipeline，构筑全域数据管理基础平台坚实底座

山东城商行联盟在过往服务成员行过程中，业务端在取数时，首先需要将各数据源通过CDC模式将数据实时同步至中间库；其次，源端数据同步至中间库后，通过CDC实时下发至各个下游用数方。在该过程中，由于上游发版频繁，中间库的数据结构均需要相应变动，数据同步过程中系统维护工作量较大地影响了数据应用方的取数时效性。为了能够更好地服务联盟成员行，山东城商行联盟需要重新构建统一的数据库准实时数据采集系统，实现通过数据流平台近实时地向各外围系统供数的目的，进而及时高效地支持成员行的运营、市场、销售等实时业务需求。

企业级数据库准实时数据采集系统架构图

山东城商行联盟通过产品调研、可行性分析、POC验证，选择DataPipeline数见科技作为合作伙伴共同完成数据库实时数据采集系统项目的实施。其主要原因为：DataPipeline企业级实时数据融合平台可实现数据的秒级实时采集，产品具备统一易用的人性化操作界面，丰富的配置策略可实现对资源的高效充分利用，产品同时具有标准化遵循与前瞻性判断前提下的开放可扩展性，当然最重要的是其金融级的稳定高容错能力。DataPipeline助力山东省城商行联盟构建的企业级数据库实时数据采集系统对于推动联盟实现数字化转型、数据规范化和集约化管理、赋能企业经营及增强其持久核心竞争力具有重要意义。方案技术亮点包括：

>>稳定高容错

具备足够的策略配置与容错机制来应对上下游系统不稳定带来的不确定性。

1.提供完善的结构变化应对策略，能够按照不同的场景进行取舍与配置，从而保证自身的稳定性。

2.拥有强大的反压处理机制和灵活的读取、写入限制配置，可以通过控制读取速率、并行度、批次大小的方式，实现增量数据反压的处理，从而保证自身的稳定性。

3.提供预设策略在无计划的网络不可用、出现未知异常等情况下进行重新连接，重置线程乃至重启任务等自动化操作，从而保证自身的稳定性。

>> 便捷可管理

具备配置便捷，部署便捷，分层管理，按需服务的可管理特性。

1.配置式链路定义，无代码任务构建，运行管理，运维管理配置化，从原有的研发模式转变为系统配置管理模式。

2.容器化部署、系统资源注册、负载平衡机制和高度配置化的系统资源分组管理。

3.对数据节点注册、数据链路配置、数据任务构建、系统资源分配等各个环节能够分层次、分用户进行解耦。

4.将数据获取的范围、数据任务的生命周期、系统资源投入的多寡等配置交给使用数据的人员。

>> 开放可扩展

开放可扩展的前提在于标准化的遵循与技术趋势的前瞻性判断。

1.适应不同的数据管理技术，为用户提供基于开放式、国际通用标准的自定义数据节点。

2.支持不同类型数据节点标准化语义定义，多元异构语义融合，用户可以自定义节点间语义转化关系，保证实时数据融合过程顺利有效。

3.将三类配置解耦，可以在不改变基本逻辑架构的情况下，实现配置和功能的良好扩展。适应实时数据融合管理机制的不断发展。

向实时数据要效益，激发运营与管理数智化再升级

自项目实施以来，系统实现Oracle、IBM DB2、MySQL、Kafka等多种数据库近实时的数据采集功能，并对数据源建立高效的管理功能，实现对数据源、目的地的数据连接统一管理管理，通过界面进行数据源与目的地注册，删除数据源，同时根据需求不断迭代支持新的数据库。

利用解析数据库归档日志的方式，系统实现秒级的数据变更捕获，将解析的变更记录传送到数据目的地中，包括日志中提取数据变更的增、删、改等DML操作记录，以及新增表、删除表、添加字段、删除字段等自动同步到目的地中 。

全域数据实时融合的价值愈发重要，是加速数据流通、从而提升经营效率构建差异性竞争优势的重要手段。该项目平台实现各系统的打通与关联，覆盖多层次客户服务体系，强化了线上业务服务和资产配置等综合实力。该项目的实施提升了几十家成员行的获客能力和精准个性化服务水平，助力成员行运营与管理数智化再升级。同时，简单易用的数据同步机制可以降低应对各种实时数据应用场景的成本，提高数据的复用度，高效释放数据价值。

山东城商行联盟数据库准实时数据采集系统的实施是坚持市场驱动和创新驱动，充分发挥技术和数据要素价值的具体体现，在业界又创立一个数据管理典范并形成了可复制经验。未来，联盟也将进一步发挥全域数据管理基础平台优势，以“赋能中小银行，简单金融科技”为使命，一如既往为金融机构提供全方位、高水平的信息科技服务。