苏商银行——全场景数据统一极速多维即席分析底座建设

镜舟科技案例

本项目案例由镜舟科技投递并参与数据猿与上海大数据联盟联合推出的《2024中国数智化转型升级创新服务企业》榜单/奖项评选。

在 2017 年建行之初，江苏苏商银行股份有限公司（以下简称“江苏苏商银行”）确定“依托数据服务业务，科技立行”的发展战略，依托 Hadoop 生态体系搭建数仓，使用 Hive 进行数据加工处理。随着近 2 年数据量快速增长、业务场景多样化发展，该方案逐渐无法适应，暴露的尖锐痛点主要有：

1、数据链路加工复杂，导致数据开发和维护成本高。长链路下的数据口径容易发生不一致，导致业务数据应用不准确、用数需求的反馈通常需要T+1天，难以得到及时满足

2、大规模数据下的查询性能不足，随着外部竞争的激烈，前台业务人员对于数据的用数时效要求不断提高。尤其重点核心的贷款类业务，从之前的T+1时效，变为T+0.5，到现阶段的2小时内必须数据加工完成。导致科技研发和业务之间的沟通壁垒以及相互抱怨逐渐加深

基于以上2个核心诉求，江苏苏商银行迫切的希望，能够全面实现数据从源头的业务系统，到末端分析界面准实时的呈现，同时在数据湖上建仓，加速数据访问全面实现大规模下数据秒级查询分析。

时间周期：

开始时间：2023年10月

里程碑1：深入分析痛点，全面整理数据加工处理全链路环节耗时，江苏苏商银行发现在查询请求多、且数据量大的情况下，查询性能会出现明显瓶颈。后经过调研、比对业内如ClickHouse、kylin、Presto、StarRocks等数据库，最终确定采用StarRocks来构建高性能查询底层OLAP分析引擎；

里程碑2：全面升级现有BI系统。原有系统界面老旧，使用不灵活，难以适应业务多样化展示诉求；

里程碑3：联合消金、客户分析、微商、财富等部门，全面收集分析业务痛点及诉求。打通Mysql、Oracle、Hive、Kafka 等多种异构数据源之间数据实时同步链路。

截止时间：2024年3月

客户的数智化（数字化）转型升级需求

随着技术创新和科技发展，各商业银行从信息化阶段迈向数字化阶段，提高数据的处理和应用的价值成为数字化转型发展的关键。

在此过程中，江苏苏商银行也积极面向自身业务，推动数据与技术的升级，全面发挥数据要素价值。其数智化转型升级需求主要体现在以下几个方面：

1、数据管理成本与应用效率：随着用户和业务从线下网点向线上迁移，银行的数据量呈爆发式增长，传统数据仓库已无法满足要求，江苏苏商银行需要能够高效处理和存储大量数据的系统，以减少数据存储冗余和管理成本。

2、技术升级与架构优化：客户需要采用先进的技术架构来提升数据查询性能，实现高并发下的极速响应，并具备横向扩展能力，以适应数据量的快速增长。客户希望通过构建统一的数据服务平台，实现数据的统一管理和服务，从而优化现有的技术架构。

3、敏捷开发与响应：随着数据需求的爆发式增长，数据研发在面对业务需求时，需要更加及时、稳定、准确交付，配合业务方快速响应市场变化和业务需求，提高数据开发效率，保证数据研发交付服务能够顺利投产、稳定运行。

面临挑战

在项目实施中，江苏苏商银行面临一个非常突出的挑战：实时 OLAP 架构的升级改造，涉及非常多的业务线，且原有的业务数据加工处理链路长，加工逻辑复杂。在实现打通全行 200+ 业务系统的实时链路，实现数据的统一流转、统一管控、统一审核、数据容错等能力建设的同时，该如何尽可能的减少对行内现存系统的冲击，甚至无感切换适配。

这个挑战对于整个项目实施的成功与否至关重要，甚至起决定性作用。此外，各个业务方不确定架构改造带来的价值和潜在未来收益，因此都保持谨慎态度。

针对这个挑战，江苏苏商银行做了以下几个措施，概括如下：

1、对于实时链路的升级改造。江苏苏商银行引入实时数据同步系统，基于开源 Flink CDC 组件，实现源端数据到目标端的异构数据源的秒级同步。业务系统的实时数据同步需求，历史的操作手段是，通过业务系统抛送数据到 Kafka 消息队列，目标数据系统再通过消费 Kafka 来实现数据的同步链路交互。引入实时数据同步工具之后，江苏苏商银行对整体链路架构进行了简化，不再通过 Kafka 进行异构数据源的流转，统一采用实时数据同步工具进行统一处理管控。

2、对于各个业务系统负责人的疑虑。项目团队在前期和各个业务团队充分交流，并收集了当前实时数据的痛点，同时也多次组织进行项目价值的宣导和讲解。最终各个团队配合改造意愿达成一致。

数据支持

基于全行的业务数据和外部数据，依托数据底座提供的公共能力，江苏苏商银行构建了自己的数据湖体系，打造了湖仓一体的数据架构。通过在数据湖集市层，引入基于全场景 MPP 分析引擎 StarRocks 研发的镜舟湖仓分析引擎，实现极速统一的数据分析。

项目范畴：覆盖全行 200+ 系统及所有业务线，提供数据口径统一的、一站式的数据探查服务，使大量分布在消金、微商、财务等业务领域的实时数据，可以集中统一处理，对业务营销响应从原来的 2 天缩短到秒级。

项目亮点/效果：

实时数据场景下，通过打通标签、UC、埋点、存贷款核心、资损防控等 5 大业务场景的实时数据链路，实现企业报表产出由原来 n+6小时缩短到秒级，使管理决策用数效率从T+1天缩短到秒级。

最新贷款等业务数据的实时查询，首次实现秒级响应。实时存贷款报表应用中，存贷款的对账时效从 2 小时缩短到 30 秒内，效率提升1000倍+。此次架构升级改造，江苏苏商银行的整体数据运维成本降低60%+，相关人力成本综合核减每月400人天。

应用技术与实施过程

项目启动之初，团队将整体数据底座架构重新进行梳理、优化升级，旨在满足各个业务团队的快速、高效、稳定的用数需求。其中，实时数仓架构以镜舟湖仓分析引擎为核心，支持高并发和低延迟的数据处理需求。

1、总体流程

具体逻辑过程如下：

第一，对于外部的数据，首先通过离线和实时的数据交换集成同步工具，抽取到数据层进行统一管理存储，其中可存储的数据类型涵盖大规模分布式文件系统hdfs、半结构化存储mongdb、列式存储hbase、分布式账本、对象存储ceph等。

第二，在数据计算层，通过基于spark、hive、flink等开源组件，构建的流批一体化计算平台，对数据存储层的落库数据进行ETL加工处理，加工之后的数据最终存放到数据资源中心，形成全行的数据资产，也就是行内的数据湖产品。

第三，依托数据湖的底层数据资产，在数据服务中心提供RestfulAPI、WebService、RSF等各种形式的数据接口，提供可对外服务的数据服务。

第四，最后，构建数据服务总线，涵盖批量数据服务、实时无边界数据服务、DataAPI服务的形式统一对外暴露。最终服务各个业务系统，赋能业务数字化。

在整个数据底座垂直的数据流转体系中，在横向维度，江苏苏商银行进行了数据治理、保障体系、数据资产管理管控等拓展，尤其在数据流转的溯源排查上，通过全链路的数据血缘分析能力。可以快速的分析定位数据问题，赋能数据治理有了一个强力的数据分析抓手，系统截图如下:

数据血缘分析

2、实时数仓架构

根据业务现状，我们借助镜舟湖仓分析引擎的高性能分析优势，作为实时数仓的整个实时能力的核心部分，具体的：

1）上游通过实时同步系统实时同步过来的数据，一条链路同步到Kafka，借助行内自研的大数据平台实时Flink消费到镜舟湖仓分析引擎；

2）一条链路是直接同步到镜舟湖仓分析引擎。下游业务方主要有2大业务域，一个是BI系统，主要实时报表。另外一个是客户营销，通过行内配置化的统一数据API系统，对下游提供熔断、限流、安全管控的API能力。

3、湖仓分析引擎集群划分

湖仓分析引擎集群区域划分整体划分如下：

1）批量存储DB区域

通过T+1离线数据同步到镜舟湖仓分析引擎数据集，主要承载的是各个业务条线的集市数据集；

2）实时存储区DB区域

承载财富、消金、支付、风险、微商等实时业务诉求；

3）临时存储区DB区域

设置7天、1天、3个月等不同维度的临时存储，主要为了满足业务方临时数据探查诉求；

行业变化

1、使大量分布在消金、微商、财务等业务领域的实时数据，可以集中统一处理，对业务营销响应从原来的 2 天缩短到秒级。

2、整体架构在数据湖之上引入 StarRocks ，搭建加速分析层，可分析数据集市的千万级、亿级数据量，时效从原来的 30分钟 -- n 小时的分析时效区间，缩短到秒级。

3、整体取数运维成本降低60%+。

4、智能运营增长平台可以实时监控触达转化数据；管理驾驶仓能实时查看时点存款、时点贷款的余额、实时总客户数的排名情况，辅助业务人员进行实时的分析决策。

关于企业

·镜舟科技

北京镜舟科技有限公司是一家专注开源商业化的中国公司，由 StarRocks 项目核心成员于2022年创立。

基于开源项目 StarRocks ，镜舟打造了符合国家标准并适配国内外生态体系的企业级分析型（OLAP）数据库，在行业适配度、场景成熟度、产品稳定性等方面有着卓越表现。

作为 StarRocks 社区中国最大贡献者，镜舟大力参与社区推广工作，未来也将持续与各大头部厂商一起创造世界顶级的开源项目，为社区发展贡献力量。点击文末“阅读原文”链接，还可了解更多“镜舟科技”信息。

镜舟科技

镜舟，连接大数据与价值

·苏商银行

江苏苏商银行股份有限公司，是江苏首家民营银行、国家高新技术企业，于2017年6月16日由多家知名企业发起设立，注册资本为人民币40亿元。江苏苏商银行从诞生之初就融入了科技创新的基因，秉承“科技使金融更简单”的经营理念，聚焦微商金融、消费金融、科创金融、产业链金融、财富管理和支付金融六大核心业务，产品突出“O2O”与“科技驱动”的定位，将自身定位于银行业市场的“补位者”，将长尾客户定位为目标客群。

苏商银行

苏商银行官方服务号。苏商银行已按照国家规定参加存款保险，本机构吸收的本外币存款依照《存款保险条例》受到保护。

★以上由镜舟科技投递申报的项目案例，最终将会角逐由数据猿与上海大数据联盟联合推出的《2024中国数智化转型升级创新服务企业》榜单/奖项。

该榜单奖项最终将于7月24日以下活动中进行榜单的首发与奖项的颁发，欢迎报名莅临现场