常熟农商银行郁敏：TEZ引擎LAKEHOUSE金融级数据中台重构创新实践

当前，随着大数据、云计算、人工智能等技术的飞速发展，金融机构的业务模式、服务方式乃至整个行业生态都在发生深刻变化。数字化转型已成为金融机构提升竞争力、实现可持续发展的必由之路。在这一过程中，数据作为金融行业的核心资产，其重要性日益凸显。如何高效地收集、存储、处理和分析数据，以支撑业务创新、风险管理和决策优化，成为金融机构面临的重要课题。数据中台作为连接数据源与业务应用的桥梁，通过提供统一的数据存储、处理和分析能力，有效解决了数据孤岛、数据不一致等问题，成为金融机构数字化转型的关键基础设施。

常熟农商银行统计与数据资产部总经理助理郁敏

近日，在“2026金融业数据管理创新研讨会暨首届金融数据管理人年会”上，常熟农商银行统计与数据资产部总经理助理郁敏，就“TEZ引擎+LAKEHOUSE金融级数据中台重构创新实践”这一主题进行了深入分享，不仅展示了常熟农商银行在数据中台建设方面的最新成果，也为金融行业的数据管理，特别是中小金融机构的数据创新提供了可供借鉴的经验和启示。

金融级数据中台的演进与挑战

1.从数据仓库到数据中台的转变

传统上，金融机构主要依赖数据仓库进行数据处理和分析。然而，随着业务的发展和数据的爆炸式增长，数据仓库在扩展性、灵活性和成本效益等方面逐渐暴露出局限性。为了应对这些挑战，金融机构开始探索向数据中台转型的道路。

数据中台不仅继承了数据仓库的数据处理能力，还通过在数据应用层面引入微服务架构、容器化技术等手段，实现了数据的快速迭代和应用的灵活部署。同时，数据中台还特别强调数据的共享和复用，通过提供统一的数据接口和服务，降低了数据使用的门槛和成本。

2.金融级数据中台的特殊要求

与一般行业的数据中台相比，金融级数据中台在安全性、稳定性和合规性等方面有着更高的要求。虽然数据中台通常部署于金融机构的内网环境，但是对于网络访问的安全管控，特别是要针对数据泄露风险作出针对性的防范，从而保障客户信息和数据应用的安全。同时，虽然数据中台通常不直接面向客户提供服务，但是随着监管部门对数据报送要求的提高、业务条线对数据分析驱动营销/风控/运营的迫切需求，作为数据底座的金融级的数据中台还需要具备高可用性和灾备能力，确保在极端情况下业务能够连续运行。

此外，随着监管政策的不断收紧，金融机构还需要确保数据中台符合相关法律法规的要求，避免因数据违规使用而引发的法律风险和声誉损失。

3.常熟农商银行数据中台的演进历程

常熟农商银行的数据中台建设始于十年前，经历了从数据仓库到数据中台的逐步转变。初期，银行采用TD（Teradata）数据仓库技术，主要面向主题数据进行建模，支持决策分析。随着业务的发展和技术的进步，银行于2018年引入了CDH（Cloudera Data Hub）技术，形成了数据中台的雏形。

然而，面对信创（信息技术应用创新）的严格要求和市场环境的快速变化，常熟农商银行决定对数据中台进行全面重构。2025年，银行上线了基于华为MRS（MapReduce Service）和DWS（Data Warehouse Service）融合的第三代数据中台，实现了全信创环境下的自主可控和高效运行。

TEZ引擎+LAKEHOUSE架构的创新实践

1.湖仓一体架构的设计理念

常熟农商银行的第三代数据中台采用了湖仓一体架构，将数仓（主集群）和数据湖（主集群）有机结合，实现了数据的统一存储、处理和分析。湖仓一体架构不仅简化了数据架构，还通过备集群的建设实现了主备容灾和高可用性，确保了数据的安全性和业务的连续性。

在具体实施上，银行利用华为提供的前瞻性功能，实现了数仓与数据湖底层元数据的直接打通。这一创新使得银行无需进行数据同步即可进行跨库查询，大幅提升了数据查询效率。同时，湖仓一体架构还支持海量数据处理和实时交易场景，为银行的数字化转型提供了有力支撑。

2.TEZ引擎的跑批优化与性能提升

针对传统跑批引擎性能不足的问题，常熟农商银行引入了TEZ引擎，并通过30多项参数调优实现了跑批时效的显著提升。TEZ引擎采用DAG（有向无环图）高效调度算法，减少了不必要的HDFS（Hadoop Distributed File System）写入操作，进一步提升了系统整体性能。

据郁敏介绍，新平台的跑批时效比老平台提升了2.4倍，主干链路跑批更是提升了2.3倍。这一优化不仅解决了跑批性能瓶颈问题，还为银行的实时风控和敏捷营销提供了有力保障。例如，在信贷审批场景中，新平台能够快速处理大量申请数据并提供准确的审批结果，大大提升了客户体验和业务效率。

3.存储压缩与成本节约的实践

在存储方面，常熟农商银行对新平台的存储格式进行了全面梳理和优化。通过采用ORC（Optimized Row Columnar）和Zlib等高效存储格式，银行成功将数据容量压缩43%。

这一优化不仅降低了存储成本（服务器和软件授权合计节省总预算的19.5%），还提升了数据读写效率。例如，在数据查询场景中，新平台能够更快地返回查询结果，提升了用户体验和业务响应速度。同时，存储压缩还减少了数据备份和恢复的时间成本，为银行的业务连续性提供了有力保障。

数据中台赋能业务效能的革命性变化

1.关键业务报表出数时间的大幅提速

新数据中台的上线不仅带来了技术上的升级，更引发了业务效能的革命。据郁敏分享，新平台上线后，关键业务报表的出数时间最高提速了649%。这一变革为银行的敏捷营销和快速决策提供了“小时级”的数据支撑。

例如，在绩效考核场景中，新平台能够在早上六点钟就生成前一天的绩效考核数据，而老平台则需要到下午才能生成。这一提速使得分支机构能够更及时地调整工作策略和优化资源配置，提升了业务效率和竞争力。

2.实时风控与小微展业的全面提效

在实时风控方面，新数据中台通过独立集群部署和高效的数据处理能力，支撑了授信、小微、零售、村镇等业务的风险管理。目前，信贷侧已形成超过70套策略，为银行的小微贷款业务提供了强有力的风险保障。

据统计，审批时效由原来的30分钟缩短至平均10秒，大大提升了业务处理效率。这一提效不仅增强了客户的满意度和忠诚度，还为银行赢得了更多的市场份额和竞争优势。

3.BI看板与AI问数的广泛应用，实现数据普惠

为了进一步降低数据获取门槛、提升全员数据体验，常熟农商银行还推出了BI看板和AI问数等产品。通过BI看板，银行将数据中台上沉淀的数据融合层和领域集市层的数据，受控地开放给各分支机构和业务部门，使他们能够根据自身需求搭建数据统计和业务考核方案。

而AI问数产品则通过问答式查询方式，为数据分析人员、支行长和客户经理等不同角色提供了便捷的数据获取途径。目前，该产品已提供了1000多个标准化指标供用户查询和使用，真正实现了数据的普惠化应用。例如，在综合营销平台中，客户经理可以通过AI问数产品快速查询自身的存贷业绩增长情况、所属机构的整体排名等信息，为精准营销和个性化服务提供了有力支持。

结语：数据驱动未来，创新引领发展

在常熟农商银行的数据中台建设实践中，通过引入TEZ引擎和LAKEHOUSE架构等先进技术手段，银行不仅解决了传统数据仓库面临的诸多痛点问题，还实现了数据处理效率和业务响应速度的显著提升。正如郁敏在分享中所言：“数中见义，用数据成就美好。”在未来的发展中，常熟农商银行将继续秉持这一理念，不断探索和实践数据管理的新模式、新方法，为金融行业的数字化转型贡献更多智慧和力量。

【互动问答】

Q：请问数仓和湖的备集群与主集群的时差分别是多少？如何保证主备集群数据一致性？

按照批量同步的方式来做，设定了每天的同步时间窗口。本来想用华为的数据库同步工具来实现，但是发现用工具的话，灵活性不满足要求，有的表我们不需要同步。关于一致性，本身数据copy完就会做检验，然后再叠加count和sum检验。

Q：华为这套数据存储的成本与之前的CDH比较有没有优势？主备集群的数据存储副本数一样吗？

副本一样多，不过开发测试环境做了单副本，提高性价比。存储成本通过使用容量更大的硬盘，综合测算下来相差不大。

Q：MRS和DWS的数据架构和流向能否展开讲下？

正向加工严格遵守先mrs，再dws。另有存档数据流，在空闲时把dws的数据同步回mrs的归档区。Dws作为跑批定向加速的场景，在上面主要部署应用集市。而mrs主要是承载贴源、模型、领域集市和对时效要求不那么高的应用集市。

Q：BI有没有碰到用户的数据量特别大的情况？

有的，数据量大的，我们会设置bi分店的模式，以平衡用量和管理复杂度的问题。不过这个分店不面向个人创建，而是以业务部门/分支机构为单位创建，其中的数据原料由我们部门统一提供。

在金科创新社官网、微信公众号均可下载活动资料。