行业应用 | 建设银行金融数据技术底座建设实践

双态数据基础设施建设峰会

2021年6月5日，由中国电机工程学会、中国电子工业标准化技术协会信息技术服务分会指导，中国电机工程学会电力信息化专业委员会、ITSS数据中心运营管理工作组(DCMG)、双态IT联盟BOA主办，ITSS媒体组协办的双态数据基础设施建设峰会暨央企和金融数字化转型对话峰会在北京·古北水镇隆重召开。

以“构筑双态时代数据基础设施建设”为主题，本次大会汇聚超过300位部委、央企和金融等行业用户，交流探讨双态数据基础设施建设的管理实践经验。

6月5日上午举办的双态数据基础设施建设峰会上，建信金科基础技术中心大数据智能研发部总经理赵世辉以《金融数据技术底座建设实践》为主题作主旨演讲。以下为演讲实录：

为什么要建设数据技术底座？

建行数据基础设施发展情况可分为三个阶段：传统模式、基础云模式以及云原生模式。每个阶段都拥有不同的基础资源供给模式、数据处理方式以及应用的处方式。

目前，建行在资源供给方面，采用以容器为主要载体、虚拟机辅助，分布式存储；在数据处理方面，采用数据融合模式；在应用模式上，采用云原生应用。

在此基础上，建行大力推动存储分离技术，数据统一管理，多个引擎共享同一份数据。同时，我们正在研究技术与数据的融合，致力于实现数据技术和数据虚拟化。

近年来，金融行业技术发展速度不断加速，技术领域不断扩展，如何运用新兴技术支撑应用建设成为亟待解决的复杂问题。为此，建行通过建设数据技术底座，可实现：

1、定义各种技术的支撑方式：

不同技术的落地方式各有特点，在建行需要结合新一代架构，才可以让数据发挥作用。通过数据技术底座明确各种技术对应的支撑方式，让应用更清晰地了解技术的使用。

2、统一技术语境：

通过技术底座把每一种技术都抽象为同样的架构层次，比如开发层对使用的开发工具、开发语言、程序接口等明确标识，无论用什么技术，研发人员都知道在哪个层次沟通什么样的内容，提升沟通效率。

3、提升研发效能：

通过技术底座可以明确各种技术的协作方式，比如数据如何对接、服务如何调用等，从而提升整体研发效能。

4、打造核心技术：

技术底座可较清楚地识别出影响应用快速落地的关键技术，从而帮助我们确认投入重点。

5、赋能行业：

近年来，建行打造了很多生态应用，但行业之间的差异性使其无法照搬建行原有技术架构。通过数据技术底座，可实现轻量化数据工具和平台。

什么是数据技术底座？

建行数据技术底座是面向开发、测试、运营人员，提供开发框架、技术引擎 、软件包、程序接口等一系列资源。数据技术底座实现了基础资源节约化管理，解决了技术依赖，为建行金融科技战略的落地提供了保证。

建行“TOP+”金融科技战略，聚焦核心技术突破，实现资源对外开放共享，赋能政府、企业和个人客户。聚焦七大类技术：人工智能、区块链、云计算、大数据、移动互联、物联网、前沿技术。

在这些技术的支持下，完成应用研发和生产运行，所以说，提升研发效率和生产运营水平是数据技术底座的工作重点。

当前，数据技术底座分为研发态和生产态两大能力。研发态包括提升研发的工具、框架、工艺以及开发服务、测试服务，以此支撑全流程的敏捷研发；生产态包括面向生产的组件、监控、处置以及运维服务、运营服务，以此支撑智能运维运营。

数据技术底座详细介绍

按照《数据基础设施白皮书》的定义，数据基础设施是由基础设施层、数据管理层组成。基础设施层包括存储、服务器和网络；数据管理层包括交易系统、大数据系统以及操作系统，构成支撑数据存储以及数据全生命周期软件。

对应到建行数据技术底座，包括了支撑应用建设的全部软件能力，比如提供软件定义的云服务，各类技术框架、平台的技术组件和服务以及贯穿于各层的技术运营和安全管理。

由此可以看出，数据技术底座与数据基础设施中的数据管理层相对应。数据技术底座中最重要的两个部分是平台和技术框架。

平台：

平台，是对某些技术能力的封装、整合，以实现服务化的供给，为应用提供开发和运行能力。

建行已建成七个基础技术平台，基本对应“TOP+”金融科技战略中的七大类技术。这些平台都是架设在新的基础设施上，并满足共享、敏捷、协同三大特性。

2004年，建行开始了真正意义上的大数据平台建设，建成了ODS和数据仓库来解决系统间的数据交换和多个系统数据整合加工的问题。

2012年，“新一代”数据平台引入开放平台技术，让海量处理不再依赖于昂贵的Teradata设备，存储和计算成本的降低推动了建行大数据应用的飞速发展。

2018，随着云计算、大数据技术的成熟，在建行云的体系下建立了大数据云平台，采用云计算和开源技术，实现了向新的”数据基础设施”过渡。

经过近三年的建设，大数据云平台无论从技术能力还是应用范围都有很大提升。

技术框架 ：

技术框架，是为了解决某个技术领域应用、研发、生产、运行而形成的标准化方法工具以及软件环境，目的是为了屏蔽底层的技术细节，构建核心能力。

大数据平台技术框架从逻辑上可以划分为六大领域：

数据源、采集和转换、存储、历史分析、预测分析和分析输出，底层综合能力还包括：元数据管理、质量与测试、安全权限以及系统的可维护性。

采集和转换领域，平台提供了各种技术，进行批量和流失的处理；在存储领域，用低成本、可扩展的方式优化存储，满足类似于数据湖低价值密度和数据仓库高价值密度的数据处理。

在此基础上，历史分析域提供了面向分析决策的技术，比如灵活分析、实时分析、数据挖掘等；预测分析域提供了机器学习、数据挖掘等数据分析预测的技术；分析输出域则提供了报表、仪表板、数据服务等多种技术形式。

主要技术 ：

1、存储计算分离技术

建行大数据云平台建设之初就把存储计算分离作为其中的重要目标，目前MPP数据库和Hadoop数据已可进行统一存储。

为了让位于底层的统一存储更加高效，已进行高速缓存研究，实现对底层不同类型存储的协议转换，同时对数据进行加速，让上层访问更加高效。此外，提供了统一的接口，让上层的引擎和应用更加方便的使用。

位于中间的多种计算引擎，无论用Spark做海量数据处理，还是做AI分析，都可以方便获取底层数据，实现数据共享。

为了让不同引擎之间进行高效数据访问，上层打通了存储计算引擎之间的元数据，比如MPP数据库可定位Hive数据的存放位置。通过这些技术，可以聚集不同计算引擎的优势，合力打造更加强大的数据底座。

截止到第一季度，建行在云上部署了8000多台云化存储分离的MPP数据库节点，实现了40多套计算集群共享一个对象存储。相较于传统MPP数据库，存储计算分离MPP数据库在资源供给和故障恢复方面也极具优势。

2、数据的双态应用

稳态开发的测试、生产环境需要物理隔离，测试数据定期从生产进行同步，应用研发版本上线需要经过非常严格的管控流程，通过这些措施保证传统应用的高质量、高稳定性 。

建行大数据云平台提供敏态模式，更加适合挖掘类的应用以及AI模型的研发。

在敏态模式下，开发和生产基于统一基础设施，通过云化技术划分为测试/训练资源和生产资源；在统一数据存储上，规划了测试数据视图和生产数据视图，并对AI类模型研发实现了三态转换。

建行大数据云平台提供的敏态模式，不只是技术上的突破，更是研发流程上的创新。建行的敏态模式已在30家分行、15家子公司进行推广，已上线10多应用，覆盖100多个业务场景。

总结

数据技术底座就好比电源插座，应用好比是插头。数据技术底座可为应用提供不同种类、不同方式的数据供给服务，比如：交易类数据、分析类数据。

我们的目标是把数据基础设施打造成像电力基础设施一样，可以即插即用，让“用数”像“用电”一样便捷自由。

建行的数据技术底座建设只是起步阶段，后续会参考数据基础设施的五个特征：融合、协同、智能、安全、开放，不断完善提升数据技术底座的能力，实现数据的存储智能化、管理简单化以及数据价值最大化。