应对业务用数敏捷和数据管理有序,本次分享结合在能源企业和证券公司的实际应用案例,就如何构建企业级逻辑数据平台进行分享。
分享嘉宾|余俊 Aloudata合伙人兼技术副总监
内容已做精简,如需获取专家完整版视频实录和课件,请扫码领取。
01
企业数据开发面临的问题和挑战
近10-20年,大量企业都在做自己的大数据平台,随着历史发展和技术的不断创新,企业内部可能同时存在不止一套大数据平台,数据孤岛化趋势明显,导致用户取数、用数成本激增,传统数据解决方案存在的数据时效问题、数据权责问题均难以解决。
数据湖与整个数仓的技术发展在近些年来迭代更新非常之快,随着企业大数据发展进程,数据孤岛问题随之产生。
首先,数据孤岛导致取数工作非常困难,尤其是不同数仓体系或者数据服务体系,不同产品访问、取数、用数、接口、语法都会不太一样,导致我们很难把这些数据真的用好,用户的学习成本非常高。
其次,业务用数时一旦涉及到一些全局业务,数据不在一个平台里面去使用,这些业务用数就非常难,典型的像业务360数据、集团财务看板这样一些数据。
最后,数据孤岛里面的数据也很难去做一些全域的数据治理,比如盘清楚企业真正的核心资产有哪些,有多少重复,这些问题都会面临挑战,这里包括数据安全管控问题等等。
面对这些问题,如果采取传统数据解决方案,通常做法是去搭建一个集中式的仓库,把所有的这些数据汇集到一起,然后再去做业务的实现。这样仍然面临几个很严峻的问题。一个是数据时效性的问题,因为数据如果提前同步好,是否所有数据都要提前同步进去?如果不是提前同步好,那么只有当业务用数的时候,你再去同步的话很可能面临一个滞后性的问题。除去时效性,另外一个问题是成本。数据权责的问题,数仓中加工出来的数据,同步出去之后,数据谁来维护?从生产者角度来讲,这个数据同步出去之后可能他的工作就结束了,从使用者角度来讲,又很在意数据的质量问题。
不同于ETL人工数据管理,Data Fabric利用数据虚拟化,无需复制数据,逻辑化实现任何来源、任何格式数据的集成整合,将正确的数据,在正确的时间,给到正确的人。
但数据虚拟化之后如何解决性能问题,是企业面临落地中一个非常大的挑战。
02
企业级逻辑数据平台构建与优势
面对企业数据孤岛,基于数据虚拟化引擎之上一整个逻辑数据研发平台。其中包含了数据逻辑集成、逻辑数据整合等多个维度。
逻辑数据平台的优势在于以销定产,业务按需进行逻辑集成和逻辑整合数据,业务使用数据按需做数据加速,同时也能轻松集成全域数据资产。
此外,逻辑数据平台也可以创建逻辑视图,分层加工数据,自动生成ETL任务和回收物理表,借由逻辑数据内置/外接数据构建+OLAP查询双引擎,BI工具直连逻辑数仓进行消费,数据处理和消费统一一套SQL语法,管理企业所有数据资产;逻辑数仓架构和底层大数据引擎解耦,底层技术组件升级不影响业务。
03
指标平台企业落地案例
基于企业数据孤岛,搭建逻辑层,有几个比较经典的架构。
一是数据的链接层,提供统一的数据逻辑整合能力,在此基础上做整个企业的统一资产管理。
二是统一的数据服务,包括统一的数据治理及统一的资产目录管理,对外访问的时候,只连接逻辑层,通过逻辑层实现所有消费端的对接。
案例一
某国有能源企业建有多套数仓,数据规模较大,数据分散,难以统一分析和使用。采用数据虚拟化构建逻辑层可以实现统一的数据查询和访问入口,统一集团所有数据权限管控和审计;同时也能统一数据服务,实现集团所有业务访问数据的集中管理;此外,在统一资产管理方面也有成效。
该国企最早使用的是基于Hana至少搭建BW数仓,之后又购买了国内大厂的一些数仓,因为其业务特性,各个分公司里面存在海量数据,这些数据有存在于另一个数据湖里面。整个数据中台,有BW仓的数据,也有新建数仓的数据,还有数据湖的数据。
像Mongo这种数据面临很多痛点,BW数据如果全部迁到新的数仓里面,无论重构还是新建,对于业务影响巨大,组织协同等各种原因导致无法做到统一,无法都搭到一个新的数仓里面去,但是从业务视角,有需要使用这些数据。同时集团子分公司非常多,每个子分公司又都有自己的数据,这些数据如何整合?最终采用的方案,在所有数据源之上构建一个虚拟化逻辑层,通过提供一个统一的数据访问服务,包括资产管理、安全管控。
实施过程中,按业务场景或是按业务线逐步去做,实现所有用数用户在逻辑数据平台这层可以看到企业所有有效数据,实现了整个数据查询访问的统一入口。
案例二
某传统券商公司要新建一个数仓以解决取数难的问题,如果采用传统数仓体系搭建,公司内部原因IT人员无法完全支持且项目投入成本巨大。逻辑数仓搭建,采用RP(Relational Projection)策略,数据交付时长可以从两周缩短到几小时,数据开发管理工作量减少30%,数据存储计算成本节约70%。
该券商公司如果采用传统数仓体系搭建,很多IT层面的工作需要靠外包来解决,评估来看投入成本非常大,包括各种数仓技术组件、引擎搭建成本,IT运维成本等。基于逻辑化,低成本解决方案,源头有很多个数据源,因其各种各样的业务系统,离散在MySQL、Oracle、SQL Server,基于这些业务系统的数据,抽出一个PDS层,之上做一个DWD层,能有一个数据的历史链路去做沉淀,可以用于数据回溯,这是在该层实现的一个特点。
以上是本次分享的全部内容,如需获取专家完整版视频实录和课件可扫码领取。
18年互联网技术和大数据平台相关架构经验,曾任蚂蚁集团大数据研发平台技术负责人。从零主导完成蚂蚁第一和第二代数据研发平台产品体系的建设,涵盖数据集成、研发、运维、质量基线及资产平台等完整数据研发平台产品体系,搭建了蚂蚁面向金融行业的逻辑化智能数据研发平台,有丰富的海量数据及智能化数仓的落地实践经验。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.