科技科技基于Apache Hudi新一代数据湖实践

认识数据湖

根据维基百科对数据湖的定义：数据湖（Data Lake）是一个以原始格式存储数据的存储库或系统，它按原样存储数据，无需事先对数据进行结构化处理。一个数据湖可以存储结构化数据（如关系型数据库中的表），半结构化数据（如CSV、日志、XML、JSON），非结构化数据（如电子邮件、文档、PDF）和二进制数据（如图形、音频、视频）。

在实际的业务应用中，数据湖作为一个集中式存储库，它以更低的存储成本，更方便的方式解决不同类型数据统一存储的问题，同时还能够为机器学习提供全局数据。

数据湖与数据仓库的区别

小编拿数据湖和被熟知的数据仓库在功能特性上做了对比，为了大家更好的理解数据湖的应用。

特性数据仓库数据湖数据类型支持处理过后的结构化/半结构化数据；一般来自业务系统

支持未经处理的结构化数据、非结构化数据、半结构化数据；一般来自IOT设备、web程序、APP、业务系统

数据处理写时建模（Schema-on-write）读时建模（Schema-on-read）性价比更快的查询速度带来更高的存储成本更快的查询速度，更低的存储成本灵活性高度监管与严格事前控制任何可以或无法进行监管的数据（例如原始数据）

从以上对比中可以看出，数据湖有着原生优势 ：

首先，从支持的数据类型上，数据仓库只能处理结构化数据，并且数据仓库在进行数据接入前要进行严格的数据结构定义、数据梳理清洗后才能入库，而数据湖逻辑是各种原始数据的集合，数据湖保留数据的原格式，原则上不对数据进行清洗，加工，但在入湖后针对数据资产的场景进行整合展示；

其次，在灵活性上，数据湖具有天生优势，传统的数据仓库，受制于业务限制，随便变迁会影响底层数据的变化，这导致了传统数仓无法灵活支持业务的变化。而对于数据湖来说，业务发生变化，数据依然可以轻松地进入数据湖里，对于数据的采集，清洗、处理，可以根据业务需求灵活响应。

科杰科技数据湖架构

以上是科杰科技数据湖的技术架构，可以看出，数据湖并不是一个产品，也不是一项技术，而是由多个大数据组件及应用服务组成的一个解决方案。

存储

支持AWS S3、OSS、Azure Blob等多种存储介质，应对不同场景下的存储需求，如AWS S3，它可以存储二进制为基础的任何信息，包含结构化和非结构化的数据；如OSS存储，支持图片和音视频等应用的海量存储、网页或者移动应用的静态和动态资源分离或云端数据处理；科技科技数据湖存储技术可以轻松面对应用对稳定性、扩展性、可用性等多样化的存储要求，以及物理硬件的复杂性；

计算

兼容多种开源/商业计算引擎，满足企业数据处理的多种诉求，且进行了优化工作，使得多范式计算面向客户侧表现为简单和统一；

运维托管

科技科技提供了可视化的部署、管理、监控、运维大数据服务组件与大数据节点的能力；

应用

支持多种数据源的接入，支持更多种类的数据类型转换，满足各种场景诉求；具备数据同步、离线开发、实时计算、数据科学、模型设计等数据湖所需的完备功能，提供一站式服务；

数据集成

利用元数据对企业数据资产进行统一规范化定义，针对不同来源、存储类型、数据形态特点及数据使用要求，提供数据同步、DB导入、临时文件导入、接口集成等多种数据归集方式，帮助用户简单、高效地实现多源、异构、分散数据的统一归集；

数据治理

通过数据分级分类、数据质量、数据标准、主数据管理及数据生命周期管理，从事前、事中、事后、从核心数据、从数据的流转周期等多个维度对数据进行治理，使得企业数据质量问题无所遁形，解决用户明知数据质量差却不知从何下手治理的困境；

数据应用

支持用户自定义封装服务接口、支持数据指标及数据标签的开发，轻松应对业务端灵活多变的数据集成需求，以及集成双方数据标准不一致导致的数据集成难、集成之后更难、集成环境和接口维护难的问题。彻底打破数据孤岛、释放数据潜力，支撑前台业务迭代发展与创新。

总结

随着大数据技术的融合发展，数据湖的边界不断扩宽，内涵也发生了变化，数据湖汇集各方技术，将持续加速释放其应用需求，现阶段，数据湖主要应用于泛互联网行业以及传统行业的互联网应用场景，未来将向更多具有大数据和高价值属性的行业扩展；企业在布局数字化转型方面，面对多元且快速变化的业务需求，一方面需建设统一的数据底座，一方面需关注平台能力的开放性、创新性和敏捷性。

近期，科杰科技湖仓一体智能平台keendata lakehouse成功通过全国首批云原生数据湖评测，平台在存储能力、计算能力、安全能力、数据管理能力、湖应用能力、兼容能力、高可用能力等方面均获得权威认可！