一个心理学背景、几乎零技术基础的人,第一天学 Apache Gravitino,该从哪儿下手?我决定不急着装环境、不急着在终端报错里打转,而是先把整体图景看明白。
![]()
心理学里常讲“心智图式”——大脑用来组织零散信息、让我们不至于被淹没的认知地图。翻文档的时候我突然对上号了:元数据系统,本质上就是一家公司数据的共享认知地图。
现代数据和 AI 项目里,资产散落在完全不同的工具中:结构化表放在 MySQL、PostgreSQL 这类数据库里;大规模分析表躺在数据湖里,比如 Hive、Iceberg、Paimon;图片、原始训练数据这类非结构化文件存在 HDFS 或 S3 上;实时数据流则跑在 Kafka 这类系统里。
工具彼此割裂,元数据也跟着碎掉。所谓元数据,就是那些“标签”和描述,告诉你有哪些数据、数据在哪、谁有权动它。碎片化的后果很直接:找数据难,安全使用数据更难,尤其当 AI 项目需要同时从多个来源取数时。
Gravitino 的思路是做一个统一的元数据层,也就是联邦元数据湖。它连接这些不同的数据源,把它们的元数据放在一个屋檐下管理,而不需要复制或搬动真实数据。
为了把一切组织起来,Gravitino 用了一套很干净的四层结构:
- Metalake:顶层容器,可以理解为一个组织或一套环境的整个工作区。
- Catalog:把不同类型的数据源归组到一起。
- Schema:在 Catalog 内部组织资产,类似文件夹。
- 资产:团队真正打交道的东西——关系表、非结构化文件集、Kafka 主题,以及 AI 模型。
让我眼前一亮的是,它没有停在传统数据库表上。把文件集、消息主题和 AI 模型放进同一套层级里,很贴合今天人们实际搭建数据加 AI 项目的方式。
到目前为止我的理解是:Gravitino 不想当一个吞下所有数据的巨型存储桶。它更像一个统一的目录,让你跨系统查看、组织和管理一切,而不用搬动真实文件。
我还在这段旅程的最开始。下一步,我打算在本地把它跑起来,看看这些概念落到实践里到底长什么样。对一个非计算机科班、刚接触开源数据基础设施的初学者,有什么建议吗?
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.