来源:市场资讯
(来源:twt企业IT社区)
导读
在云平台与多环境(私有云、本地数据中心、测试/生产环境)并存的背景下,企业在数据、算力与平台资源管理方面普遍面临视图割裂、策略分散和成本不透明的问题。以下来自两位同行分享,聚焦于如何在跨云、跨环境的复杂架构中,构建统一的元数据与资产视图,实现对数据、模型、服务、算力等核心资产的集中管理与全局可视,或可为大家带来一些启发。
【分享一】周友道 某股份制银行 数据架构师
一、资产的定义与管理逻辑
相对于数据中心原有的服务器、网络等资产,“数据、模型、服务、算力”算是软性的一些资产,其资产的属性和管理方式也不太一样,可以认为是“价值流动的不同形态”,而且这些资产越用越值钱。
对于数据资产,要识别和管理“质量与血缘”;对于模型资产,包括版本、训练集、目标集,管理核心是从训练到退役的全生命周期监控;对于服务资产,则关注的是“SLA与调用权”;对算力(特别是GPU),不再是简单的台账,而是“配额与利用率”。这些资产的保鲜度要求比较高。
二、元数据的收集方式
对这四种资产的元数据,通过合适的技术进行采集和保鲜:
数据:已有成熟的工具,但需强化实时元数据。
模型:先不急着包括业务策略,集中搞定大小模型,通过嵌入MLOps流水线,在模型注册、发布时自动提取元信息(参数量、训练集来源)。
服务:利用API网关或Service Mesh(Sidecar模式),在流量进出时自动捕获接口定义和SLA,实现“上线即注册”。
算力:利用Exporter(如Prometheus)直接从Kubernetes或云底座读取实时指标。
鉴于其动态性和服务性要求,尽量推动自动化、实时化采集。
三、在更高层次的协同:构建“联邦式”资产图谱
指望用一个超级系统物理存储所有元数据是比较困难的,尤其是现在很多银行机构已经建设了一些资产平台和服务系统。
架构上可以考虑采用“联邦查询 + 逻辑索引”的模式。不动原有的AI中台、算力平台的存储结构 ,以现有的数据资产管理平台为底座进行扩展,通过元数据连接器,将模型、服务、算力的“目录信息”拉通到统一视图中,构建一张全域资产图谱。
【分享二】 cdxd 某股份制银行 安全架构师
针对混合云与多环境并存的复杂架构,构建统一视图的核心在于打破物理集中的执念,转而采用Data Mesh领域驱动与知识图谱相结合的逻辑联邦架构。
我们不应试图将所有元数据搬运到一个库中,而是通过构建一张连接业务应用、数据资产、算力资源与财务成本的全局知识图谱,实现跨域资产的逻辑关联与血缘追溯。
在安全策略上,必须推行策略即代码与网关统一拦截的组合拳,将禁止公网访问、敏感数据加密等规则编写为统一代码,在CI/CD流水线与API网关层强制执行,确保私有云与公有云的安全水位一致。
针对成本黑盒痛点,建议实施最严厉的FinOps强制标签策略,资源启动时未通过项目或部门标签校验的直接自动销毁,从源头解决无主资产导致的费用虚高,从而以安全合规与成本透明为双轮驱动,实现跨云资源的精细化治理。
本议题属于以下课题,欢迎参与交流,了解更多可点击↓↓↓
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.