网易首页 > 网易号 > 正文 申请入驻

数据「熵增」时代,AI 如何以标准重构治理秩序?

0
分享至

Agent 热潮不减,但数据分析与治理状况却仍存在短板。据 Gartner 公司预测,到 2027 年,80% 的数据和分析治理举措或将因各类原因而失效。如何在 AI 时代重塑数据治理体系,让混乱数据重归有序,成为企业智能转型的关键命题。

近日,在 infoQ 举办的全球人工智能开发与应用大会上,瓴羊智能数据建设与治理产品 Dataphin 高级技术专家 周鑫 受邀出席,以「基于统一标准的智能数据治理 Dataphin 的落地实践」为主题,系统阐述了以数据标准为核心,实现可持续数据治理的方法论,以及以 AI 赋能自动化数据治理、重构复杂业务流程的实践路径。

1 数据「熵减」之道:基于统一标准,打造数据治理方法论

“事物天生具有‘变混乱’的趋势,数据也是如此。如何将无序变得有序?按照热力学第二定律,需要从外界输入能量,并且具备感知能力。”

周鑫表示:“对于数据治理来说,能量就是治理工具,感知就是标准规范。”数据治理是实现数据世界的“熵减”,它可以通过现状评估、制定目标、执行计划、持续监测四个治理阶段,帮助数据生产者打破孤岛,实现低成本数据开发,帮助数据管理者做好资产盘点,确保数据质量与安全,帮助数据使用者便捷用数,助力决策分析。

但在现实情况中,许多数据治理的结果通常会面临失败,周鑫将其归结为四个原因:1)治理动作分散,缺乏体系化方法论;2)治理流程复杂,重度依赖人的能力和素质;3)缺乏工具支撑,导致理论与实施脱节;4)无法持续治理,治理策略难以快速调整。

面对以上四类问题,Dataphin 提出了一套以数据标准为中心的数据治理方法论及产品化的落地。其核心逻辑为:聚焦 Data x AI,用中台方法论构建统一的数据标准,打造企业级好数据,帮助企业形成数据生产、数据消费、行业数据流通的数据要素服务链,驱动数据价值的释放。

“方法论的核心关键,在于以数据标准为中心。数据标准贯穿数据整个生命周期,它让数据治理具备核心抓手,不会漫无目的”,周鑫表示,企业需从核心业务入手,先行试点开展业务梳理与盘点工作,将相关统一纳入 DataCatalog,并在此过程中逐步形成对应的数据标准

标准梳理完成后,平台即可开展标准构建:通过统一的数据标准,自动实现质量监控与安全分类,保障开发过程规范,阻断不规范数据开发。同时,统一标准可提升数据的可理解性与细节清晰度,实现数据从生成、开发到消费的全生命周期标准化管理。

“整个治理链路就是以数据标准为中心,将传统的复杂的治理手段,简化成数据标准的梳理与治理效果的评估过程,数据符合标准的程度越高,整体数据质量也就越好”。

周鑫表示,该方案以数据标准为核心,通过插件集成、API 注册和准实时同步等多种方式采集元数据,并统一纳入 DataCatalog,结合质量规则和安全策略进行自动识别与治理。这一方法论具备三大优势:一是体系化,明确治理目标与路径;二是易落地,借助一体化工具和 AI 能力,贯穿数据全生命周期;三是可持续,以标准驱动模式便于应对业务变化,有效降低治理成本与复杂度。

2 语义知识 + 流程提效,智能 Agent 多场景赋能数据治理

许多企业在应用 Agent 时都难免遇到一个难题:Agent 虽然具备一定的智能和对话能力,但在复杂业务场景中常常“空转”,无法真正理解业务语境、解决预期的实际问题。

周鑫表示,造成这一现象的根本原因,“在于数据质量偏低或数字化基础薄弱,导致 Agent 无法有效发挥价值,最终企业只能被迫放弃”。

AI 时代,优质数据至关重要,但“好数据”应如何获取?AI 又该如何赋能数据治理?

首先,“Agent 在没有丰富准确的语义知识下,不可能达到可生产使用的准确率”,周鑫认为,企业获取好数据,需要构建准确且丰富的语义知识体系。Dataphin 针对这一需求,打造了包含元数据、数据标准、数据模型、业务知识四大语义知识体系。企业可以通过采集丰富且统一的元数据,建立涵盖码表、词根、值域及安全分类分级的标准体系,依托 Dataphin 智能构建的概念模型、逻辑模型和物理模型,以及对业务词条和逻辑的高效管理,实现对复杂业务知识的精准映射和应用。

以 NL2SQL 为例,Dataphin 通过引入业务语义,不仅提升了问题泛化能力,还大幅提高了 SQL 匹配的准确率,显著增强了对自然语言的理解能力。实测数据显示,在 Dataphin 开放数据共享模型涵盖的 45 个典型问题中,简单问题的 SQL 准确率从 70% 提升至 80%,而中等及复杂问题的准确率更是从 10% 跃升至 60%

其次,企业还需借助 AI,对数据治理链路进行提效。基于 TaskWeaver 改造,Dataphin 构建了具备生产化能力的 Agent 框架,覆盖研发、治理、资产问答等多个场景,显著提升了现有流程效率,拓展了 Agent 的应用边界。

以 NL2SQL 为例,系统可在识别信息不全时自动发起反问,补全后再继续处理,确保复杂业务场景下依然具备高理解力与执行准确率。同时,Dataphin 的开放能力不断演进,从传统的 API 和数据服务扩展至 MCP 模式,支持更灵活的接入方式,适配非固定流程和动态交互等复杂需求。

智能找表场景,Dataphin 有效解决了用户将复杂业务问题,转化为准确搜索词的难题。“引入 AI 后,你可以用业务的语言直接问,比如‘我要做客户分层’,‘我要用哪张表’,AI 会用大模型去对业务问题进行拆解和泛化,最后找关联到你已有的全域资产”。

数据分析场景,Dataphin 通过专辑机制与丰富的语义知识,解决了因语义知识的缺失或混乱,相似口径和命名干扰、以及海量表格带来的找表难题,显著提升了找表的效率与准确率。

数据治理场景,Dataphin 通过“性别”等复杂字段特征识别,解决了正则表达式“不会写”、“看不懂”难题,取代了传统人工探查的繁琐过程,以往需要耗费十几分钟的特征识别,如今只需几十秒即可完成。

数据管家场景,资产上架往往涉及表描述、字段注释、目录归属、标签分类等复杂操作,尤其在字段数量众多时,人工维护工作量大、耗时长且易出错。通过引入 AI 能力,Dataphin 支持属性信息的智能生成,可一键生成表 / 字段描述信息、目录、标签等,使人力成本与操作门槛大大降低。

目前,Data x AI 发展仍处于以模块提效为主的第一阶段;随着 AI 对复杂节点的处理能力增强,Dataphin 正在以“智能工作台”有机整合独立模块,重构整体业务流程。“有了 AI 之后,工作台模式可以让很少的人,完成复杂的业务,每个环节都有大量 AI 和自动化能力支撑,人们干的最多的事情是进行确认。”周鑫表示,未来,AI 还将在更多场景中深度参与,从辅助提效逐步向自动化、智能化方向迈进,推动企业实现数据治理范式的全面升级。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
《马关条约》本是屈辱条约,如今成为巴丹群岛归属中国关键铁证

《马关条约》本是屈辱条约,如今成为巴丹群岛归属中国关键铁证

娱乐圈的哔哔王
2026-07-26 19:14:57
这位成熟气质的阿姨的打扮确实很有魅力

这位成熟气质的阿姨的打扮确实很有魅力

美女穿搭分享
2026-08-08 21:48:21
武磊方发文寻人:寻找在上海体育场、身着国家队7号球衣的小球迷父子;该对父子疑遭数名身着申花球衣球迷围攻,韩乔生怒怼“算什么东西”

武磊方发文寻人:寻找在上海体育场、身着国家队7号球衣的小球迷父子;该对父子疑遭数名身着申花球衣球迷围攻,韩乔生怒怼“算什么东西”

扬子晚报
2026-08-19 12:41:55
震动台湾政坛!蒋友松想要强行迁走两蒋悬棺,他凭什么敢这样做?

震动台湾政坛!蒋友松想要强行迁走两蒋悬棺,他凭什么敢这样做?

人生录
2026-08-19 00:05:17
宋子文晚年选择吐露实情:西安事变护送蒋介石抵南京当日,叛徒并不是张学良,这个名字藏了35年,再不说就要随同自己入土了

宋子文晚年选择吐露实情:西安事变护送蒋介石抵南京当日,叛徒并不是张学良,这个名字藏了35年,再不说就要随同自己入土了

唠叨说历史
2026-08-04 17:10:49
越扒越有料!Selina近照曝光, 体重超160斤,大半网友都只看表面

越扒越有料!Selina近照曝光, 体重超160斤,大半网友都只看表面

情感大头说说
2026-08-20 04:41:30
一年产出上百部黄色影像!麻豆传媒毁掉了多少女人?警方一举捣毁

一年产出上百部黄色影像!麻豆传媒毁掉了多少女人?警方一举捣毁

潋滟晴方DAY
2026-07-21 17:12:09
14岁素颜街拍火遍全网,赵钰琪才是真·老天爷喂饭的美人胚子

14岁素颜街拍火遍全网,赵钰琪才是真·老天爷喂饭的美人胚子

喜欢历史的阿繁
2026-08-20 11:27:17
这谁顶得住!伊朗彻底懵了,每天180万桶的销路说断就断,中国也不惯着了。从日进斗金到中国市场收入骤减,德黑兰的底牌有些不管用了

这谁顶得住!伊朗彻底懵了,每天180万桶的销路说断就断,中国也不惯着了。从日进斗金到中国市场收入骤减,德黑兰的底牌有些不管用了

林杰论事
2026-08-06 06:05:14
彻底火出国门!《牛来》即将在新加坡上映!影响扩大,西方媒体标题太有意思

彻底火出国门!《牛来》即将在新加坡上映!影响扩大,西方媒体标题太有意思

糊咖娱乐
2026-08-19 11:50:39
美国宣布:制裁赤根智子

美国宣布:制裁赤根智子

新京报
2026-08-19 11:29:17
叶海洋四孩身世揭秘!同一位生父、美国顶级精子库,真相终于明朗

叶海洋四孩身世揭秘!同一位生父、美国顶级精子库,真相终于明朗

娱乐洞察点点
2026-08-19 01:27:53
不追网红院长!上海8位隐藏名医,个个都是学科天花板

不追网红院长!上海8位隐藏名医,个个都是学科天花板

王二哥老搞笑
2026-08-20 01:42:10
特朗普松了口气:台积电美国工厂利润大增661%,超过中国大陆工厂

特朗普松了口气:台积电美国工厂利润大增661%,超过中国大陆工厂

互联网.乱侃秀
2026-08-20 09:55:00
住建局领导,偷睡别人老婆,被直播!

住建局领导,偷睡别人老婆,被直播!

地产八卦
2025-08-06 19:25:42
学会这招能救命!50岁女子失足落水不会游泳,靠“躺平”硬扛近1小时

学会这招能救命!50岁女子失足落水不会游泳,靠“躺平”硬扛近1小时

上观新闻
2026-08-19 08:59:12
白酒再次被关注!医生发现:糖尿病者喝白酒,不用多久或有5变化

白酒再次被关注!医生发现:糖尿病者喝白酒,不用多久或有5变化

叙说医疗健康
2026-08-20 07:00:25
大势已去无力回天!泽连斯基被逼墙角服软求和,西方援乌彻底断档

大势已去无力回天!泽连斯基被逼墙角服软求和,西方援乌彻底断档

潋滟晴方DAY
2026-08-19 12:04:52
伊朗号召民众捐钱买1万只羊,为最高领袖祈福:共890万元

伊朗号召民众捐钱买1万只羊,为最高领袖祈福:共890万元

桂系007
2026-08-20 06:27:00
1981年韩先楚回乡探亲,与乡亲们交谈后,拿起电话:传我的命令

1981年韩先楚回乡探亲,与乡亲们交谈后,拿起电话:传我的命令

芊芊子吟
2026-08-19 19:55:08
2026-08-20 12:03:00
InfoQ incentive-icons
InfoQ
有内容的技术社区媒体
12826文章数 52036关注度
往期回顾 全部

科技要闻

DeepSeek Harness更新多模态支持

头条要闻

牛弹琴:戏剧性一幕 美国对日本人下黑手了

头条要闻

牛弹琴:戏剧性一幕 美国对日本人下黑手了

体育要闻

拥有“儿皇梦”的罗德里,为何选择巴萨?

娱乐要闻

汪峰也没想到章子怡,挖到了一条财路

财经要闻

美联储纪要"鹰声"不小 AI借贷风险被盯上

汽车要闻

第二代家庭旗舰的样子 奕境X9预售价29.98万起

态度原创

家居
艺术
健康
手机
公开课

家居要闻

2026建博会(广州) 公装联探展交流活动

艺术要闻

10幅俄罗斯艺术家的画作,会让你感到悲伤不已!

这种脊柱侧弯,运动能救!

手机要闻

9月9日科技春晚 苹果华为小米新品或同天发布

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版