网易首页 > 网易号 > 正文 申请入驻

Data Agent 落地挑战:忽略技术框架、语义能力和运营体系,投入可能打水漂

0
分享至

编辑 | Tina

Data Agent 看似轻松上手,但真正落地却充满挑战。虎兴龙在专访中指出,90% 的难点源于软件工程,而统一语义层建设是成功的关键。企业如果忽略场景聚焦、技术框架的可迭代能力或语义模型和运营体系,即便投入几个月,也可能无法监控、评估或修改,最终停留在原型阶段。掌握统一语义层、完善的技术框架和运营体系,才能让 AI 代理真正理解数据、快速迭代、落地应用,显著提升企业数据智能化效率。

采访嘉宾

虎兴龙,腾讯数据工程专家。目前负责腾讯云 WeData 数据治理、数据智能方向的产品和研发工作,涵盖 Data Agent、AgentOps、统一语义层、全域数据资产管理、数据质量管理等核心产品能力建设。有深厚的大数据技术架构、大数据应用平台建设经验,在 AI for Data 方面,有丰富的实践经验。虎兴龙将在 8 月 22 日 -23 日 AICon 深圳站 发表主题为《腾讯云 WeData Agent 的落地思考与实践》。

InfoQ:过去 BI 系统很多时候是“看数”,如今进化到从“看”到“做”,从系统工程角度看,这背后意味着什么样的技术支撑?

虎兴龙:Agent 的交互形态可以比作是数据分析的新“head” ,新 Head 一定需要新的技术支撑。我认为必须必要的两方面技术革新:1、需要有数据语义工程的平台化能力,数据工程、数据平台不止交付数据内容,还应该交付可被分析的语义。需要有数据语义层为 Data Agent 提供可靠的知识、高性能的数据操作接口;2、需要有完善的 Agent Ops 平台基础,目前 Agent 开发框架发展很快,但是 Agent 的运营体系其实很关键并且是存在不足的,Agent 运营体系主要解决怎么观测、评估、迭代进化问题。

数据工程的交付未来也会进一步升级,数据工程师未来的工作应该是 Data engineering + Data Context Engineering。目前我们腾讯云在这两块的投入和发展都是比较快的,目标是能够为客户提供 data+ai 一体化的数据智能底座。

InfoQ:过去几年我们一直在谈论湖仓架构,企业数据平台的重心主要在数据的整合与存储。但现在,您是否认为重点已经逐步转向了构建“语义层”?

虎兴龙:Data Agent 要做好,数据语义上下文的重要性和挑战已经不言而喻,Data Agent is Easy,Data Context is Hard. 语义层建设的重要程度大家已经共识,国内外都在加大这里的投入,腾讯云 WeData 在这一块的投入也是比较早的。同时多模态一体化、高性能存算引擎也仍然很重要,一体化的存算引擎也支撑着统一语义层的元数据、统一数据访问能力。Data Agent 一是要准确响应用户请求,离不开语义层,另一方面需要快速响应用户需求,也离不开高性能存算引擎。

InfoQ:数据语义层主要包含哪些语义?系统能力哪些关键组成模块?

虎兴龙:数据的语义主要包含 4 个方面:①概念:主要描述数据代表的业务意义;②数据的关系:数据表之间的关联关系、血缘关系等;③指标:即数据的计算口径;④维度:即数据的观测角度。

语义层的目标是为 Agent 提供准确统一的数据访问接口,核心能力包括 4 块:①统一访问接口:需要提供 API、JDBC、MCP 等生态对接能力,能够被 Agent、BI 工具方便集成调用;②MetaRAG:需要有对语义元数据构建知识库,能够根据用户 query 准确召回数据;③语义建模能力:强大的语义表达能力,尤其是指标表达能力,一些很复杂的指标,如何抽象定义,定义后如何自动生成查询 SQL;④自适应加速能力:Agent 可能生成各种各样的查询请求,需要能够自动或者半自动化的物化加速能力。

InfoQ:有观点认为构建 AI 产品的原型其实并不难,但真正上线后却发现需要打磨的地方很多。请问您觉得从原型到成熟产品,最大的落差在哪里?现实中哪些细节和挑战最让您印象深刻?

虎兴龙:是的,原型容易,人人现在都能做一个 Agent。最大的落差是我们很容易低估场景落地的难度, 现在有个词叫 TMF(Technology-Market Fit) ,其实就是某项技术能解决什么问题的评估和分析。当在 AI 产品投入初期过于乐观,实施过程中遇到瓶颈就极有可能悲观。

出现这个问题的原因我觉得有点像“邓宁 - 克鲁格”效应,我们乍一看模型非常聪明,没实践过复杂场景 Agent 的人会觉得我也能搞得定,草率投入,浪费资源,有 Agent 实践经验的人有可能又会悲观,过于谨慎,错失机会。比如刚开始我们感觉利用 ReAct 自主规划的 Agent 的开发模式,Prompt+ 模型 +MCP 工具,几行代码就搞定了。

但实际落地过程中,在数据分析这种追求极致准确性的场景,让按照设定的工作流执行场景也是不可避免的。把 Agent 比做人,一些组织扁平化强调人的自主性,一些组织强调规范的流水线工作,强调行为一致性。落地过程中其实 90% 是软件工程,都是在解决行为一致性确定性的问题,可能只有 10% 是在做 prompt、模型调优。

InfoQ:Agent 会取代一些数据工程师 / 科学家的角色吗?这些职业会如何变化?是否需要掌握更多与 Agent、LLM 相关的技能?

虎兴龙:目前我还是认为 Agent 不会替代数据工程师、数据科学家,但是会替代一部分偏执行的工作。数据蕴含着对整个世界的描述和规律,除非人类被机器统治了,否则数据永远是需要人来主导分析的,Agent 知识辅助人更高效的完成这项工作。

但 Agent 会带来数据工作角色的融合,其他行业也是如此,劳动细分是为了解决复杂工程问题,当技术进步让复杂问题的实施变简单,劳动细分导致合作成本就凸显了,各行业在大模型时代,劳动角色融合是趋势,复合型人才会脱颖而出。过去埋点工程师专注做埋点、数据开发工程师专注做 ETL、数据科学家专注做算法、数据分析师专注做报表等等,未来这种分工就不必要了,一种角色端到端完成数据分析。

每个人都应该了解 Agent、LLM 的基本原理,这样才能用好大模型技术。

InfoQ:您是否同意这样的观点:“谁掌握了企业数据的语义数字孪生,谁就掌握了下游所有 AI 代理行为的主动权”?如果是,您们是如何推动这一趋势的?

虎兴龙:目前来看是的,利用 AI Agent 挖掘企业大量的私域数据的难点目前是通用大模型难以理解企业私域数据集,造成 Data Agent 的准确性、信任度不足。人与 AI Agent 的信任的基础是需要有共同的 context,语义模型是对物理世界的环境、关系、知识等结构化的定义和描述,数据分析的语义主要是:数据概念、数据关系、数据指标、数据维度,这正是数据分析领域人与 AI 的共同 context。 腾讯云 WeData 主要的策略是通过统一数据资产平台,统一纳管企业结构化、非结构化数据。在统一数据资产之上,提供统一语义建模平台,让企业进行 Data Context Engineering,为 Agent 构建语义知识基础。

InfoQ:我们往往听到说要做好数据治理才能做好 AI,数据治理和统一语义层是什么关系?

虎兴龙:数据治理是一个很广泛的概念,应该说数据治理的工作包含统一语义层的建设,统一语义层是对数据治理的更高要求。传统数据治理包含成本、安全、质量、规范等治理能力是统一语义层基础支撑,统一语义层重点是对数据进行业务建模之后,提供给数据应用层统一的数据知识、数据内容访问接口。

InfoQ:Data Agent 系统在接入企业现有平台时面临的最大的技术挑战是什么?

虎兴龙:主要有两方面挑战,第一个挑战是数据治理的挑战,企业数据杂乱,数据缺乏唯一真相。第二个挑战是 Data Agent 的效果无法评估,或者各企业评估体系和策略不统一,无法评估就无法迭代。 Agent 评估其实目前是行业难点,评估一个 text2sql 的原子能力容易,但是评估 Agent 解决一个分析问题的成功率比较困难,有些甚至需要有垂直场景领域专家来打分评测。

这两个挑战的解法目前来看主要还是 Data Agent 场景聚焦,针对特定场景的统一语义层和评估体系构建。

InfoQ:企业构建统一数据语义层的挑战是什么?应该从哪里入手?

虎兴龙:数据的语义也是非常广泛的,首先聚焦场景进行语义抽象,例如数据分析 Agent 的场景,就聚焦构建指标、维度体系,其次是存量数据治理问题,大量的数据,如何标注语义,例如数据分析 Agent,已经有大量的报表和 ADS 表了,怎么重构指标体系。这里基本没有太多捷径可以走,虽然有一些 AI 辅助的治理能力,但是避免不了大量的人力投入。整体关于统一语义层的入手点,我建议企业重点聚焦智能问数智能分析场景,先以指标平台为载体构建指标语义层,这个场景目前是被验证可行并且可以大幅提升数据分析效率的。

InfoQ:对希望构建 Data Agent 能力的企业数据团队,您有哪些技术建议?

虎兴龙:第一,场景聚焦,搭建可迭代进化的技术框架,避免为了快速做 demo,忽略技术选型、技术基建的重要性,否则有可能做了几个月后,没法监控、没法评估、没法修改,还没上线就要重构;

第二,语义模型能力是 Data Agent 的基础支撑,语义模型能力同样也能提升传统数据分析的效率,忽略数据语义层的核心能力建设可能导致 Agent 陷入迭代瓶颈,例如把各种 if else 、定制化策略、语义知识硬编码到 Agent 后台,导致无法进行技术升级和迭代;

第三、Agent 运营体系很重要,监控、标注、评估体系需要配套。

会议推荐

首届 AICon 全球人工智能开发与应用大会(深圳站)将于 8 月 22-23 日正式举行!本次大会以 “探索 AI 应用边界” 为主题,聚焦 Agent、多模态、AI 产品设计等热门方向,围绕企业如何通过大模型降低成本、提升经营效率的实际应用案例,邀请来自头部企业、大厂以及明星创业公司的专家,带来一线的大模型实践经验和前沿洞察。一起探索 AI 应用的更多可能,发掘 AI 驱动业务增长的新路径!

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
伦敦世乒赛:日本女单首次输球!1:3无缘胜利,张本美和拿下3连胜

伦敦世乒赛:日本女单首次输球!1:3无缘胜利,张本美和拿下3连胜

国乒二三事
2026-05-03 12:19:50
新加坡很想哭,却不敢大声哭出来!

新加坡很想哭,却不敢大声哭出来!

华人星光
2026-05-03 11:43:07
1-3遗憾失利!国羽女队无缘卫冕尤伯杯,韩国队时隔4年再夺冠

1-3遗憾失利!国羽女队无缘卫冕尤伯杯,韩国队时隔4年再夺冠

全景体育V
2026-05-03 20:42:00
湖人正式拒绝为里弗斯提供续约合同!东契奇出面硬刚管理层

湖人正式拒绝为里弗斯提供续约合同!东契奇出面硬刚管理层

木塔
2026-05-03 17:40:00
俄罗斯“苏-34”战机被击落

俄罗斯“苏-34”战机被击落

名人苟或
2026-05-03 13:14:52
诡异!今年五一旅游为何首日就爆?各大景点肉贴肉人挤人到哭!

诡异!今年五一旅游为何首日就爆?各大景点肉贴肉人挤人到哭!

魔都囡
2026-05-02 13:26:29
俄乌战争如果俄罗斯最终赢了,你我在有生之年很可能亲历战争

俄乌战争如果俄罗斯最终赢了,你我在有生之年很可能亲历战争

快乐彼岸
2026-05-03 06:52:39
绝色美人艾梅柏:曾经迷倒德普和马斯克,如今带着3个娃“隐居”

绝色美人艾梅柏:曾经迷倒德普和马斯克,如今带着3个娃“隐居”

小书生吃瓜
2026-05-02 22:22:47
特朗普:已赚回出兵成本的37倍!美国已经卖了1亿桶委内瑞拉石油,未来一个月还有1亿桶,他此前呼吁中国购买委石油,中方:其他国家无权指手画脚

特朗普:已赚回出兵成本的37倍!美国已经卖了1亿桶委内瑞拉石油,未来一个月还有1亿桶,他此前呼吁中国购买委石油,中方:其他国家无权指手画脚

每日经济新闻
2026-05-03 09:07:16
现在体制内的酒局快要没有了

现在体制内的酒局快要没有了

微微热评
2026-05-03 17:34:35
连续被手下败将逆转!陈雨菲0-2韩国二单,尤杯决赛国羽陷绝境

连续被手下败将逆转!陈雨菲0-2韩国二单,尤杯决赛国羽陷绝境

钉钉陌上花开
2026-05-03 19:06:49
爆冷!中国男团遭遇26年来世乒赛首败:1-3不敌韩国队 王楚钦缺阵

爆冷!中国男团遭遇26年来世乒赛首败:1-3不敌韩国队 王楚钦缺阵

风过乡
2026-05-03 06:12:32
人活着,其实就两件事,想通了,一辈子都顺了

人活着,其实就两件事,想通了,一辈子都顺了

心理观察局
2026-05-03 08:19:07
卡佩罗:大罗满脑子只有女人,训练从不达标,就是个负面榜样

卡佩罗:大罗满脑子只有女人,训练从不达标,就是个负面榜样

懂球帝
2026-05-03 16:59:03
大外交|一周内高层通话、各界代表来华,中美互动进入“密集期”

大外交|一周内高层通话、各界代表来华,中美互动进入“密集期”

澎湃新闻
2026-05-03 16:12:28
越南4月出口同比增长21%,预估17.9%

越南4月出口同比增长21%,预估17.9%

每日经济新闻
2026-05-03 10:18:05
中国首次动用的新武器——阻断令

中国首次动用的新武器——阻断令

凯利经济观察
2026-05-03 12:40:14
35岁主管被公司用AI替岗,月薪从2.5万降至1.5万,协商不成后被裁,公司被判支付26万余元赔偿金

35岁主管被公司用AI替岗,月薪从2.5万降至1.5万,协商不成后被裁,公司被判支付26万余元赔偿金

环球网资讯
2026-05-03 16:56:51
网友爆料:蒋圣龙因为内脏问题,可能会选择退役

网友爆料:蒋圣龙因为内脏问题,可能会选择退役

懂球帝
2026-05-03 08:27:30
惨烈!五一票房11年来最差,陈思诚呼吁给中国电影机会

惨烈!五一票房11年来最差,陈思诚呼吁给中国电影机会

文娱春秋Plus
2026-05-02 13:45:48
2026-05-03 21:15:00
InfoQ incentive-icons
InfoQ
有内容的技术社区媒体
12330文章数 51874关注度
往期回顾 全部

科技要闻

库克罕见"拒答"!苹果正被AI供应链卡脖子

头条要闻

美国空军C-17运输机降落北京 中美开启一连串密集互动

头条要闻

美国空军C-17运输机降落北京 中美开启一连串密集互动

体育要闻

裁判准备下班,结果吴宜泽进了决赛

娱乐要闻

蔡卓妍婚后首现身 戴结婚戒指笑容不断

财经要闻

后巴菲特时代,首场股东会透露了啥

汽车要闻

同比大涨190% 方程豹4月销量29138台

态度原创

健康
数码
艺术
公开课
军事航空

干细胞治烧烫伤面临这些“瓶颈”

数码要闻

华为5A最新支持设备清单公布,含Pura X Max、畅享90系列等

艺术要闻

Spencer Laron Wilson:当代美国风景画家

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

伊朗公布伊方最新谈判方案

无障碍浏览 进入关怀版