网易首页 > 网易号 > 正文 申请入驻

Cloudera刘隶放:企业新增Agent算力,为何还要考虑存量数据平台?

0
分享至

作者:毛烁

“对于已经建有大型数据中心的企业,增加Agent应用时,未必需要迁移核心数据,也不必另建一套数据平台。”Cloudera大中华区技术总监刘隶放在接受至顶网采访时强调,模型和计算资源应尽量部署在数据所在的环境。而企业原有的交易、生产和分析系统可以持续运行,Agent访问这些系统中的数据时,也须遵守原有的管理规则。

Agent与传统批处理任务对计算资源的需求不同。比如,Agent完成经营分析,需要连续查询订单、库存和销售数据;任务结束后,相关查询也随之停止。原有批处理程序则按照固定计划运行。两类任务使用计算资源的时间和规模不同,如果始终共用同一批服务器,企业就难以单独扩展Agent所需的计算能力。

那么,新增Agent任务如果需要灵活调配计算资源,历史数据的持续增长则主要增加存储需求。传统Hadoop集群通常将计算和存储部署在同一批服务器上,企业为扩大存储容量而增加服务器节点时,也会同时增加CPU和内存,但处理新增数据所需的计算量未必同步增长。


Cloudera大中华区技术总监 刘隶放

Agent使用现有数据,计算资源单独扩展

沿用整机扩容方式,企业每增加一批存储节点,也会同时采购CPU和内存。如果新增节点主要用于保存历史数据,而计算任务没有相应增加,新增CPU和内存的利用率就会下降。

与此同时,原有集群仍要执行日常批处理任务,不能因为增加Agent应用而停止运行。企业因此需要保留现有数据平台,单独为新增任务配置计算资源。

具体做法是,让新增计算服务访问现有数据源,与原有集群分别承担不同任务。已有集群继续执行定期数据加工,新计算服务处理Agent发起的分析请求。查询量增加时扩展计算实例,任务结束后缩减实例规模。

这样,企业就可以根据计算需求增加资源,无需为每项新应用再建设一套存储系统。

Cloudera于2026年8月发布的Cloudera Anywhere Cloud,为这种部署方式提供了平台支持。作为模块化混合数据与AI平台,Anywhere Cloud既能连接现有数据湖,也能在企业自有环境和公有云中运行新增服务。对于已经使用Cloudera数据平台的企业,原有批处理程序可以继续执行,新增Agent应用则由独立的计算服务处理,并按照已有数据平台的权限规则访问数据。

计算服务与存储分开部署之后,还需要解决不同引擎怎样读取数据的问题。

Cloudera Object Store基于Apache Ozone,支持兼容S3的对象存储接口,也可供现有Hadoop分析作业使用。企业可以继续保存历史数据,在需要分析时由相应的计算服务读取。对于需要频繁读取大量数据的任务,部署时仍要考虑网络传输开销,不能只依据存储容量选择架构。

除了改变新增业务的资源配置方式,企业还可以通过改进已有平台提高处理效率。刘隶放在介绍,Cloudera曾为一家车联网客户升级数据平台。随着车辆接入数据增多,客户需要执行的研发分析任务也不断增加。通过改进数据压缩、存储方案和计算引擎,升级后的处理能力达到原来的约两倍,存储成本下降约六至七成。

这项升级针对的是客户已有的数据平台。数据压缩减少了存储开支,计算引擎优化则提高了同一平台的数据处理能力。Agent应用增加后,企业还要处理新的数据加工任务。因为,模型只能分析已经获取和整理的数据,后台的数据准备速度也会影响Agent完成任务所需的时间。

例如,Agent要分析不同地区的销售情况,需要先取得订单、库存和销售数据。如果数据分散在不同表中,后台还要清理重复记录、关联相关表格,再按地区汇总。

数据量较大时,这些工作可以由Apache Spark执行。Apache Spark作为一种分布式数据处理引擎,能够把计算任务分配到多台服务器上完成。数据准备耗时过长时,单独增加模型推理算力无法缩短整个分析过程。企业因而需要检查数据加工任务的执行效率,再决定哪些作业继续使用CPU,哪些适合使用GPU。

ApacheSpark作业的计算特点并不相同。大规模、可并行执行的数据转换和聚合适合发挥GPU的计算能力;频繁在CPU与GPU之间交换数据的任务,则需要把传输耗时计入性能评估。

针对前一类需求,Cloudera与NVIDIA已宣布合作,在Cloudera Data Engineering中引入基于NVIDIA cuDF的Apache Spark GPU加速方案,支持在不改写现有PySpark或SQL代码的情况下加速适用工作负载。

刘隶放也提醒,不能把某一类Spark任务的加速结果推广到所有数据处理任务。

对于GPU优势不明显的任务,企业还可以继续利用已有CPU资源。

关于这方面,刘隶放提到了Apache Comet等原生执行加速技术:Cloudera通过改进Spark的执行方式,适用场景下可在现有CPU上获得约两倍的处理性能。CPU和GPU各有适合的作业类型,企业可根据数据处理环节的实际耗时选择计算资源,避免将所有任务统一配置为GPU作业。

计算资源分开部署,Agent遵守数据规则

计算资源能够独立扩展,只解决了Agent从哪里获得算力的问题。Agent要完成跨部门经营分析,还必须知道应该读取哪些数据。

大型制造集团的销售、生产和财务系统通常分开建设,各系统的数据结构与指标定义也有差异。Cloudera在中国的客户主要来自金融和制造行业,部分头部制造企业已在国内及海外同时部署Cloudera平台。随着集团业务扩大,跨系统数据查询与统一管理成为新增Agent应用必须处理的工作。

对于这些跨地区经营的企业,计算服务运行在不同环境,仍要按照相同的经营指标进行分析。国内自建数据中心和海外AWS、Google Cloud环境可以分别部署相关服务,企业借助跨平台一致的查询方式减少重复开发。

不过,代码能够在多种环境中执行,不代表业务数据可以随意跨境传输。“各地数据的访问和传输仍须遵守适用的管理要求。”刘隶放如是说。

此外,跨环境复用查询程序之后,还要统一指标定义。比如,销售系统按订单创建时间统计销售额,财务系统按实际付款时间统计,两个Agent即使都能正确生成SQL,也会得到不同结果。而要让集团管理层使用这些数字进行经营分析,企业就必须先确定数据来源、统计范围和时间口径,再把规则提供给Agent。

语义层负责整理业务概念、指标定义和数据之间的关系,让不同Agent按照一致的规则生成查询。但理解数据含义,并不等于拥有访问权限。企业还需要通过网关和原有数据库权限系统管理具体请求:负责统计地区销量的Agent,可以取得完成统计所需的数据,却不应因此获得读取完整客户资料的权限。

访问权限明确之后,下一步就是要管理查询对数据库的影响。

具体而言,Agent为了完成一项分析,会按任务需要连续调用工具、查询不同系统;多项任务同时执行时,新增请求会占用数据库的计算资源。如果这些请求与原有批处理作业争用CPU,已有业务的执行时间就会受到影响。因此,企业还需要设置并发限制,记录工具调用过程,并区分模型推理和数据库查询消耗的资源。

这些要求需要在Agent开发和运行环节落实。Cloudera AI Studios中的Agent Studio就可以提供工作流设计、测试和执行过程观测等功能,帮助开发人员检查Agent调用了哪些工具、每一步得到了什么结果。

而Cloudera AI Inference则提供了模型推理服务。工作流编排、模型推理和底层数据权限分别承担不同职责,企业需要把它们接入现有的数据治理体系,才能让Agent在生产系统中执行连续任务。

“企业在新增 Agent 应用的过程中,现有数据管理规范可继续复用,存量业务不受影响,新增算力可根据任务需求灵活扩展。Agent 经由受控接口获取数据,算力扩容与数据权限管控必须一体规划。”刘隶放强调。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
何家劲痛骂移民老友!卖光香港家产去往加拿大,如今哭着说回不来

何家劲痛骂移民老友!卖光香港家产去往加拿大,如今哭着说回不来

人文思辨社
2026-11-16 18:52:29
昨晚陪闺蜜去汗蒸,她脱光的瞬间我破防:女人差距不止看脸蛋

昨晚陪闺蜜去汗蒸,她脱光的瞬间我破防:女人差距不止看脸蛋

皓皓情感说
2026-11-16 07:51:03
我表弟有幸,跟黄乐在上海的投资公司当过同事,他说:黄乐最让人着迷的根本不是她的外貌,而且网上那些照片,也不如本人好看

我表弟有幸,跟黄乐在上海的投资公司当过同事,他说:黄乐最让人着迷的根本不是她的外貌,而且网上那些照片,也不如本人好看

一盅情怀
2026-11-11 15:52:58
“我希望你死”,黄仁勋被曝在30多名高管的会议上怒斥一位副总裁

“我希望你死”,黄仁勋被曝在30多名高管的会议上怒斥一位副总裁

阿尔卑斯瞭望
2026-11-16 18:49:04
1973 年,上海外国语学院高材生唐凤楼,执意迎娶精神失常的杨丽坤,为双胞胎停药,顺利产子后第三天突然失控,病房里到底发生了什么变故

1973 年,上海外国语学院高材生唐凤楼,执意迎娶精神失常的杨丽坤,为双胞胎停药,顺利产子后第三天突然失控,病房里到底发生了什么变故

磊子讲史
2026-11-16 17:42:24
离开黄仁勋的英伟达:GeForce不会死,但已有工程师选择了离开

离开黄仁勋的英伟达:GeForce不会死,但已有工程师选择了离开

财闻
2026-11-16 13:16:06
APEC会议首位外国元首抵达深圳,中国女保镖贴身保护;出发前与中国游客热情合影,网友们花式点赞

APEC会议首位外国元首抵达深圳,中国女保镖贴身保护;出发前与中国游客热情合影,网友们花式点赞

极目新闻
2026-11-16 17:23:11
女子新找的情人是猛男,体验感让她满意,2015年想和另1个分手,因20万分手费被杀

女子新找的情人是猛男,体验感让她满意,2015年想和另1个分手,因20万分手费被杀

汉史趣闻
2026-11-16 18:00:18
钱越来越难挣!大数据预测,2027年或将迎来三降,要做好准备

钱越来越难挣!大数据预测,2027年或将迎来三降,要做好准备

麓谷隐士
2026-11-17 00:05:04
于月仙车祸去世5年,丈夫张学松披露关键细节:同车4人只她没回来,骆驼整个砸在车顶

于月仙车祸去世5年,丈夫张学松披露关键细节:同车4人只她没回来,骆驼整个砸在车顶

唠叨说历史
2026-11-16 15:37:18
挥泪斩马谡!曼联驱逐“顶薪大核”,签约顶星!两强援闪电加盟

挥泪斩马谡!曼联驱逐“顶薪大核”,签约顶星!两强援闪电加盟

头狼追球
2026-11-16 17:53:47
10月70城房价出炉:68个城市同比下降

10月70城房价出炉:68个城市同比下降

地产K线官方
2026-11-16 14:05:13
中国新能源企业在芬建厂涉人口贩运调查

中国新能源企业在芬建厂涉人口贩运调查

凤眼论
2026-11-16 14:23:39
男子被熟人骗至缅甸电诈园区,姐姐赴泰国营救

男子被熟人骗至缅甸电诈园区,姐姐赴泰国营救

网易新闻出品
2026-11-16 18:25:30
好奇查了一下黄仁勋的出身,不查不知道,一查惊讶了,原来黄仁勋根本不是什么大富豪家庭,而是普通的知识分子家庭。

好奇查了一下黄仁勋的出身,不查不知道,一查惊讶了,原来黄仁勋根本不是什么大富豪家庭,而是普通的知识分子家庭。

回京历史梦
2026-11-15 06:35:06
争议!19岁亚马尔转发辱华视频,遭质疑删帖,网友:第2个姆巴佩

争议!19岁亚马尔转发辱华视频,遭质疑删帖,网友:第2个姆巴佩

大秦壁虎白话体育
2026-11-16 08:27:29
今晚,江苏全省夜查!

今晚,江苏全省夜查!

句容日报
2026-11-16 20:45:52
网传贾玲张小斐澳洲领证,竟然收到一片祝福

网传贾玲张小斐澳洲领证,竟然收到一片祝福

起点人文
2026-11-16 21:39:21
彭加木失踪四十多年后现身美国?真相浮出水面!当年中央严令追查,背后内情让人背脊发凉

彭加木失踪四十多年后现身美国?真相浮出水面!当年中央严令追查,背后内情让人背脊发凉

磊子讲史
2026-11-10 15:53:31
广东惠州一男子将攒了18年的红包一次性拆开,从早上7点拆到10点,共拆了3小时,最后清点只有8523元,当事人:之前拆过一些100元的红包

广东惠州一男子将攒了18年的红包一次性拆开,从早上7点拆到10点,共拆了3小时,最后清点只有8523元,当事人:之前拆过一些100元的红包

潇湘晨报
2026-11-16 14:40:21
2026-11-17 04:55:00
至顶科技 incentive-icons
至顶科技
科技产业媒体与 AI 产业服务机构
23437文章数 49740关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

官宣离婚不到1月,李小冉进医院

财经要闻

10万人逼宫英伟达 黄仁勋要复职了?

汽车要闻

多面新方盒捷途环游者EV开启预售 9.99万元起

态度原创

亲子
手机
健康
艺术
公开课

亲子要闻

小龙宝打起陕西小鼓真有派,给双方父母带啥好吃的?俩爹最开心

手机要闻

OPPO Reno17 系列发布,全品类新品齐亮相!

情绪真能让健康人"伤心至死"?

艺术要闻

这些“绝版合影”几乎永不再来,一张比一张震惊,最后一张直接看呆

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版