![]()
AWS已在其托管云数据仓库服务Amazon Redshift中加入对Iceberg物化视图的支持,旨在帮助企业降低分析成本。
物化视图是预先计算并存储的查询结果,Redshift等数据仓库可以利用它来避免在反复运行相同分析工作负载时重复执行计算密集型查询,从而减少计算资源消耗和成本支出。
Redshift新增的Iceberg物化视图支持,是指将查询结果存储在Iceberg表中。AWS在一篇博客文章中写道,这意味着那些数据分散在多个数据仓库和分析引擎(如Spark和Athena)中的企业,可以在这些环境中重复使用Redshift预先计算的结果,而不必复制数据或搭建单独的数据管道。
该支持还使Redshift能够使用由其他分析引擎生成的Iceberg物化视图,从而为企业带来跨数据平台更强的互操作性,文章补充道。
Pareekh Consulting首席分析师帕里克·贾恩表示,这种互操作性应能减轻数据工程团队的集成负担和复杂度,因为他们不必再“浪费时间”去复制数据和搭建ETL管道。
IT咨询公司Kanerika的首席分析官阿米特·钱达克认为,减少管道重复搭建也能提升企业内数据团队的效率和生产力。
钱达克说:“企业团队常常需要分别为仪表盘和数据科学工作负载计算相同的业务指标,每一份副本都需要单独的管道。有了Iceberg物化视图的支持,重复搭建管道的需求将不复存在,同时也不会再出现对哪个版本的指标才是正确的这种困惑。”
这种困惑的减少,也很可能有助于企业扩展智能体应用的规模。
钱达克表示,借助Iceberg物化视图,企业现在可以将常用查询(例如业务指标)的结果存储在一个开放表中,从而降低智能体使用同一指标不同版本数据的风险,并提升其响应的一致性。
他还补充道,随着企业在更多职能和应用场景中部署智能体,这种一致性有助于企业更有信心地扩展智能体应用的规模。
然而,贾恩认为,对于CIO而言,这种互操作性带来的更大好处在于降低了与分析相关的计算成本。
贾恩说:“这在多引擎环境和智能体AI场景中尤为有用。如果Redshift、Spark、Athena和AI应用目前各自独立执行相同的计算,企业就要为这部分计算多次付费。Iceberg物化视图能让Redshift只计算一次,然后由多个系统复用该结果。”
Nord-IQ Research首席分析师马诺吉·钱德拉·贾哈表示,这种节省甚至可以延伸到智能体应用或工作负载中。
贾哈说,具备互操作性的物化视图可以帮助企业避免为不同的智能体应用重复计算相同的指标,从而降低智能体在推理任务过程中反复调用相同底层数据查询所产生的计算成本。
钱达克表示,这项新增支持还为CIO带来了架构上的灵活性。
他说,此前,优化工作在很大程度上与执行该工作的数据引擎绑定,限制了其在异构数据环境中的使用。
他进一步补充道,相比之下,Iceberg物化视图将使CIO能够在各分析引擎之间复用性能优化成果,使企业在工作负载演变过程中更容易添加、切换或组合数据平台。这也应能降低企业对单一分析引擎的依赖程度。
Q&A
Q1:Redshift支持Iceberg物化视图能带来什么好处?
A:它能让企业在Redshift、Spark、Athena等多个分析引擎之间复用预先计算好的查询结果,避免重复计算和数据复制,从而降低分析相关的计算成本,并减轻数据工程团队搭建管道的负担。
Q2:Iceberg物化视图对智能体应用有什么帮助?
A:它可以让智能体在处理不同任务时使用一致的业务指标数据,避免出现不同版本指标混用的问题,从而提升响应一致性,帮助企业更有信心地扩展智能体应用的部署规模。
Q3:这项支持会给CIO带来哪些架构上的变化?
A:此前性能优化工作通常与特定数据引擎绑定,而Iceberg物化视图让CIO能够跨分析引擎复用优化成果,使企业更容易添加、切换或组合数据平台,并降低对单一分析引擎的依赖。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.