广东
Gartner公司预测，到2028年，至少15%的日常工作决策将由Agentic AI自主做出。Gartner还指出，到2027年底，企业将取消超过40%的Agentic AI项目。为什么Agentic AI如此重要，但是企业却在将AI融入运营上举步维艰？Gartner认为，其中最大的障碍是不断升级的成本和大规模部署AI智能体的复杂性。
对此，英特尔在近日的研究中分析称，为确保Agentic AI的成功落地，企业需要确保GPU与CPU的配比合理。“GPU闲置税”正成为用户扩展AI时日益关注的问题，它指的是GPU未被充分利用，且仍在产生费用的隐性成本。根据来自数万个集群的数据，Cast AI发布报告显示，GPU利用率仅为5%。GPU的闲置时间通常并非企业为节省资源而有意为之，而极可能是一种架构上的不平衡。英特尔与佐治亚理工学院在一项联合研究项目中发现，在智能体工作负载中，CPU上的工具处理占总延迟的50%到90%；GPU在等待CPU完成工作后才能处理下一批词元（token）的过程中处于闲置状态，这无形中增加了运营成本。
英特尔指出，随着AI格局的持续转变和演进，企业需要CPU和GPU协同工作，并保持合理的配比，这将推动出色性能的实现，并避免为AI基础设施支付过高的费用。
从行业现状来看，业内认为，在过去五年的人工智能热潮中，GPU一直是算力核心。然而，GPU并非为处理定义智能体系统的多种行为而设计，例如检索实时网络数据、处理用于自动驾驶的摄像头和激光雷达等连续传感器流，或为完成任务而浏览电子商务平台等复杂界面。正是在这些方面，CPU发挥了关键的补充作用，实现了GPU所缺乏的通用计算、控制流和系统级协调能力。随着Agentic AI的发展，特别是在企业运营自动化方面，由CPU驱动的进程在编排更广泛的流程、协调工具、管理内存和状态以及与外部系统交互方面，正日益占据中心位置。
在题为《迈向理解、分析和优化Agentic AI执行：一个以CPU为中心的视角》的论文中，英特尔的研究人员与佐治亚理工学院的合作伙伴共同描述、分析了由Agentic AI工作负载带来的系统瓶颈，并特别强调了CPU在处理过程中的核心作用。
研究结果显示，以工具为主的Agentic AI工作负载受到CPU上工具处理瓶颈的严重制约，CPU任务消耗了高达平均86%的端到端延迟。这些结果表明，对于大多数用例，企业应积极实施以CPU为中心的优化策略。然而，CPU与GPU处理时间的具体百分比，从Toolformer在数学增强任务上花费17%的CPU时间，到LangChain在问答任务上花费高达86%的CPU时间，差异很大。因此，在为企业确定最高效的CPU:GPU配比时，考虑具体用例至关重要。
在英特尔白皮书《Agentic AI需要更多CPU》中，探讨了如何基于增加CPU计算能力来缓解系统瓶颈，从而保持GPU计算的饱和度来降低成本。团队构建的一项流程结果显示，CPU消耗了整个流程的大部分时间，其中“补充上下文”这一步骤所需时间是LLM推理时间的三倍。研究人员还构建了第二个基准测试，模拟开发者请求AI助手编写和测试代码的场景。该基准测试显示，代码生成（GPU）在62.8秒内完成，而在CPU上的执行消耗了64.1秒，使CPU成为流程中的限制因素。
根据该白皮书中的测试，英特尔研究人员发现，对于数据中心某些用例，最佳的CPU:GPU配比大约为0.8:1到1.4:1。进一步的市场研究表明，CPU和GPU的合理配比在很大程度上取决于工作负载。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
