英特尔与SambaNova押注分布式推理，应对智能体AI对GPU的压力

英特尔与SambaNova正在推出一种新型异构推理架构，旨在解决企业AI领域日益突出的痛点：如何在不过度依赖GPU的情况下，大规模运行智能体工作负载。

该架构将推理过程分为三个层次——GPU负责预填充（prefill），SambaNova的可重构数据流单元（RDU）负责解码，英特尔Xeon 6 CPU则负责智能体任务的执行与调度。这一设计折射出业界正在从单一GPU系统向多元化方向转变的大趋势。

推动这一变革的背景是：企业在实际运营中面临推理成本攀升、功耗受限以及GPU利用率不足等问题，迫使各方重新审视以GPU为核心的系统架构设计。

该方案预计于2026年下半年正式上线，目标客户为正在构建编程智能体及其他多步骤系统的企业、云服务商以及主权AI部署方。

瓶颈从训练转向执行

这一方案的核心逻辑并非取代GPU，而是正视GPU的不足之处。GPU在并行处理提示词方面依然表现出色，但智能体AI引入了一类工作负载——其均一性较差，更依赖系统协调、工具调用和实时决策。

SambaNova首席执行官Rodrigo Liang在官方声明中表示："智能体AI正在走向生产部署，我们观察到的制胜模式是：由GPU启动任务，由英特尔Xeon 6运行任务，再由SambaNova RDU快速完成任务。"

编程智能体是一个典型案例。它们需要持续编译和执行代码、调用API、查询数据库并协调工作流，这些步骤对CPU和内存带宽的依赖程度极高，使CPU在推理流程中扮演着举足轻重的角色。

SambaNova产品副总裁Anton McGonnell表示："GPU非常擅长对输入处理进行矩阵运算的并行化，但在解码方面表现欠佳，尤其是在对延迟敏感的工作负载场景下。"

行业分析师普遍认同这一转变正在发生，但尚未形成定论。

Moor Insights & Strategy首席执行官兼首席分析师Patrick Moorhead表示："我们已经到了异构计算势在必行的阶段。我们需要提升效率，因此要让合适的计算资源承担合适的任务，无论是训练、预填充、解码，还是智能体调度。"

这一转变标志着基础设施建设重心正从以训练为中心，转向针对延迟、调度与成本优化的推理系统。

三层推理流水线

该架构将推理过程划分为不同阶段，由各类处理器分别承担工作流的不同部分。GPU处理提示词并生成键值缓存，RDU在解码阶段负责Token生成，CPU则负责智能体任务的调度与执行。

其核心论点简单明了：没有任何一种处理器能在所有阶段都达到最优性能，在推理过程日趋交互化和有状态化的背景下尤为如此。

英特尔数据中心XPU产品与解决方案副总裁兼总经理Jeff McVeigh表示："最关键的是确保用户所购置的资产都能得到充分利用。"

这一表述将讨论焦点从峰值性能转向系统效率——让推理的每个阶段都保持满负荷运转，而非将压力集中在单一处理器上。

SambaNova的RDU被定位为解码阶段的核心组件，该阶段的Token生成速度与效率直接决定了延迟表现和运营成本。

英特尔方面则着力强调生态系统的既有优势。英特尔数据中心事业部执行副总裁兼总经理Kevork Kechichian表示："数据中心软件生态系统是建立在x86架构之上的。"他将Xeon定位为企业部署的稳定基石。

效率提升伴随复杂度增加

两家公司并未声称在性能上全面超越纯GPU系统，其卖点在于效率——更高的利用率、更低的单位工作负载成本以及更均衡的系统架构。

McVeigh表示："一刀切的方案显然行不通，工作流的每个阶段都需要针对性的优化。"

Moorhead认为，这套方案的代价是系统复杂度的提升，但换来了更高的效率。他表示："关键是要建立一个跨工作负载的简化软件层，以降低整体复杂度。"

软件层是整个方案的枢纽。若缺乏有效的软件层，将工作负载分布在GPU、RDU和CPU之间，反而可能引入额外的运维开销，从而抵消效率提升所带来的收益。

SambaNova援引内部基准测试数据称，Xeon 6在编译时间和向量数据库性能方面均有所提升，但上述数据系基于公司内部测试，尚未经过第三方独立验证。

未来看点

异构推理并非新鲜事物。超大规模云服务商早已将工作负载分布于CPU、GPU和定制加速器之上。英特尔与SambaNova此举的真正意义，在于将这一模式打包成可供企业客户复用的标准化方案。

目前悬而未决的问题集中在落地执行层面：RDU需要在成本与生态系统成熟度上证明自身竞争力，企业客户也必须看到切实可量化的效率提升。此外，软件层必须让整套系统真正易用，而不只是技术上可行。

鉴于正式发布时间定于2026年下半年，这是英特尔与SambaNova对智能体AI工作负载未来演进方向所做的一次前瞻性押注。

Q&A

Q1：异构推理架构的三层流水线是如何分工的？

A：该架构将推理过程分为三个层次：GPU负责处理提示词并生成键值缓存（预填充阶段），SambaNova的RDU负责解码阶段的Token生成，英特尔Xeon 6 CPU则负责智能体任务的调度与执行。三类处理器各司其职，核心逻辑是没有任何一种处理器能在所有阶段都达到最优性能，通过分工协作提升整体系统效率。

Q2：为什么GPU不适合处理智能体AI的全部工作负载？

A：GPU擅长对输入处理进行矩阵运算的并行化，但在解码阶段表现欠佳，尤其面对延迟敏感的工作负载时更为明显。智能体AI需要持续协调、工具调用和实时决策，这类任务对CPU和内存带宽的依赖程度更高。以编程智能体为例，其编译代码、调用API、查询数据库等操作都严重依赖CPU，单靠GPU难以高效应对。

Q3：英特尔与SambaNova的异构推理方案何时可以使用？

A：该方案预计于2026年下半年正式上线，目标客户包括企业、云服务商以及主权AI部署方，尤其面向正在构建编程智能体及其他多步骤系统的用户。目前，SambaNova援引的内部基准测试数据尚未经过第三方独立验证，RDU的成本竞争力与生态系统成熟度也有待进一步验证。