PyTorch助力AI生态系统拥抱新型加速器

2025年10月，IBM与PyTorch基金会公布了2026年深化Spyre支持的计划：将该加速器打造为PyTorch的一级后端，并支持多加速器调度。最新的软件生态系统更新正在兑现这一承诺。torch-spyre、Spyre的vLLM插件、编译器改进以及持续集成工作共同发力，使得将熟悉的模型和工作流程迁移到不同类型的AI硬件上变得更加容易。

AI正越来越多地嵌入到处理交易、检测欺诈、分析理赔以及辅助员工工作的系统中。随着这种应用的不断增长，AI硬件生态系统也在扩展。GPU依然是现代AI的核心，但越来越多具有不同架构、执行模型和性能特征的加速器正在加入其中。为开发者提供更多选择，不仅需要制造新芯片，软件生态系统还必须让新加速器变得可用，而不强迫开发者放弃熟悉的模型、工具和工作流程。

Spyre是IBM专为推理优化的数据流AI加速器，专为在IBM Z、LinuxONE和Power系统上与应用程序及数据协同运行AI的企业团队而设计。其低精度计算非常适合语言生成和嵌入模型中大量的矩阵运算工作。与传统GPU不同——GPU以指令流的形式在调度好的线程组上执行内核——Spyre在数据到达其计算引擎时即触发计算。PyTorch提供了通用层，使这种不同的架构能够融入目前主要围绕GPU构建的生态系统。

将PyTorch扩展到GPU之外

这项工作的核心是torch-spyre，这是一个PyTorch后端，可将普通的PyTorch代码编译为适用于Spyre的可执行计划。模型的大部分逻辑可以原样通过PyTorch编译器处理。当模型中包含底层软件栈尚无法有效降级处理的操作时，适配器可以用数学上等价的形式替换该操作，使编译器能够处理。模型的计算逻辑保持不变，但其实现方式变得与加速器兼容。

转向PyTorch的Inductor后端还减少了团队需要维护的自定义编译器代码量。由此产生的编译器比之前的系统小约七倍，且每个函数的复杂度明显降低。这种更小的代码规模使得将上游PyTorch的改进引入torch-spyre变得更加容易，也让团队能够将精力集中在Spyre特有的关键工作上。

同样的原则也适用于设备边界处的优化。在最近的一次演示中，将图构建工作从数据传输路径中移除，使Granite 3.3 8B模型在批量大小为1、序列长度为1024的情况下，预填充性能提升了9.9%，解码性能提升了13.6%。进一步将该工作从计算调度中移除后，总体提升达到预填充速度提升1.7倍、解码速度提升2.4倍，其中约四分之三的增益来自计算路径的优化。

保持vLLM的可移植性

Spyre是一种“树外”加速器，而非AI软件最常支持的GPU平台之一。Spyre依靠TorchDynamo来追踪模型图，并依靠TorchInductor将该图降级为针对目标硬件优化的表示形式。在vLLM中，诸如CustomOp和PluggableLayer这样的扩展机制，使硬件插件能够自定义行为，而无需重新实现大部分软件栈。

随着vLLM的发展，保留这些扩展点变得愈加重要。一些新的模型实现正变得越来越针对特定模型和前沿GPU硬件进行专门优化。为了在这种优化工作的同时保持可移植性，vLLM社区正在开发与硬件无关的层，这些层独立于硬件特定路径，并设计为可编译、可扩展，且能够跨加速器平台移植。初步支持已在vLLM中实现，并已通过Spyre插件在Gemma 4、Qwen3和Granite 4.2等模型上得到验证。在NVIDIA H100 GPU上，这些硬件无关层实现的总体Token吞吐量，在三款近期模型的几何平均值计算下，与原生实现相比差距仅为3.4%。

一套工作流程，更多硬件选择

对于IBM Z、LinuxONE和Power11用户而言，预期的使用体验十分直接：从Hugging Face等生态系统获取模型，并使用与Nvidia GPU上基本相同的PyTorch工作流程。共享的PyTorch扩展点将大部分架构差异隐藏在框架之下，从而降低了采用门槛，避免了仅能使用少量特殊打包模型权重的局限性体验。

以一个保险理赔工作流程为例，该流程结合了用于欺诈检测的XGBoost模型，以及在Spyre上运行的Gemma 26B模型用于法务分析。该软件栈使开发者能够利用熟悉的模型生态系统和框架接口来构建工作流程，同时根据具体工作需求选择最合适的硬件。

Spyre的PyTorch集成也是其与llm-d对接的方式。llm-d在vLLM之上运行分布式推理，其设计目标是支持多种加速器类型，而非单一硬件路径。vLLM通过PyTorch连接每种加速器：一旦某设备拥有可用的PyTorch后端，vLLM硬件插件便可将其开放出来，随后llm-d便能将工作调度到该设备上。Spyre正是遵循这一路径——torch-spyre提供PyTorch后端，Spyre的vLLM插件则建立在此基础之上。因此，使Spyre成为PyTorch设备的这项工作，恰恰也是使其能够在llm-d部署中使用的同一项工作。

让兼容性可衡量

只有当用户有明确证据表明模型能够跨平台可靠运行时，广泛的兼容性才真正具有价值。IBM研究团队正通过端到端模型测试和持续集成来构建这样的证据。这项工作有助于团队及时发现上游框架变更对下游硬件支持造成的影响。

端到端模型测试至关重要，因为故障可能源于操作、形状、布局、数值范围以及编译器融合行为的多种组合，而孤立的单元测试无法揭示这些问题。将真实模型与可信的CPU或GPU参考结果进行对比运行，使每个模型同时成为兼容性测试和平台强化的探针。这也让开发者能更清楚地了解哪些模型和加速器配置组合已经经过验证。

2026年下半年，IBM、红帽及其在PyTorch基金会中的合作者（包括Meta和Hugging Face）推出了一系列新的软件生态系统更新，涵盖模型首日支持、vLLM中的硬件无关模型、持续回归与发布测试，以及原生设备集成。一场关于前端和后端编译器的新演示进一步阐释了相关技术细节。这些工作共同展示了模型适配器、编译器路径、运行时集成、vLLM扩展以及CI/CD如何协同作用，支持Spyre成为PyTorch生态系统中的一级参与者。

通过将熟悉的工作流程、可移植的编译器路径、广泛的模型支持以及透明的验证结合起来，IBM正在帮助使硬件选择成为一种切实可行的选项，而不再是软件集成的负担。

订阅我们的Future Forward新闻通讯，及时了解最新研究动态。

订阅我们的新闻通讯