Google推出Ironwood TPU和Axion实例满足AI推理需求激增

Google今天宣布为云客户推出定制的Ironwood芯片，发布的张量处理单元可以在单个系统中扩展到9,216个芯片，成为该公司迄今为止最强大的AI加速器架构。

这些新芯片将在未来几周内向客户提供，同时还将推出基于Arm架构的新Axion实例，承诺提供比当前基于x86架构替代方案高达两倍的性价比。

Google自己的前沿模型，包括Gemini、Veo和Imagen，都是使用TPU进行训练和部署的，还有Anthropic公司的Claude等同样规模庞大的第三方模型。该公司表示，需要深度推理和高级任务管理的AI智能体的出现，正在定义一个新时代，在这个时代中，推理（活跃模型的运行时智能）极大地增加了对AI计算的需求。

Ironwood：Google的AI强力芯片

这家科技巨头在4月的Google Cloud Next 2025大会上首次发布了Ironwood，并将其誉为公司有史以来构建的最强大的TPU加速器。

下一代架构允许公司在单个服务器系统中扩展至9,216个芯片，通过芯片间互连技术连接在一起，提供高达每秒9.6太比特的带宽。它们可以连接到庞大的1.77拍字节共享高带宽（HBM）内存。

芯片间互连（ICI）充当芯片的"数据高速公路"，使它们能够像单个AI加速器大脑一样思考和行动。这一点很重要，因为现代AI模型需要大量的处理能力，但它们无法装入单个芯片，必须分布在数百或数千个处理器上进行并行处理。就像城市中拥挤在一起的数千座建筑一样，这种系统面临的最大问题是交通拥堵。有了更多的带宽，它们可以更快地通信，延迟更少。

HBM维护AI模型在训练或处理用户查询时需要"记住"的大量实时数据。据Google介绍，在单个统一系统中可访问的1.77拍字节数据在业界领先。单个拍字节（即1,000太字节）大约可以代表40,000部高清蓝光电影或数百万本书的文本。一次性访问所有这些数据，让AI模型能够利用大量知识即时智能地响应。

该公司表示，基于Ironwood的新系统架构可以提供比最接近的竞争对手多118倍的FP8 ExaFLOPS性能，在训练和推理方面比上一代TPU Trillium高4倍的性能。

Google在这一先进硬件之上包含了一个新的软件层，该软件层是为最大化Ironwood的能力和内存而共同设计的。这包括Google Kubernetes Engine中的新集群管理器功能，该功能为更好的过程调度启用高级维护和拓扑感知。

在预训练和后训练方面，该公司宣布对MaxText进行增强，这是一个用于实现强化学习技术的高性能开源大语言模型训练框架。Google最近还宣布了vLLM的升级，以支持GPU和TPU之间的推理切换，或采用混合方法。

作为Ironwood早期用户的Anthropic表示，这些芯片提供了令人印象深刻的性价比收益，使他们能够大规模提供大型Claude模型服务。这家领先的AI模型开发商和提供商上个月底宣布，计划访问多达100万个TPU。

Anthropic计算负责人James Bradbury表示："从财富500强公司到初创企业，我们的客户都依赖Claude完成他们最关键的工作。随着需求持续指数级增长，我们正在增加我们的计算资源，同时推动AI研究和产品开发的边界。"

Axion通过N4A和C4A裸机实例进行扩展

Google还宣布通过两个预览版新服务扩展其Axion产品：N4A（其第二代Axion虚拟机）和C4A裸机（该公司首个基于Arm架构的裸机实例）。

Axion是该公司定制的基于Arm架构的中央处理器，旨在为通用工作负载提供节能性能。Google高管指出，Axion设计理念的关键在于其与公司工作负载优化基础设施战略的兼容性。它利用Arm在高效CPU设计方面的专业知识，相比传统x86处理器，在性能和功耗使用方面提供显著增强。

Google Cloud AI和计算基础设施副总裁兼总经理Mark Lohmeyer在Google Cloud Next 2024期间在SiliconANGLE Media直播工作室theCUBE的独家广播中表示："Axion处理器将比目前云中可用的最快Arm处理器性能高30%。与可比较的x86一代处理器相比，它们的性能将高50%，与基于x86的可比较实例相比，能效高60%。"

Axion为现代通用AI工作流程提供了大幅提高的效率，可以与新的专门Ironwood加速器配合使用来处理复杂的模型服务。新的Axion实例旨在提供运营支柱，如大容量数据准备、摄取、分析和运行托管智能应用程序的虚拟服务。

N4A实例支持多达64个虚拟CPU和512千兆字节的DDR5内存，支持自定义机器类型。新的C4A裸机提供专用物理服务器，配备多达96个虚拟CPU和768千兆字节内存。这两个新服务加入了该公司此前宣布的专为一致高性能设计的C4A实例。

Q&A

Q1：Ironwood TPU有什么特别之处？

A：Ironwood是Google最强大的TPU加速器架构，可以在单个系统中扩展到9,216个芯片，提供每秒9.6太比特的带宽和1.77拍字节的共享高带宽内存。相比最接近的竞争对手，它能提供超过118倍的FP8 ExaFLOPS性能，比上一代Trillium在训练和推理方面性能高4倍。

Q2：Axion处理器相比传统处理器有什么优势？

A：Axion是Google定制的基于Arm架构的处理器，专为通用工作负载设计。它比目前云中最快的Arm处理器性能高30%，比可比较的x86处理器性能高50%，能效比基于x86的实例高60%。主要用于数据准备、分析和托管智能应用程序等运营工作。

Q3：谁在使用这些新的Google AI芯片？

A：Google自己的前沿模型Gemini、Veo和Imagen都在使用TPU进行训练和部署。第三方用户包括Anthropic公司，他们使用这些芯片为Claude模型提供服务，并计划访问多达100万个TPU。从财富500强公司到初创企业的客户都依赖这些技术完成关键工作。