谷歌TPU8i内存增3倍，推理性能提升80%迎击英伟达

多年来，谷歌一直在生产既能训练人工智能模型又能处理推理工作的芯片，现在，谷歌正将这些任务分离到不同的处理器中，这是其在人工智能硬件领域挑战英伟达的最新举措。

谷歌周三表示，将对其第八代张量处理单元（TPU）进行这项更改。这两款芯片都将于今年晚些时候上市。

今年3月，英伟达大力宣传即将推出的芯片，该芯片能够让模型快速响应用户提问，这得益于其以200亿美元收购芯片初创公司Groq所获得的技术。谷歌是英伟达的大客户，但它也向使用其云服务的公司提供TPU作为替代方案。

全球大多数顶尖科技公司都在寻求定制化的人工智能半导体开发，以最大限度地提高效率，并满足特定应用场景的需求。苹果多年来一直在其自主研发的iPhone芯片中集成神经网络引擎AI组件。微软于今年1月发布了第二代AI芯片。上周，Meta公司表示正在与博通公司合作开发多个版本的AI处理器。

谷歌很早就抓住了这一趋势。2015年，该公司开始使用其自主设计的处理器来运行人工智能模型，并于2018年开始将这些处理器出租给云客户。亚马逊网络服务公司（AWS）于2018年发布了用于处理人工智能请求的Inferentia芯片，并于2020年推出了用于训练人工智能模型的Trainium处理器。

DA Davidson 分析师在 9 月份估计，TPU 业务加上 Google DeepMind AI 集团，价值约为9000 亿美元。

目前没有任何一家科技巨头能够取代英伟达，谷歌甚至都没有将自家新芯片的性能与这家人工智能芯片领军企业的产品进行比较。谷歌确实表示，这款训练芯片的性能是去年11月发布的第七代Ironwood TPU的2.8倍，价格却相同；而推理处理器的性能则提升了80%。

英伟达表示，其即将推出的Groq 3 LPU硬件将采用大量的静态随机存取存储器（SRAM），这种存储器也被人工智能芯片制造商 Cerebras 使用，该公司已于本月初提交了上市申请。谷歌的新型推理芯片 TPU 8i 也依赖于 SRAM。每个芯片包含 384 兆字节的 SRAM，是 Ironwood 芯片容量的三倍。

谷歌人工智能芯片的应用正在加速增长。据谷歌称，Citadel Securities 开发了一款基于谷歌 TPU 的量化研究软件，美国能源部所有 17 个国家实验室也都在使用基于这些芯片构建的人工智能协同科学家软件。Anthropic 公司已承诺使用数吉瓦的谷歌 TPU。

今天在 Google Cloud Next 大会上，我们（指代谷歌，下同）将推出第八代 Google 定制张量处理器 (TPU)，即将推出两种专为训练和推理而设计的架构：TPU 8t 和 TPU 8i。这两款芯片旨在为我们定制的超级计算机提供强大动力，驱动从前沿模型训练和智能体开发到海量推理工作负载的各种应用。

多年来，TPU 一直为包括 Gemini 在内的领先基础模型提供支持。第八代 TPU 将共同为训练、服务和智能体工作负载带来卓越的规模、效率和功能。

在人工智能时代，模型必须能够推理问题、执行多步骤工作流程，并在持续循环中从自身行为中学习。这给基础设施带来了新的挑战，而 TPU 8t 和 TPU 8i 正是与 Google DeepMind 合作设计的，旨在应对最苛刻的人工智能工作负载，并大规模适应不断演进的模型架构。

TPU 为众多机器学习超级计算组件树立了标准，包括定制数值计算、液冷、定制互连等等。我们的第八代 TPU 是十余年研发的结晶。最初 TPU 设计的核心理念至今依然适用：通过将芯片与硬件、网络和软件（包括模型架构和应用需求）进行定制和协同设计，我们可以显著提高能效和绝对性能。

我们欣喜地看到，十年的创新已转化为现实世界的突破。如今，像 Citadel Securities 这样的先锋企业正在不断突破极限，选择 TPU 来驱动其尖端的 AI 工作负载：

硬件开发周期远长于软件。每一代TPU的开发，我们都需要考虑其上市时将会出现哪些技术和需求。

几年前，我们预见到随着前沿AI模型在生产环境中大规模部署，客户对推理功能的需求将会不断增长。而随着AI代理的兴起，我们认为，如果能够开发出专门针对训练和服务需求而设计的芯片，将有助于整个社区的发展。

TPU 8t 擅长处理大规模、计算密集型的训练工作负载，其设计旨在提供更大的计算吞吐量和更强的可扩展带宽。TPU 8i 则拥有更高的内存带宽，专为对延迟最为敏感的推理工作负载而设计，这一点至关重要，因为大规模智能体之间的交互会放大哪怕是微小的效率损失。

重要的是，这两款芯片都能运行各种工作负载，但专业化可以显著提高效率并获得收益。

TPU 8t旨在将前沿模型开发周期从数月缩短至数周。通过平衡尽可能高的计算吞吐量、共享内存和芯片间带宽，以及尽可能高的能效和高效的计算时间，我们打造出一个系统，其每个Pod的计算性能比上一代产品提升近3倍，从而加速创新，确保我们的客户继续引领行业发展。

除了卓越的性能之外，TPU 8t 还通过一套全面的可靠性、可用性和可维护性 (RAS) 功能，力求实现超过 97% 的“有效吞吐量”（衡量有效计算时间的指标）。这些功能包括：对数万个芯片进行实时遥测；自动检测并绕过故障的 ICI 链路（无需中断作业）；以及光路交换 (OCS) 技术，无需人工干预即可在故障发生时重新配置硬件。

每次硬件故障、网络停滞或检查点重启都会导致集群停止训练，而在前沿训练规模下，每一个百分点都可能转化为数天的活跃训练时间。

在智能体时代，用户期望能够提出问题、委派任务并获得结果。

TPU 8i 旨在处理众多专业智能体复杂、协作、迭代的工作，这些智能体通常会在复杂的流程中“集群”协作，为最具挑战性的任务提供解决方案和洞见。我们通过四项关键创新重新设计了技术栈，以消除“等待室”效应：

与上一代产品相比，这些创新技术每美元的性能提高了 80%，使企业能够以相同的成本服务近两倍的客户量。

这款第八代 TPU 也是我们共同设计理念的最新体现，其每一项规格都旨在解决人工智能面临的最大挑战。

而且，这两款芯片首次都运行在谷歌自家基于 ARM 的 Axion CPU 主机上，这使我们能够优化整个系统，而不仅仅是芯片，以提高性能和效率。

这两个平台都原生支持 JAX、MaxText、PyTorch、SGLang 和 vLLM 等开发者常用的框架，并提供裸机访问，让客户无需虚拟化即可直接访问硬件。包括 MaxText 参考实现和用于强化学习的 Tunix 在内的开源贡献，为从功能实现到生产部署提供了便捷的途径。

在当今的数据中心，电力（而不仅仅是芯片供电）是一个关键的制约因素。为了解决这个问题，我们优化了整个堆栈的效率，并集成了电源管理功能，可根据实时需求动态调整功耗。TPU 8t 和 TPU 8i 的每瓦性能比上一代产品 Ironwood 提升高达两倍。

但谷歌的效率衡量标准并非仅限于芯片层面，而是从芯片到数据中心的系统级承诺。例如，我们将网络连接与计算集成在同一芯片上，显著降低了TPU芯片间数据传输的能耗。甚至我们的数据中心也是与TPU芯片协同设计的。我们在硬件和软件方面不断创新，使我们的数据中心单位电力下的计算能力比五年前提高了六倍。

TPU 8t 和 TPU 8i 延续了这一发展轨迹。它们均采用我们第四代液冷技术，能够维持风冷无法实现的性能密度。通过掌控从 Axion 主机到加速器的全栈设计，我们可以优化系统级能效，而这在主机和芯片独立设计的情况下是无法实现的。

每一次重大的计算转型都需要基础设施的突破，智能体时代也不例外。基础设施必须不断发展，才能满足自主智能体在推理、规划、执行和学习的持续循环中运行的需求。

TPU 8t 和 TPU 8i 正是我们应对这一挑战的答案：

两种专为重新定义人工智能可能性而打造的专用架构，从构建功能最强大的 AI 模型，到完美协调的智能体集群，再到管理最复杂的推理任务，无所不能。这两款芯片将于今年晚些时候正式上市，并可作为谷歌 AI 超级计算机的一部分使用。该超级计算机将专用硬件（计算、存储、网络）、开源软件（框架、推理引擎）和灵活的消费模式（编排、集群管理和交付模型）整合到一个统一的平台中。

智能体计算将重新定义一切皆有可能。我们非常激动地宣布，为推动这一变革，我们不断创新，如今推出了最新的产品——TPU 8i 和 8t。