谷歌深度揭秘：TPU 8i为何比TPU 8t更大？

在近日的Hot Chips 2026大会上，谷歌（Google）详细披露了其第八代张量处理单元（TPU）家族的技术细节。这套于今年4月在Google Cloud Next大会上首次亮相的新一代AI加速芯片，最核心的变化是彻底放弃了此前“一代一芯”的设计思路，首次将架构拆分为两款物理上完全不同的专用芯片——面向训练的TPU 8t与面向推理的TPU 8i，标志着谷歌在自研芯片战略上进入全新阶段。

一、十年演进：从推理PCIe卡到百万倍性能提升

谷歌在Hot Chips 2026大会上首先回顾了其TPU发展的完整历史。第一代TPU是一款针对推理优化的PCIe卡，int8算力仅90 TOPS；第二代TPU转向训练优化，并引入共享内存架构；到第八代的TPU 8t，单芯片可提供 12.6 FP4 Petaflops 的峰值算力，一个Pod可集成9600颗芯片，FP4算力将高达120 EFLOPS。谷歌自第八代TPU开始，之后预计仍以交替迭代的方式推进推理芯片与训练芯片的发展。

谷歌表示，经过十年的持续迭代，其TPU性能已实现百万倍的提升。值得注意的是，谷歌的设计思路也在演变：早期主要服务于内部工作负载，如今在芯片设计时已更多地兼顾Google Cloud客户的需求。

二、为何此时“分家”？MoE与智能体AI驱动变革

谷歌在大会上明确解释了为何在第八代选择同时推出两款芯片。其核心驱动力是MoE（混合专家模型） 的普及带来了全新的瓶颈——MoE模型产生了远超以往模型的通信/网络流量，单纯扩大算力（FLOPS）已不足以应对。此外，智能体AI（Agentic AI）的长上下文窗口也对硬件提出了新的优化要求。

与大多数超大规模厂商（Hyperscalers）专注于推理硬件、依赖商用硬件进行训练的策略不同，谷歌一直坚持为训练和推理两项任务同时开发自研硬件。谷歌认为，这种长期积累的经验是其市场优势的重要来源，TPU v8家族正是这一理念的延伸。

三、TPU 8i：推理芯片的三大架构创新

1、更多SRAM、更多HBM、更高带宽

在Hot Chips大会现场，Google进行了一次有趣的“观众投票”：展示两款芯片（一款较小、6组HBM堆叠；一款较大、8组HBM堆叠），询问哪款是推理芯片。多数人猜错——正确答案是：较小的为训练芯片（TPU 8t），较大的为推理芯片（TPU 8i）。

这一反直觉的设计揭示了推理负载的核心需求：推理需要比训练更多的HBM（相对单位算力而言），也需要更高比例的SRAM。这是因为推理阶段（尤其是解码阶段）对内存带宽和容量极度敏感，而训练则更依赖原始算力。

具体来说，TPU 8t 配备 216 GB 的HBM内存，带宽为 6,528 GB/s。其片上SRAM容量为 128 MB；TPU 8i则配备了更大的 288 GB HBM内存，带宽也提升至 8,601 GB/s。其片上SRAM容量高达 384 MB，是TPU 8t及上一代产品的三倍。

这种差异源于推理芯片需要将更大的键值缓存（KV Cache）存放在离计算单元更近的SRAM上，以减少对HBM的访问，从而显著降低推理延迟。

2、BoardFly新型网络拓扑：跳数从16缩减至7

谷歌此前在TPU中广泛使用3D Torus网络拓扑，该拓扑对训练较为优化，但对推理并非最佳。TPU 8i采用了全新的BoardFly拓扑，其最大网络跳数（Hops）从Torus的16跳缩减至7跳，网络直径削减超过一半，显著降低了推理工作负载（尤其是MoE模型）中的通信延迟。

3、集体加速引擎（CAE）：在I/O Die上完成网内聚合

TPU 8i的设计充分考虑了网内集合通信（In-network collectives） 的高效处理。为此，谷歌在芯片边缘靠近网络硬件的ICI I/O Die上集成了专用的集体加速引擎（Collective Acceleration Engine）。这一设计避免了将数据传回计算Die进行处理（包括物理传输时间及HBM访问），从而大幅降低延迟。根据谷歌的说法，其将芯片内的延迟降低了5倍。

从架构图来看，TPU 8i在高层设计上与以往的TPU推理芯片相似：每个封闭框为一个计算Die，紫色框为I/O Die。

四、TPU 8t：训练芯片的规模与互联革命

1、超大规模：9,600芯片超级Pod，121 ExaFlops算力

TPU 8t专注于训练所需的大规模算力与互联能力。其单个超级Pod将包含9,600颗芯片，聚合共享HBM内存达2PB，FP4算力达121 ExaFlops。能效方面，TPU 8t的每瓦性能约为前代Ironwood（TPU v7）的2倍。

值得强调的是，这一能效提升并非仅依赖FP4精度。谷歌指出，并非所有功能都映射到FP4，芯片需高效处理混合精度训练，这正是实现2倍每瓦性能提升的关键。

2、Virgo专用网络架构：13.4万芯片单一域，47 Pbit/s带宽

与前代TPU使用谷歌整体数据中心网络不同，TPU 8t引入了专用的Virgo网络架构。该架构支持在单一域内连接多达13.4万颗TPU，聚合带宽高达47 Pbit/s。Virgo采用两层交换拓扑设计。

3、光学电路交换（OCS）实现动态切片与容错

TPU 8t通过Google的光学电路交换（OCS） 技术实现9,600芯片级别的纵向扩展域。OCS提供冗余与可靠性，可动态配置超级Pod内的任意切片（Slice），任意大小或形状均可创建。在容错方面，OCS能自动处理故障芯片：剔除故障芯片→分配备用节点→从检查点恢复→继续运行。

4、可靠性与冷却：Arrhenius定律的警钟

可靠性、可用性与可维护性（RAS） 始终是谷歌的优先事项。其设计假设是“芯片会出问题”，因此架构需具备应对和绕行能力。第八代新增的RAS特性之一是现场单元测试（In-field unit testing），在空闲周期运行以检测芯片是否发生故障。

谷歌特别强调了温度对故障率的影响：根据Arrhenius方程，工作温度每升高10-15°C，半导体化学降解（磨损）速率约翻倍。这解释了为何谷歌在TPU 8t机架设计中首次对光学器件也采用液冷（此前仅风冷）。

5、完整机架与超级Pod

单个TPU 8t托盘包含4颗芯片，每个机架容纳300个托盘，共同构成超级Pod的基础单元。

6、TPU 8i与自研Axion CPU的2:1配对

TPU 8i的另一个重要看点是，它首次与谷歌自研的Axion CPU（基于Arm Neoverse V2架构）进行配对。在谷歌的计算节点中，TPU 8i芯片与Axion CPU以2:1的比例配对。此前谷歌在此类任务中使用的是x86 CPU，这一转变使谷歌既转向自研硬件，也迁移至Arm架构。

五、用AI设计TPU

谷歌还披露，其正利用AI辅助设计TPU芯片本身。在Ironwood（TPU v7）时代，谷歌已开始利用AI辅助设计ALU电路与优化布局规划。这种“AI造芯片”的方式，体现了算力需求与设计工具演化之间的互促关系。AI模型通过削减功耗、节省芯片面积，让谷歌能在相同封装内集成更多计算核心，直接提升了TPU 8t和8i的性能密度。

六、现有代码库完全兼容，Pallas语言释放极致性能

在软件生态层面，谷歌强调，现有代码库与TPU v8代完全兼容。通过自定义内核语言Pallas（直接在Python中编写硬件感知内核），可在TPU 8t和8i上实现最佳性能。

但Pallas允许开发者编写硬件感知内核，直接利用TPU的架构特性进行极致优化。例如，生产级实现中广泛采用的Flash Attention模式，在Pallas中可通过不同的循环和流水线策略进行自动调优，以适应不同的序列长度——短序列时使用高性能的“展开”（unroll）策略，长序列时回退到可扩展的“流水线”（pipeline）策略，从而在性能和内存容量之间取得最佳平衡。

Helion等编译器工具在Pallas基础上进一步实现了自动调优，能够在不同输入长度下选择最优的代码生成策略，相比TorchTPU的即时执行（eager）模式实现了平均1.55倍的加速，在注意力（attention）内核上甚至达到4.45倍的性能提升。

总结

谷歌在过去十年中持续构建训练与推理芯片，而在第八代选择同时推进两者，加速了这一战略。其更大的设计哲学未变：在编译器开发者与硬件开发者之间建立紧密的协同设计（Co-design） 链路，以最大限度减少运行时不必要的开销。TPU v8家族不仅是谷歌全栈AI基础设施能力的一次集中展示，也标志着AI硬件设计正式进入为“训练”与“智能体推理”分别定制专用架构的新时代。

编辑：芯智讯-浪客剑