Hot Chips 2026 Takeaway（一）：Hyperscaler ASIC全面提速

来源：市场资讯

事件

Hot Chips 2026最明确的产业信号之一，是AI Accelerator正在从追求单一通用架构转向围绕不同Workload进行系统级优化。Google首次将第八代TPU拆分为面向训练的TPU 8t和面向推理的TPU 8i；Meta将MTIA从Recommendation进一步扩展至GenAI；Microsoft Maia 200明确聚焦大规模Inference；OpenAI则首次系统披露与Broadcom联合开发的Jalapeño推理ASIC。与此同时，AMD MI455X和Intel Crescent Island显示GPU本身也开始围绕不同推理场景重新平衡Compute、Memory、Power和Deployment Cost。我们认为，AI芯片竞争的单位正在从“Chip vs. Chip”升级为围绕Training、Reasoning、Low-latency Inference及Recommendation分别优化Compute、Memory、Fabric和Software的Workload-Specific System；ASIC将在规模足够大、模型结构稳定且TCO敏感的Inference市场加速渗透，而GPU也会通过架构分化继续覆盖Frontier Training和更广泛的通用AI workload。

点评

Training与Inference的硬件需求已经明显分化，Inference正在快速变得更加Memory-intensive。 TPU 8t面向大规模Pre-training，单芯片216GB HBM、6.5TB/s带宽和12.6PFLOPS FP4，单Superpod扩展至9,600颗芯片；TPU 8i则主动降低峰值Compute至10.1PFLOPS FP4，同时将HBM提高至288GB/8.6TB/s、片上SRAM提高至384MB，并引入Collectives Acceleration Engine和新的Boardfly网络拓扑。按单芯片计算，TPU 8i的HBM Capacity/FP4 Compute和Memory Bandwidth/FP4 Compute均较8t高约1.65倍。Google给出的结果是8t训练Performance/$较Ironwood提升最高2.7倍，而8i低延迟MoE推理Performance/$提升最高80%。我们认为，Agentic AI时代的Inference瓶颈正在从峰值FLOPS逐步迁移至Memory Capacity、Bandwidth、KV Cache及Collective Latency，单纯提高Compute Density的边际收益下降。

Hyperscaler ASIC已经越过内部实验阶段，开始直接承接核心生产流量。 Meta此前的MTIA主要服务Ranking和Recommendation，而MTIA 400开始同时覆盖Recommendation与GenAI，并采用8颗HBM3E、约9.4TB/s Memory Bandwidth以及72颗ASIC Scale-up Domain；相较MTIA 200，其FP16 Compute提升超过15倍、DRAM Bandwidth提升约46倍。Microsoft Maia 200则以Token Economics为设计目标，采用TSMC 3nm、216GB HBM3E/7TB/s和272MB SRAM，在750W功耗下提供超过10PFLOPS FP4，并已进入GPT-5.2、Microsoft 365 Copilot等实际负载。我们认为，自研ASIC的核心价值已经从单纯降低芯片采购成本，扩大至围绕内部Model、Compiler和Infrastructure联合优化Token/$，这会进一步提高Hyperscaler将稳定Inference workload迁移至Custom Silicon的经济动力。

OpenAI Jalapeño进一步将Hardware-Software Co-design从架构定义推进至芯片开发流程本身。 Jalapeño针对LLM Inference从零设计，配备216GB HBM4、15.4TB/s Memory Bandwidth，在700W下提供最高13.4PFLOPS MXFP4，并可由128颗ASIC扩展至单Rack、2,048颗扩展至16-Rack Pod。更值得关注的是，OpenAI从RTL到Tape-out仅用了约9个月，并利用自身模型参与RTL生成和PPA优化。我们认为，AI Lab对Silicon的参与正在从提出Workload需求进一步延伸至Architecture、Compiler乃至RTL开发；如果AI辅助芯片设计能够持续缩短Design Cycle，Custom ASIC的迭代节奏有望逐步接近模型和软件迭代周期，进一步削弱传统3-4年固定芯片周期对专用架构的限制。

Workload-Specific并不局限于ASIC，GPU路线本身也开始明显分层。 AMD MI455X选择432GB HBM4和23.3TB/s Memory Bandwidth，并提供40.3PFLOPS MXFP4，明显强化大模型、长Context和KV Cache所需的Memory Capacity；72颗MI455X组成的Helios Rack进一步提供31TB HBM4。相比之下，Intel Crescent Island采用最高480GB LPDDR5X和350W风冷PCIe形态，核心目标是以更低功耗和更低部署门槛承接Enterprise Agentic Inference。我们认为，这一对比说明未来AI Accelerator不会沿着单一“更高FLOPS+更高HBM”的路线演进：Frontier和Hyperscale workload继续追求HBM Bandwidth与Rack-scale Fabric，而成本敏感、存量数据中心和Enterprise Inference则可能通过更大容量LPDDR、较低TDP和标准PCIe形态优化Token Economics。

横向来看，AI Accelerator正沿Workload形成三类差异化架构，Inference的资源配置明显由Compute向Memory和Communication倾斜。 Frontier Training以TPU 8t和AMD MI455X为代表，核心仍是Peak Compute、HBM容量和Rack-scale Fabric；Hyperscale Inference以TPU 8i、MTIA 400、Maia 200和Jalapeño为代表，更强调Memory Bandwidth、On-chip Memory及Scale-up能力，以优化Token/$和Latency；Enterprise Inference则以Intel Crescent Island为代表，通过大容量LPDDR5X、低TDP和标准PCIe形态降低部署成本。按公开规格测算，TPU 8i、MTIA 400、Maia 200和Jalapeño的Memory Bandwidth/Peak Compute约为0.69-1.15TB/s per PFLOP/PetaOPS，高于NVIDIA Rubin的0.44、TPU 8t的0.52和MI455X的0.58，进一步反映高性能Inference的系统瓶颈正加速向Memory Movement和Communication迁移，而NVIDIA则通过更高Compute Density、NVLink和CUDA维持更广泛的Workload覆盖。

Memory和Scale-up Fabric正在成为决定系统性能的共同变量，但不同Workload对应的最优Memory Architecture也开始分化。 TPU 8i、MTIA 400、Maia 200和Jalapeño均显著提高HBM Capacity和Bandwidth，说明高端Hyperscale Inference仍在持续提高HBM content；AMD MI455X同样将单GPU HBM4提高至432GB。另一方面，Crescent Island选择480GB LPDDR5X，也说明并非所有Inference workload都需要HBM的极致Bandwidth。我们预计Memory市场会进一步形成分层：HBM继续占据Frontier Training和高性能Inference的高带宽层，LPDDR/CXL等更低成本方案则承接部分Capacity-sensitive workload；AI Accelerator数量和应用场景扩张仍将提高整体Memory content，但不同Memory tier之间的价值量分配将更加Workload-specific。

对NVIDIA而言，ASIC渗透更可能改变AI Compute的结构和产品Mix，而非短期压缩整体GPU需求。 Google在持续推进TPU的同时仍部署NVIDIA GPU，Meta也同时发展MTIA与外购GPU；Custom ASIC首先承接的是超大规模、重复性高且TCO敏感的内部Inference workload，而GPU在Frontier Training、快速变化的模型架构及第三方Cloud workload上仍具备Programmability和Ecosystem优势。与此同时，NVIDIA也在通过Groq 3 LPX、Spectrum-X和BlueField等架构向Inference和AI Factory系统层延伸，提高单个AI Factory中的非GPU System Content。我们预计AI Compute市场会进一步分层：GPU继续占据Frontier和通用计算平台，ASIC加速进入规模化Inference和垂直工作负载，而竞争焦点则从单芯片峰值性能逐步转向Token/$、Memory efficiency、Fabric utilization和Software integration。

风险

1）市场竞争加剧2）技术验证不及预期3）产品落地不及预期

本报告分析师：

姚书桥

SFC HK执业证书编号：BRZ136

免责声明

本公众号涉及的内容仅供参考，并不构成对所述证券的推荐、邀约或邀约邀请。同时亦不构成任何合约的成立，不构成买卖任何证券或交易的建议， 亦不构成投资建议、财务、法律、税务或其他意见。本公众号对于因此信息和内容或者据此进行投资而直接或间接引起的任何损失不承担任何责任亦不作出任何保证。