Hot Chips 2026,  Day1划重点

Hot Chips有“芯片界的奥林匹克”之称，每年在美国斯坦福大学举办。自1989年以来，这一打通学术与产业的盛会，汇聚了全球顶尖的处理器、GPU、AI加速器、内存、网络和系统设计团队。Hot Chips强调体系结构与产品级创新，是学界与业界展示下一代高性能芯片的重要窗口。

Hot Chips还是行业和市场的风向标。很多改变行业格局的设计，从英特尔的多核处理器英伟达的GPU计算架构、再到谷歌TPU和苹果 M系列，都曾首次在Hot Chips上展示。

今年的Hot Chips，Day1出现了几个值得关注的技术亮点：三星把 HBM 基底裸片推向存储侧 SoC；d-Matrix 用 3D DRAM 正面挑战 HBM 的推理带宽路径；AMD Helios 把开放以太网互连网络真正推进到 72-GPU scale-up领域。

三星与海力士的殊途

内存占据了周日整整半天，实际上已经定下了今年大会的基调。

美光给出的判断代表了业界共识，AI 加速器的 TFLOPS 大约每两年增长 3 倍，而 2.5D HBM 的带宽增长不到 2 倍。算力与内存带宽之间的缺口在继续扩大。

更重要的是，HBM 本身正在发生性质变化。三星认为，从 HBM4 开始，基底裸片不再只是被动的 PHY+TSV（物理层接口电路和硅通孔）底座，而是转向先进逻辑工艺。三星 HBM4 已把基底裸片推到4纳米，并提出定制HBM：先缩小 PHY，占用释放出的面积；进一步把存储控制器从 XPU 移到 HBM基底裸片，再利用之上的 SRAM 做更灵活的存储单元修复，未来还能继续放更多逻辑。换句话说，HBM 正从内存封装向存储侧SoC演进。

SK 海力士从另一面说明了同一个问题：HBM已经从系统最后装上去的部件，变成先进封装一开始就必须围绕它设计的核心。CoWoS-S、CoWoS-L、EMIB、堆叠高度、热机械应力、供电 TSV、混合键合、良率，都开始围绕 HBM 重新排列。

3D vs.2.5D

d-Matrix 介绍 Raptor 3D-DRAM，是目前最有新架构味道的报告之一，而且是与Meta共同呈现的。

顾名思义，3D-DRAM，就是把逻辑裸片直接叠在 DRAM 上面，缩短数据移动距离。d-Matrix 给出了数据，传统 HBM4 的 2.5D 路径的能耗大约为 2.5–5 pJ/bit，而垂直 3D I/O 可以降到约 0.3–0.4 pJ/bit，原因之一就是它不再需要传统长距离 PHY 路径。其 Raptor 方案目标达到约 100 TB/s级内存带宽。

这里最值得注意的是它明确按照预填充/解码来重新设计内存：

* 预填充往往受限于算力

* 解码往往受限于存储和带宽

* MoE 在不高的批次下都可能受限于存储

* 因此真正需要极端内存带宽的是解码

AI 推理创新正在从增加乘法器转向缩短数据移动。SRAM、HBM、3D DRAM、HBM/SRAM 混合、硬编码权重，看起来路线不同，面对的是同一个敌人——存储墙。

（来源：d-Matrix Raptor 3D-DRAM Accelerator for Generative Inference at Hot Chips 2026 ）

Agentic AI 正在定义“好芯片”

NVIDIA、AMD、Intel、富士通都在谈智能体：观察-推理-工具调用-执行-再观察-再推理。

英伟达有关 Rubin 的演讲甚至直接提出，传统推理基准已经不够用了。过去可能是 1K–32K 上下文，而智能体负载会走到 100K、400K 甚至更长，同时包含工具调用、动态序列、多轮交互。于是评价硬件的指标从单纯 FLOPS，转向tokens/MW、TTFT、互动、MTBI、有效使用寿命。

今年 Hot Chips 的一个显著认知变化：AI 硬件的目标函数，正在从最大化计算吞吐，变成在延迟、吞吐、功耗和可靠性约束下，最大化有效token产出。

(来源：英伟达，Hot Chips 2026 )

让CPU重新伟大

Agentic AI让CPU重新“伟大”起来，因为智能体要做大量浏览器执行、Python、数据库查询、工具调用、网络通信、安全隔离、调度、数据预处理以及串行控制逻辑。

所以英伟达Vera的设计哲学不是简单堆更多小核心，而是强调88个高IPC （每时钟周期执行的指令数）Olympus 核，强调单线程性能和低延迟。英伟达的解释很直接：智能体必须完成一个任务才能开始下一步，因此串行步骤的延迟会不断累积；这使高 IPC CPU 重新产生价值。

IBM 的双指令集核心很“Hot Chips”：一个 5.7GHz+ 的核心可以原生执行z/Architecture 和 AArch64，两套指令集共用大量后端，又让标准 Arm 软件直接运行在IBM大型机上。这不是 AI 主线，却是目前架构创新程度最高的报告之一。

GPU 环节的主题是机架

Day1 所谓的“GPU环节”，实际上已经变成了机架级集统环节。

英伟达的 Vera Rubin 被定义为跨越七类芯片、五类机架的全栈AI工厂，CPU、GPU、NVLink、DPU、以太网、存储，甚至Groq LPU 都成为同一个系统的一部分。

AMD 更明显。MI455X 本身当然很强：8 个 N2 加速计算裸片，N3P 连接/缓存/I/O 裸片，12 组 HBM4，432GB、23.3TB/s存储带宽，40.26 PFLOPS MXFP4。但 AMD 用两场连续演讲真正想卖的不是这颗 GPU，而是Helios。

一个 Helios 机架的构成：72 GPU、31TB HBM4、1.7PB/s HBM 带宽、260TB/s 纵向扩展、43TB/s 横向扩展、2.9 EFLOPS。更重要的是，72 颗 GPU 被设计成一个 支持Load/Store 直接访问的共享内存计算域。

（来源：AMD, Hot Chips 2026）

Ethernet 潜入Scale-up

AMD Helios的UALoE很值得注意，把以太网/ESUN 直接用于 72-GPU scale-up，并提供跨整个节点的共享的 Load/Store 内存视图。每颗 MI455X 集成 18 个 800G UALoE 适配器，通过多平面网络实现全 GPU 互连。

以太网已经不满足于连接一台台 AI 服务器，而开始争夺过去 NVLink、专用连接占据的机器内扩展领域。

Day 2的网络与互连环节，还安排了博通Thor Ultra AI/HPC 以太网卡、英伟达BlueField-4和Spectrum-X Multiplane。也就是说，网络正在从 AI 基础设施的配角变成独立的架构层。。

先进封装就是计算机体系结构

今年很多看似不同的演讲，其实都指向一个共同事实：单芯片已经不再是架构设计的默认单位。

AMD MI455X：N2 做计算，N3P 做 连接/缓存/I/O，再通过 3D 混合键合和 CoWoS-L 拼起来。

富士通MONAKA：N2P 做 CPU 核心裸，N5 做 SRAM 和 I/O，而且 N2P 甚至不到总硅面积30%，用混合键合垂直组合。

英特尔Diamond Rapids：18A-P计算芯粒 + Intel 3 基底/连接裸片 + Foveros Direct 3D + UCIe-S。更有意思的是，英特尔没有机械地用自己最先进的 EMIB（嵌入式多裸片互连桥），而是因为距离、延迟和成本选择了封装基板上的UCIe-S。

英特尔Wildcat Lake 更进一步证明：UCIe 已经从 PPT 标准进入成本敏感的量产设计。英特尔为了廉价笔记本，把 Foveros 换成普通有机多芯封装（organic multi-chip package），再用 UCIe 连接两个裸片，以降低成本。

所以制程节点已经不仅仅用来描述一颗芯片，而是用于多种功能，如怎么堆？怎么连？怎么供电？怎么散热？这就是系统技术协同设计。

RISC-V， 终于开始成为平台

周日辅导环节，RISC-V 内容的组合本身就非常说明问题：SiFive 讲标准/配置规范，Canonical讲 Ubuntu 和 RVA23，英伟达讲 RISC-V 与 GPU互操作，英飞凌Infineon讲汽车。所有这些，关乎软件能够稳定依赖的 RISC-V 平台。

RVA23 的意义就在这里：固定应用级处理器必须支持的一组功能，让 OS、编译器、CUDA 等软件第一次可以面对相对统一的硬件基线。英伟达此前已经明确表示，RVA23 是它决定把 CUDA 带到RISC-V 的关键条件。

再加上 SiFive 已经推出可用于机架的 2U RISC-V 服务器开发平台，RISC-V 正从嵌入式和控制核进入服务器生态。

Waymo的传感融合处理器

（来源：Waymo，Hot Chips 2026）

Waymo 的主旨发言，得到了非常高的评价。

它展示示的传感器融合处理器，是一个5纳米定制的ASIC芯片 ，提供超过1,000 TOPS，直接处理摄像头、激光雷达、雷达等原始数据，13 个高分辨率摄像头可以同时实时运行。但 Waymo 反复强调的并不是 TOPS，而是三个词：响应性、耐用性、冗余性。它还明确强调确定性的低延迟（deterministic low latency）。

这说明物理 AI 对芯片的要求和云端AI 很不一样：数据中心可以追求大批次和高利用；自动驾驶却必须在低批次下稳定实现极低延迟，而且必须考虑故障冗余、车规温度、传感器 I/O 和确定性。

所以 Waymo 的报告实际上很好地补齐了大会的一条主线：AI 硬件不会收敛为一种架构；不同 AI负载会催生越来越强的专用化。