美光警告：AI算力两年涨3倍，HBM带宽已跟不上需求！

随着大型语言模型（LLM）参数规模持续膨胀，人工智能（AI）系统的算力需求正以前所未有的速度增长，但内存已成为限制整体性能的核心瓶颈。在8月23日于美国斯坦福大学举行的Hot Chips 2026半导体大会上，美光（Micron）HBM（高带宽内存）设计架构研究员Raghu Sreeramaneni在演讲中对“内存墙（Memory Wall）”进行了深入剖析。他指出：计算能力大约每两年增长3倍，而内存能力每两年仅增长不到2倍。两者增速的差距意味着内存墙不仅持续存在，而且可能在进一步加剧。

HBM（高带宽内存） 是目前领先AI加速器中采用的DRAM主流类型。在典型的AI加速器中，大量计算工作受限于内存传输速度，处理器不得不频繁等待数据送达才能继续运作。一旦工作完成，系统进入计算约束阶段，此时数据以足够快的速度送达，使处理器保持繁忙。HBM虽然能拉高带宽上限，让内存密集型任务在碰壁前释放更高性能，但随着模型规模爆炸式增长，带宽与算力的落差正在不断拉大。

HBM面积暴增：90%的芯片面积被内存占据

HBM架构包含堆叠的DRAM芯片，内含多个独立通道，每个通道有2个伪通道，共享命令/地址总线和独立数据总线。此外，基础晶圆（Base Die） 负责主机与DRAM之间的命令与数据接口，通过微凸块物理层连接主机，并采用3D TSV物理层实现DRAM堆叠与基础晶圆的互连。这条数据“脊柱”从顶部贯穿至HBM立方体的底部，再通过高密度、短距离点对点连接（HBM4具备2,000个I/O）与中介层相连。

当前每一代HBM的升级都是在数据传输速率、伪通道数量、密度和堆叠高度上持续演进。但是，HBM的基本架构仍保持不变，各代之间仍进行的是增量式的改进。为了解决带宽不足的问题，现行芯片封装被迫堆叠更多HBM。

美光在简报中透露，在一个典型的GPU系统单晶片封装（SiP）中，若采用4个12层（12-high）的HBM堆叠，其内存硅芯片面积竟然占了整个封装总硅芯片面积的90%左右，相当于GPU硅芯片面积的8倍。这位居核心的HBM虽然外观仅有邮票大小，但已是目前技术跨界整合度最高、最为复杂的内存解决方案，融合了尖端的封装、制程与设计技术。

HBM vs DDR：带宽碾压，但面积效率不占优

相较传统的DDR5内存，HBM具备绝对的带宽优势。在典型GPU配置下，DDR5带宽约为300 GB/s（最高可达1 TB/s），而HBM系统则可提供高达5.3 TB/s的系统级带宽，性能高出15至17倍。此外，DDR5单颗芯片的晶圆Banks数为32个，而HBM3E已达128个，下一代HBM4更将攀升至256个，展现出远高于传统内存的极致并行处理能力。

在芯片带宽上，DDR5单颗晶圆仅8 GB/s，HBM3E则高达256 GB/s（高出32倍）。虽然传统DDR在多插槽（DIMM）配置下拥有更高的整体容量，且同容量下的硅芯片面积仅有HBM的三分之一（HBM因数据信道与电源设计需要3倍面积）。但在处理顺序读写的AI工作时，HBM的每位元功耗（pJ/bit）更低，能效表现更为优异。

然而，HBM的跃进并非毫无代价。美光直言，随着每颗DRAM的储存密度增加，每位元的功耗效率（pJ/bit）反而随之下降。此外，当HBM堆叠高度从4层、12层一路攀升至16层（甚至未来朝20层迈进），虽然提高了容量，却也带来了极其严峻的热能与机械结构挑战。

散热创新：液冷、混合键合、融合键合成破局关键

美光指出，HBM最大的痛点在于功率密度（Power Density）而非单纯的功耗问题。由于多数先进功能皆整合于HBM的底层基础晶圆（Base Die）中，随着堆叠高度与活动频率增加，基础晶圆成为受高热影响最严重的区域。这不仅引发芯片与封装交互作用（CPI）的结构可靠性考验，更直接对AI系统的稳定性造成冲击，Meta的Llama 3训练中断惨痛经验即是明证。

为了对抗这些物理极限，美光已推出目前速度最快的HBM解决方案——HBM4。相较于HBM3E，HBM4的信道数翻倍、I/O速度提升两倍，系统带宽最高可达2,800 GB/s，I/O数量和通道数均为HBM3E的两倍。HBM4采用高度紧凑的点对点连接，具备2,000个I/O连接埠，并通过硅通孔（TSV）与微凸块（Microbump）将主机与DRAM堆叠无缝对接。

在散热与封装方面，美光强调，业界必须转向更具颠覆性的技术，包括导入液冷（Liquid Cooling）与混合键合（Hybrid Bonding）。美光目前正着手研发融合键合（Fusion Bonding）等下一代先进封装技术，能支持微米级（单个位数微米）的极精密间距，显著提升封装内的数据传输量。这种新型键合技术可以减少DRAM芯片之间的介电层数量，大幅降低热阻，改善散热表现。

美光同时也致力于研发内存优化的SerDes技术以设计全新高速I/O，并持续评估超越16层堆叠的可能性。美光强调，随着运算与内存的界线日益模糊，要克服芯片封装、热能与可靠性等复杂挑战，必须依赖AI产业链中所有生态系伙伴的紧密协作，才能持续推动这场重塑运算未来的技术革命。

编辑：芯智讯-浪客剑