湖北
2026年8月23日，美光技术高管在Hot Chips 2026大会上指出，AI系统中的“内存墙”问题正持续恶化。计算性能每两年约增长3倍，而HBM带宽每两年仅增长约2倍，这一增速差距的扩大正成为限制大语言模型（LLM）扩展与性能提升的主要瓶颈。先进封装与工艺技术被视为应对日益严峻热约束的关键路径。
随着AI大语言模型持续演进，对计算能力、数据集规模和参数数量的需求不断攀升，先进内存技术的重要性日益凸显。目前，多数AI工作负载在典型系统中处于内存受限状态，处理器需等待数据到达后方能充分发挥。HBM通过显著提高内存带宽上限，使内存密集型AI任务在触及瓶颈前实现更高性能，从而更充分地释放处理器峰值能力。
据美光披露，在典型GPU系统级封装（SiP）中配置四个12层HBM堆栈时，内存硅片面积约占整体硅片面积的90%，相当于GPU硅片面积的约8倍。HBM作为跨功能最复杂的内存解决方案（涵盖封装、制程与设计），尺寸仅邮票大小，却已成为领先AI加速器的首选DRAM类型。
Meta在Llama 3训练论文中指出，意外中断事件中有17%归因于HBM故障，这一数据进一步凸显了内存可靠性与“内存墙”问题的严峻性。
目前行业主要存在三种内存架构，分别是2.5D附加内存、2.5D先进内存以及存内处理（PIM）DRAM。HBM堆叠高度已从早期的4层发展到16层，并存在通往20层的技术路径，但面临重大热管理与机械挑战。随着每个DRAM的密度提升，能效（以pJ/bit计）呈下降趋势，亟需转向颠覆性制程与封装技术，并具备通过先进D2D PHY从GPU卸载任务及支持定制功能的能力。
美光目前已推出HBM4，这是其迄今最快的HBM解决方案，带宽高达2800 GB/s，I/O数量和通道数均较HBM3E翻倍。每一代HBM均在数据速率、伪通道、密度与堆叠高度上实现提升。
HBM基本架构保持稳定，堆叠DRAM裸片包含多个独立通道（每通道2个伪通道），共享命令/地址总线并配备独立数据总线；基础裸片负责主机与DRAM间的命令与数据交互，通过微凸点PHY连接主机，并以3D TSV PHY互连堆栈；HBM立方体再通过高密度短距离点对点连接（HBM4具备2000个I/O）接入中介层。
与传统DDR相比，HBM在典型GPU配置下展现显著优势：
HBM的带宽可达约5.3 TB/s，约为DDR5（约300 GB/s，最高可达1 TB/s）的15至17倍；HBM3E的每裸片带宽约256 GB/s，约为DDR5（约8 GB/s）的32倍；HBM3E的每裸片存储体数为128，HBM4提升至256，远超DDR5的32；在顺序AI访问模式下，HBM的能效pJ/bit显著更低；HBM的典型容量配置约200 GB，约为多DIMM DDR方案的五分之一；同密度下HBM所需硅面积约为DDR的3倍，更多面积用于数据路径与供电。
HBM的主要局限在于热管理，问题核心不在总功耗，而在于功率密度，基础裸片因集中先进功能且随堆叠高度增加活动加剧，成为受影响最严重的区域。液冷与混合键合是现有缓解手段，美光正研发下一代先进封装方案。
具体包括融合键合技术，以支持单微米级分辨率连接、提升数据传输能力，并减少堆叠内介电层数量以改善热阻。公司同时探索针对内存优化的高速I/O与SerDes设计，并研究将堆叠扩展至16层以上，但仍需大量后续工作。
美光强调，HBM已成为驱动当前AI系统的不可或缺的基础，凭借精密堆叠、极致并行性与先进封装，提供了传统DDR难以匹敌的超高带宽、密度与能效。然而，内存墙、热约束、可靠性、芯片-封装交互以及堆叠高度持续增加所带来的复杂相互作用，要求行业持续进行跨功能创新。
随着AI工作负载演进及计算与内存界限进一步模糊，行业集体专业技术将是克服挑战、扩展容量与性能、并维持计算领域非凡进步的关键。美光将继续推进HBM及相关先进内存技术，以支撑AI的持续扩展需求。
小编将在第一时间分享更多相关最新动态和爆料，敬请关注。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
