HBM，前所未见

公众号记得加星标⭐️，第一时间看推送不会错过。

来源 ：内容 编译自 eetjp 。

随着人工智能驱动的数据增长呈指数级增长，高带宽内存 (HBM) 的采用也在激增。

然而，HBM 仍然是一种高端内存技术，且不易实现。随着 NVIDIA 加速 GPU 开发，标准也难以跟上。这意味着，定制化对于 HBM 能否继续受益于 GPU 和加速器的广泛应用至关重要。

根据市场研究公司 Dell'Oro Group 的最新报告，由于人工智能的持续扩展，包括对 HBM、加速器和网络接口卡 (NiC) 的需求激增，服务器和存储组件市场预计在 2025 年第一季度同比增长 62%。

Dell'Oro 高级研究总监 Baron Fung 在接受采访时表示，“NVIDIA 的 Blackwell GPU 以及各大云服务提供商部署的定制加速器正在推动 AI 加速器市场的发展。”

根据Dell'Oro《数据中心IT半导体和组件季度报告》，SK海力士以64%的销售份额占据HBM市场的首位，其次是三星电子（以下简称三星）和美光科技（以下简称美光）。

Fung 表示：“由于训练专用 GPU 的增长以及 AI 服务器和加速器的采用率不断提高，HBM 的采用将在 2022 年开始大幅扩展。”

Fung指出：“过去几年，AI 服务器的销售额占整个市场的比重从 20% 增长到 60% 左右，推动了 GPU 性能和 HBM 容量的指数级增长。这种增长给 HBM 的供应带来了压力，供应商至少提前一年就被预订一空。”

SK 海力士和美光在 HBM 领域处于领先地位，其次是三星

三星一直难以满足 HBM 芯片供应的需求，这使得 SK 海力士和美光取得了进展，美光计划于 2026 年开始大规模生产具有 2048 位接口的下一代 HBM HBM4。

美光计划在未来几年推出“HBM4E”，提供可定制的基础芯片选项。该公司表示，其HBM收入将在2025财年第三季度环比增长约50%，年化营收将达到60亿美元。

Fung表示：“关税造成的不确定性增加将给供应链带来层层复杂性，从而影响 HBM 的价格。”

对于高性能计算 (HPC) 的需求，HBM 有很多现成的替代方案。Fung 表示：“一些廉价 GPU 使用 GDDR，但无法获得 HBM 及其紧密集成 GPU 所提供的高速互连。” “其他选择包括用于训练模型存储的低延迟 DRAM 和 SSD，但为了实现顶级性能和延迟，HBM 至关重要。”

Fung表示：“随着 GPU 制造商为 HBM 供应商制定路线图，且供应受到限制，三大主要参与者的市场表现强劲，其中 SK 海力士领先，其次是三星和美光。”

对内存技术周期的需求比以往任何时候都更短

HBM 制造商面临的挑战是，GPU 供应商正在将新技术发布的频率加快到每年一次，这比内存标准的典型刷新周期要快得多。

Advantest 高级总监兼内存产品营销经理 Jin Yokoyama 向《EE Times》表示：“传统内存技术的转型通常需要四到五年时间，而 HBM 现在每两到两年半就会更新换代一次，这加快了创新的步伐。用于数据中心和加速器的 HBM 正在经历快速增长和技术变革。”

Yokoyama 表示：“HBM 晶圆产量正在快速增长，其速度甚至超过了 DDR5 等现有 DRAM 的产量。传统内存技术每四到五年就会更新换代一次，而 HBM 现在每两到两年半就会经历一次换代。这种快速的演变给像爱德万测试这样的测试设备制造商带来了重大挑战：他们必须跟上更快的产品周期和日益复杂的设计要求。”

定制实现变得越来越普遍

“测试要求也因制造商而异。一个关键挑战是，数据带宽和设备容量的增加推动了开发更快的测试解决方案和先进的散热管理的需求，”Yokoyama说。

高级 AI/SoC（片上系统）用例越来越多地采用定制实现，这进一步增加了 HBM 测试的复杂性。

此前，HBM 标准由 JEDEC 定义，供应商同时生产内存核心和基本逻辑晶圆。然而，随着 HBM4 的到来，SoC 制造商和超大规模计算厂商将需要定制化的 HBM 功能，并对其进行优化以匹配其自有的 AI ASIC 或定制 SoC，从而实现最佳性能。

“顺应这一趋势，现在越来越多的逻辑/控制器功能被直接内置到HBM基础逻辑芯片中。基础逻辑芯片的制造正在转向台积电等采用先进3nm/5nm工艺的代工厂。这些先进工艺需要更先进、更灵活的测试流程。”横山说道。

Marvell Technology 产品营销高级总监 Khurram Malik 表示：“来自机器人、传感器和其他物联网边缘设备的数据呈指数级增长，正在颠覆 HBM 传统的线性发展模式。JEDEC 发布 HBM3 规范不到三年，HBM4E 就已上市。”

Marvell 正与包括美光、三星和 SK 海力士在内的所有主要 HBM 供应商合作，共同开发定制 HBM 计算架构。Malik 解释说：“该架构将于 2024 年下半年发布，它将集成先进的 2.5D 封装技术和定制接口，从而支持为 AI 加速器 (xPU) 设计专门定制的 HBM 系统。”

Malik 表示，HBM 内存带宽和 IO 数量每代都会翻一番，封装也变得越来越密集和复杂。像 HBM4 和 HBM5 这样的先进技术，其 I/O 数量将从 2,000 个增加到 4,000 个，在有限的空间内容纳这些高带宽连接需要创新的封装技术，但业内很难达成共识。

“NVIDIA 不仅正在缩短产品开发周期，每年发布新的 GPU，而且还计划将内存带宽和容量翻一番，”Malik 解释道。“然而，JEDEC 标准的制定需要时间，因此 NVIDIA 选择了定制解决方案。”

HBM5 面临的挑战

Malik 指出，HBM5 由于架构复杂（包括内存和控制器布局），给标准化和普及带来了挑战。由于工作负载需要每个计算芯片拥有更多 HBM 堆栈，因此对于设计下一代 AI 和计算硬件解决方案的客户来说，在高内存带宽和更高容量之间取得平衡至关重要。

“人工智能导致参数容量激增，”马利克说道。“顶级人工智能模型发展迅速，参数数量从数百万增加到数十亿。预计单个模型将处理多达一万亿个参数，而这些参数必须保存在内存中。”

Marvell 的定制 HBM 架构可将内存容量提升 33%，计算空间扩展高达 25%，并将内存接口功耗降低 70%，这对于运行 AI 工作负载的现代数据中心尤为重要。优化的接口减少了每个芯片所需的硅片面积，并支持将 HBM 支持逻辑集成到基础芯片中。

“Marvell 在其 HBM5 架构中提出的方案是使用芯片间互连来加速连接并释放更多空间，”Malik 说道。Marvell 的架构与 JEDEC 标准无关，需要新的控制器和可定制的物理接口、新的芯片间接口以及改进的基于 HBM 的芯片。

Malik表示：“超大规模计算厂商和像 NVIDIA 这样的 GPU 制造商正专注于带宽和计算需求，并利用自有的 HBM 架构加速创新。随着行业全速发展，他们往往领先于那些更新缓慢的标准机构。”

https://eetimes.itmedia.co.jp/ee/articles/2509/03/news082_3.html

*免责声明：本文由作者原创。文章内容系作者个人观点，半导体行业观察转载仅为了传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持，如果有任何异议，欢迎联系半导体行业观察。

今天是《半导体行业观察》为您分享的第4149期内容，欢迎关注。

加星标⭐️第一时间看推送，小号防走丢

求推荐