研究员|王晨
内存涨价潮来了,HBM龙头三星电子也坐不住了。
尽管Counterpoint Research数据中,三星HBM收入份额已从2025年第二季度的15%跃升至2026年第二季度的33%,与SK海力士的差距收窄至17个百分点,但它还在加强攻势。
一方面,三星决定把DDR5内存模组与SSD新增产能全部交由外包,腾出空间给HBM等先进封装产线;另一方面,荷兰AI芯片公司Euclyd于9月15日官宣的超2亿欧元的A轮融资中,领投方就有三星。
Euclyd目前正在开发一款名为Craftwerk的AI推理芯片。按照公司规划,单个Craftwerk系统级封装将包含16384个定制SIMD处理器,并配备1TB的UBM,即Ultra Bandwidth Memory。其宣称的聚合内存带宽最高可达8000TB/s,也就是8PB/s。
01 “内存墙”又厚了?
HBM几乎伴随AI加速器共同成长。
但相比之下,AI算力增长得更快。美光HBM设计架构研究员Raghu Sreeramaneni说,AI加速器的计算能力大约每两年增长3倍,HBM带宽同期增长却不到两倍。算力与内存带宽之间的差距仍在扩大。
与此同时,HBM也在接近工程极限。行业内,目前量产的HBM4以12层堆叠为主,三星、SK海力士和美光均在向16层推进。但堆叠层数越高,散热、晶圆翘曲、层间对准、测试以及良率控制就越困难。HBM4还将接口宽度从1024位扩大至2048位,在提高带宽的同时,也增加了底层逻辑芯片的面积与功耗。
换句话说,HBM一边在缓解“内存墙”,一边也在形成一堵新的墙。三星同时推进两条路线:扩产HBM4的同时,投资可能削弱传统HBM重要性的新型计算架构,比如押注Euclyd。
![]()
来源:三星电子官网
三星目前量产的HBM4单堆栈带宽最高约为3.3TB/s,容量为24GB至36GB。3.3TB/s衡量的是一颗HBM4堆栈向外传输数据的物理带宽;Euclyd所说的8PB/s,是整个Craftwerk封装内部大量局部通道并行工作的聚合带宽。后者并不意味着Euclyd制造出了一颗速度比HBM4快数千倍的DRAM。
如此悬殊的数字,来自计算架构的改变。现有GPU通常采用一颗大型计算芯片搭配数颗HBM的设计。模型权重、激活值和KV Cache需要不断从HBM送往GPU。在大模型推理的Decode阶段,每生成一个新Token,都需要反复读取大量模型参数和缓存数据。
此时瓶颈往往不是GPU缺少计算能力,而是内存无法及时把数据送到计算单元。一旦数据供应中断,昂贵的计算单元就只能等待。
Euclyd倒没有继续沿着“让一颗大型GPU连接更快内存”的思路前进,而是将计算拆分到大量规模较小的处理单元,并让计算单元与所需数据尽可能靠近。不同处理单元可以同时访问各自附近的内存,减少所有数据争抢同一条通道的情况,尽量避免不必要的搬运。
当然,Craftwerk距离商业化仍有相当长的距离。Euclyd目前披露的是产品规划,8PB/s带宽以及相关性能数据仍主要是公司预测,尚未经过商业部署验证。
三星的投资不能证明这条路线一定能够成功,却释放出了一个明确信号:即使是HBM的主要生产商,也不认为不断增加HBM带宽和堆叠层数,是解决“内存墙”的唯一答案。
02 与其搬得更快,不如少搬数据
HBM仍会继续增长,但它正从唯一答案变成答案之一。
今年3月,被称为“HBM之父”的金正浩教授公开称,HBM过去解决的主要是带宽问题,而随着AI从训练走向大规模推理,容量也开始成为核心瓶颈,内存架构需要从系统层面重新设计。
三星投资Euclyd,也可以放在这一背景下理解。它并不准备停产HBM。事实上,三星预计在今年将年HBM销售额达到2025年的三倍以上。它真正押注的是:未来决定AI系统效率的,不再只是某一颗内存的带宽,而是计算、内存、封装和软件能否被共同设计。
SK海力士和美光也在继续提高HBM的带宽、容量和堆叠层数。至少在未来数年,HBM仍会是高端AI训练和推理系统的核心部件。
只不过,HBM厂商的竞争目标在发生变化。过去比的是谁能制造更快、更高的内存;现在比的是谁能让数据少走一些路。
SK海力士展示的Customized HBM,就是如此。定制HBM试图在Base Die中加入更多逻辑能力,把数据预处理、格式转换等原本由GPU承担的工作下沉到内存侧。处理完成后,再把体积更小、GPU真正需要的结果送往计算单元。
三星的zHBM走得更远。现有HBM与GPU通常并排放置在硅中介层上,数据仍需经过底层逻辑芯片和中介层。zHBM计划将HBM直接垂直堆叠在AI加速器上方,通过晶圆级集成和铜混合键合缩短连接距离,让HBM从一个相对标准化的零部件,转变为AI芯片架构的一部分。
![]()
来源:高通官网
AI加速器厂商也在做类似尝试。高通在2026年6月公布了HBC,即High Bandwidth Compute。其核心同样是在内存附近增加计算能力,让部分带宽需求高、计算强度却不高的任务在数据所在地完成。
经过预处理后,需要送往主加速器的数据量随之减少。高通因此使用“有效内存带宽”描述这套系统:搭载第一代HBC的Dragonfly AI250,单卡有效内存带宽可达133TB/s,内存容量为768GB。
另一条路线——用较低的带宽换取更大容量的代表是英特尔,面向AI推理设计的Crescent Island没有采用HBM,而是使用LPDDR5X。其参考设计配备160GB内存,合作伙伴方案最高可以扩展至480GB。
英特尔的判断是,随着并行Agent增加、上下文窗口变长,需要长期留在显存中的模型权重和KV Cache越来越多。在一些推理负载中,系统最先遇到的可能不是带宽不足,而是显存容量不够。
一旦本地显存无法容纳数据,系统就必须从主存或远端存储反复调取,付出更高的延迟和能耗。此时,容量更大、价格和功耗更低的LPDDR,可能比HBM更合适。英特尔计划在2026年下半年向客户提供Crescent Island样品。
Groq走向另一个极端。第一代GroqChip没有采用HBM,而是在芯片内部集成约230MB SRAM,片上带宽最高达到80TB/s。由于模型参数直接保存在计算芯片内部,Groq能够避开频繁访问片外内存带来的延迟。不过,SRAM容量小、成本高。一颗芯片无法容纳大模型,模型必须被拆分到大量LPU上,再依靠确定性的编译和互连机制完成跨芯片推理。
这些方案看似差别巨大,背后的逻辑却十分接近:与其不断拓宽处理器与内存之间的道路,不如重新安排计算和数据的位置。
显然,不会有一种内存适合所有AI负载。训练需要极高的计算密度和持续带宽,HBM依然不可替代。但推理场景更加复杂:Decode可能受限于带宽,长上下文和多Agent可能受限于容量,大规模商业部署还需要考虑功耗、成本以及每瓦能够生成多少Token。HBM不会消失,但未来的HBM,可能越来越不像一颗单纯的内存。
编辑|邱慧
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.