“超级周期”这个词,再次回到了存储半导体的叙事中心。
过去,内存价格起起伏伏,总被视为资本开支与库存的游戏。2021年,行业沉浸于短缺经济的繁荣之中,两年后,行业又旋即陷入“传统周期”低谷,三巨头的美光、三星与SK海力士,利润率无一不是跌破零点。
![]()
正是GPT的横空出世,重新定义了内存的价值。AI的性能,很大程度上去取决于它们存储数据的方式,访问数据的速度,以及可以储存的数据的规模。计算是能源的处理形式,但能源也越来越多地用于数据不断写入、读出与传输。彼时,为内存这一标准化的“大宗商品”带去新生的是HBM。
如果机械照搬四五年一轮回的“传统周期”,很快内存行业又将陷入低谷。但这一次,行业相信AI正在改写这条曲线。需求不再仅仅是短期库存回补,而是对计算、带宽及能效的结构性重塑。
卖方市场
整个AI都是芯片的卖方市场。硅谷巨头们陷入了第二波AI基建热潮,不仅GPU短缺,HBM同样短缺。SK海力士明年的订单也早已售罄。
面向数据中心的HBM,由堆叠的DRAM构建而成,创造了更高的价值。它与主要面向消费电子市场的DDR,存在产能分配矛盾。从Ampere到Blackwell Ultra,HBM不仅在AI基础设施硬件中的材料清单(BOM)中成本超过一半,而且还在继续增长;在BOM增长中,绝对和相对增长的最大部分,都来自HBM。因此,内存巨头们也更有动力将产能分配给它。
另一方面,消费电子也在接受AI的栖身;又撞上了PC换机周期。最近,苹果已经开始抢购三星明年二季度出货的LPDDR5X内存(低功耗版),以应对已经迟到的个人AI体验;小米干脆宣布上调新品售价。
尽管NAND领域与DRAM没有直接的产能分配矛盾,但它们往往在资本开支层面此消彼长。这也导致内存的“超级周期”从DRAM领域蔓延至NAND领域。另一方面,随着Veo 3与Sora 2将视频生成推向竞争前沿,AI对于大容量储存的需求,本身也在飞涨。上个月,闪迪率先宣布涨价,全系上调10%;这个月,三星和SK海力士更是提价高达30%。
市场普遍预计,这场由AI驱动的供应短缺,不只是供需错配的结果,将比以往任何一次“传统”的繁荣周期都更长、更强。
以内存为中心视角的AI基础设施
![]()
这张来自Seagate(希捷)的图示,清晰地展示了,在AI基础设施的整体架构中,各类存储(Storage )与内存(Memory)产品在不同环节中的分工与作用。
GPU或XPU等处理器,与HBM/DRAM紧密耦合,从而构建出强大的计算集群(Compute Cluster)。越靠近GPU,数据就越“热”,也就越需要更高的带宽与更低的延迟。最终,这些数据会流入一个基于HDD(机械硬盘)或SSD(固态硬盘)构建的网络化存储集群(Storage Cluster),“冷却”下来,用于长期保存。它们容量更大,成本更低,速度则会更慢。
在过去,大模型预训练是AI基础设施的主要需求。这是一个数据如何被存储、预处理、分发,以及模型权重如何更新的流程。庞大的训练数据集通常存放在存储集群,前端配备了一层SSD缓存,以提高读取效率。训练开始前,数据会被token化,以二进制格式写入SSD。在训练中,这些token会被分批(batch)加载到GPU,使得HBM得以充分利用;模型的权重与状态会周期性地保存为检查点(checkpoints),存放在NVMe(基于PCIe总线的高性能存储协议)SSD上,以便中断后快速恢复。
如今,推理已成为新的主角。它意味着模型权重、键值缓存(KV cache)以及RAG(检索增强生成)的不同数据访问模式。在这个过程中,模型参数不再频繁重写,也让不擅长此道的NAND获得新的机会。当查询触发时,模型权重必须加载到HBM。随后生成的键值矩阵(KV matrices),也会暂存在HBM中,用于后续注意力计算。如果KV缓存过大,就要先后分层卸载(offload)至DRAM与SSD中。RAG的向量数据库通常也存放在SSD上,在推理时快速检索并载入HBM。
容量、带宽与成本,构成了AI基础设施中内存技术的“不可能三角”。但市场仍试图突破边界,或同时提升三者上限,或在特定应用中强化某一项性能。这为即将到来的“超级周期” 注入了新的结构性增量与想象力。
定制HBM
不断扩展的大模型,对带宽的追求也没有尽头。越靠近计算核心的内存,就越成为性能提升的关键。被称为“HBM之父”的,已经将HBM的路线图,规划至 2038年。从HBM4到HBM8,每一代都在推高带宽、速度与容量上限,其中带宽的提升尤为显著。
![]()
如今,SK海力士、美光与三星已经进入HBM4的首轮竞速。三家公司已经先后向英伟达送样,HBM4将成为2026 年下一代AI基础设施与AI加速芯片的标准配置。
但正如AI芯片,HBM也开始讲诉同样的叙事。为了压缩能耗、减少延迟与信号损失,AI芯片厂商开始与存储厂深度共设计(co-design),推出定制化基底裸片(custom base die)。这意味着HBM堆叠底部的逻辑层不再通用,而是针对特定AI架构优化信号路径、电源分配与接口协议,从而实现更高的能效和带宽密度。这是一次革新架构层面的重大飞跃,彻底改变了HBM与AI加速器的集成方式。
今年6月,SK海力士同时锁定了英伟达、微软、博通,达成HBM4E定制合作;三星也在与博通、AMD谈判。英伟达已经拿出了自己的基础裸片的设计,预计2027年小规模量产。它现在不仅要自己掌握GPU、CPU与网络,还要掌握HBM,未来无论HBM由哪家制造,都必须兼容它的底层架构。亚马逊AWS高管直言,HBM定制化“可能会关闭其他玩家的大门”。
存算一体
如果HBM代表着“更大的带宽”,那么“更近的距离”也是业界开始思考大幅降低数据延迟的另一条路径。初创企业d-Matrix就认为,与其堆叠更多带宽,不如直接。
在今年夏天的 Hot Chips 2025 上,这家成立于2019年的企业,展示了这种理念的最新形态。它就是Pavehawk 架构,其核心是3D堆叠数字内存计算(3DIMC)技术,使用改进型SRAM单元,在内存内部直接执行计算。通过在垂直方向上将计算层与存储层堆叠,数据移动距离被压缩到极限。它还发布了存算一体的Corsair芯片,宣称带宽性能比HBM4高出10倍,能耗则降低90%。
![]()
到了OCP全球峰会2025上,d-Matrix更进一步,展示了机架级解决方案 SquadRack。它在性价比、能效、token生成速度上,分别提升了3倍、3倍、10倍。单机架可以运行千亿参数大模型;想要部署更大的模型,还可以通过以太网横向扩展。明年,这家公司还会拿出迭代后的Raptor架构。
推理工作负载正迁移至边缘与端侧。随着小模型性能逐步提升,存算一体能在延迟高度敏感的应用场景下找到自己的机会。侧重SRAM层面的创新,也是Groq等芯片初创企业努力突破的方向。
热数据扩展
随着推理负载不断扩大,压力也在从DARM向NAND传导。当上下文窗口与并发请求同时增长时,推理系统开始需要一种更廉价、更大容量的“缓冲层”。这让SSD成为了创新焦点。
当初,为了减轻HBM的压力,无论是英伟达的Dynamo Distributed KVCache Manager框架,还是华为的UCM技术,都在通过多级缓存算法,将访问压力逐层下沉到存储层。但HDD带宽实在太低,带宽性能(BW/TB)反而随着单盘容量持续提升而逐年下降。而主流TLC(三层单元)SSD容量稍显不足;一个单位SLC(单层单元)能储存1个比特(2种状态),到了量产级的最新主流技术QLC(四层单元)则能储存4个比特,相当于闪存容量翻了16倍。
![]()
今年年中,Meta宣布与PureStorage合作,将QLC SSD引入数据中心架构,以取代部分HDD和TLC SSD。Meta认为,尽管TLC在写入密集型环境中仍具优势,但QLC拥有更高密度、更好能效和更低的每TB成本,足以承担“热数据”的一部分任务。
HBF终局
如果说HBM代表着DRAM的堆叠形态,那么HBF则是NAND的堆叠形态。前者在内存层级持续追求更高带宽,后者则在存储层级探索更高带宽与更大容量。这种架构尤其适合向量数据库与AI智能体等场景,它们渴求内存容量的高速增长。
金教授相信,未来,HBF将左右整个业界的性能表现。力积电(Powerchip)也是这么想的,在上周的财报发布会上表示,HBF将成为未来的重要技术,能够满足文本、图像甚至视频模型带来的超大规模存储需求。Rubin CPX的出现已经证明,并非所有阶段都必须超高的内存带宽;是时候追求更高的内存容量了。
当前,HBM最大的短板正是容量。由于DRAM采用“1T1C”结构,即每个单元包含一个晶体管(Transistor)和一个电容(Capacitor),其扩展空间已经逼近物理极限,内存密度难以继续提升。相比之下,NAND采用单晶体管浮栅(floating gate)结构,单元间距更紧凑,便于扩展。基于NAND的架构可实现比HBM高8至16倍的存储密度,并在相近成本下提供可比的读取带宽。
今年8月,闪迪(SanDisk)与SK海力士签署了谅解备忘录(MoU),宣布共同开发HBF产品,首批样品预计将于2026年下半年面市。在本月的OCP大会上,SK海力士官宣了“AI-NAND B”系列,正是一款通过堆叠NAND闪存以扩大带宽的HBF。
AI时代,AI基础设施中的内存栈正在被逐步重构。大模型的未来,取决于它能装下多少数据,又能以多快的速度读写这些数据。市场在扩产HBM,满足周期性上行的需求,也在发明新的内存形态,创造新的增量市场。于是,内存或许真的迎来了属于自己的“超级周期”。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.