HBF，再曝新进展

公众号记得加星标⭐️，第一时间看推送不会错过。

HBF采用多层3D NAND芯片堆叠技术，与HBM互补，用于GPU。

• HBF 的容量是 HBM 的十倍，但速度却比 DRAM 慢。

• GPU 将通过分层 HBM-HBF 内存访问更大的数据集

• HBF的写入操作受到限制，因此软件需要专注于读取操作。

人工智能工作负载的爆炸式增长给内存系统带来了前所未有的压力，迫使企业重新思考如何向加速器提供数据。

高带宽内存 (HBM) 已用作 GPU 的快速缓存，使AI 工具能够高效地读取和处理键值 (KV) 数据。

然而，HBM 价格昂贵、速度快、容量有限，而高带宽闪存 (HBF) 则以较慢的速度提供更大的容量。

HBF 如何与 HBM 互补

HBF 的设计允许GPU访问更广泛的数据集，同时限制写入次数（每个模块大约 100,000 次），这就需要软件优先处理读取操作而不是写入操作。

HBF 将与 HBM 集成到 AI 加速器附近，形成分层内存架构。

韩国科学技术院 (KAIST) 的金钟浩教授将 HBM 比作家里的书架，方便快速学习；而 HBF 则像一个图书馆，内容更丰富，但访问速度较慢。

金教授说：“GPU要执行AI推理，必须从HBM读取称为KV缓存的可变数据。然后，它会解释这些数据并逐字输出，我认为它会利用HBF来完成这项任务。”

“HBM速度很快，HBF速度很慢，但容量大约是HBM的10倍。然而，虽然HBF的读取次数没有限制，但写入次数却有限制，大约为10万次。因此，OpenAI或Google在编写程序时，需要调整软件结构，使其专注于读取操作。”

HBF 预计将随 HBM6 一起首次亮相，其中多个 HBM 堆栈在网络中互连，从而提高带宽和容量。

该概念设想未来的迭代产品（如 HBM7）可以作为“内存工厂”运行，数据可以直接从 HBF 进行处理，而无需通过传统的存储网络。

HBF 将多个 3D NAND 芯片垂直堆叠，类似于 HBM 将 DRAM 堆叠，并通过硅通孔 (TSV) 将它们连接起来。

单个 HBF 单元的容量可达 512GB，带宽可达 1.638TBps，远远超过标准 SSD NVMe PCIe 4.0 的速度。

SK 海力士和闪迪展示了图表，显示上层 NAND 层通过 TSV 连接到基础逻辑芯片，形成功能堆叠。

HBF 芯片原型需要精心制造，以避免底层出现翘曲，而额外的 NAND 堆叠会进一步增加 TSV 连接的复杂性。

三星电子和闪迪计划在未来 24 个月内将 HBF 集成到英伟达、AMD和谷歌的 AI 产品中。

SK海力士将于本月晚些时候发布原型产品，同时各公司也在通过一个联盟开展标准化工作。

HBF 的普及预计将在 HBM6 时代加速，铠侠（Kioxia）已经研发出一款采用 PCIe Gen 6 x8 接口、传输速率为 64Gbps 的 5TB HBF 模块原型。金教授预测，到 2038 年，HBF 市场规模可能会超过 HBM。

https://www.techradar.com/pro/samsung-and-sandisk-are-set-to-integrate-rival-hbf-technology-into-ai-products-from-nvidia-amd-and-google-within-24-months-and-thats-a-huge-deal

（来源：编译自techrader）

*免责声明：本文由作者原创。文章内容系作者个人观点，半导体行业观察转载仅为了传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持，如果有任何异议，欢迎联系半导体行业观察。

今天是《半导体行业观察》为您分享的第4297期内容，欢迎关注。

加星标⭐️第一时间看推送

求推荐