HBF 是什么？Sandisk 想给 AI 加一层“超大容量高速内存”

HBF 是什么？Sandisk 想给 AI 加一层“超大容量高速内存”

最近，Sandisk 提出了一项新技术：HBF（High Bandwidth Flash，高带宽闪存）。

名字听起来和 HBM 很像，但两者并不是一回事。

如果用一句话解释：

HBF 是想把 NAND 闪存做得更靠近 GPU，同时通过大量并行和先进封装，把带宽提高到 TB/s 级。

它的目标不是把 NAND 变成 HBM，而是在 HBM 和 SSD 之间增加一个新的存储层级。

为什么 AI 需要 HBF？

今天的大模型越来越大，尤其是 AI 推理，对内存提出了两个要求：

既要快，又要大。

HBM 很快，但容量有限，而且价格高；SSD 容量大、成本低，但离 GPU 太远，速度又不够。

Sandisk 认为，这中间存在一个空缺。

于是 HBF 想做到：

text

HBM
快，但容量较小、成本高

 ↓ HBF

 容量更大，同时保持很高带宽

 ↓ SSD

 容量最大，但速度较慢

Sandisk 给出的目标是，HBF 容量可以达到 HBM 的 8～16 倍，同时保持相近等级的带宽。

NAND 明明比 HBM 慢，HBF 为什么还能这么快？

这是 HBF 最有意思的地方。

它并不是让一颗 NAND 变得像 HBM 一样快。

而是让大量 NAND 同时工作。

可以把它想象成运货。

一辆卡车速度不够快怎么办？

HBF 的思路不是把卡车速度提高十倍，而是：

同时派出几十甚至上百辆卡车。

单颗 NAND 的访问延迟依然比较高，但如果很多 NAND die 同时读取数据，总带宽就可以做得非常高。

Sandisk 第一代 HBF 的目标规格是：

• 单颗 die：256Gb

• 16 层 die 堆叠

• 单个 HBF stack： 512GB

• 读取带宽： 1.6TB/s

而且 Sandisk 希望它的封装尺寸、功耗和堆叠高度接近 HBM4。

这就意味着，未来一颗 AI 芯片旁边，理论上可以放下数百 GB、甚至 TB 级的高速存储。

HBF 最适合做什么？

目前来看，HBF 最适合的场景不是 AI 训练，而是：

大模型推理中的模型权重

原因很简单。

模型权重有几个特点：

数据量巨大，而且主要是读取，很少修改。

这正好适合 NAND。

例如，一个 405B 参数模型，如果使用 8-bit 权重，光模型权重大约就需要 405GB。

这已经接近一颗 512GB HBF 的容量。

如果这些权重可以直接放在 GPU 附近的 HBF 里，就可能减少模型在 SSD、CPU 内存和 GPU 之间来回搬运。

对于超大模型和 MoE 模型，这一点尤其有吸引力。

但 HBF 不能简单理解成“HBM 替代品”

这里需要特别注意。

1.6TB/s 并不意味着 HBF 和 1.6TB/s 的 HBM 使用体验完全一样。

Sandisk 自己在材料中也明确提到：

HBF 相比 HBM，仍然存在更高的延迟和更大的 page size。

也就是说：

如果 GPU 连续读取大量模型权重，HBF 很有优势。

但如果 GPU 要频繁读取很多零散的小数据，HBM 仍然更合适。

所以比较合理的未来架构可能是：

text

GPU
 │
HBM      ← 最快、最热的数据
 │
HBF      ← 大模型权重、大容量数据
 │
SSD      ← 大规模存储

换句话说：

HBF 更像是补充 HBM，而不是消灭 HBM。

“性能只比 HBM 低 2.2%”怎么看？

Sandisk 的材料里有一个非常抢眼的数字：

HBF 在 Llama 3.1 405B 模型上的性能，只比“无限容量 HBM”低约 2.2%。

不过这个数字目前要谨慎理解。

因为 Sandisk 明确注明，这是基于内部测试和 simulation，测试的是 8-bit 权重读取场景，并不是已经量产的 HBF 在真实服务器中的完整 benchmark。

所以它目前证明的是：

对于某些以大量读取模型权重为主的 AI 推理场景，HBF 的高延迟有可能被大量并行读取隐藏掉。

这是一个很有意思的信号，但还不能直接等同于“实际性能和 HBM 一样”。

HBF 真正值得关注的是什么？

Sandisk 还规划了后续 HBF：

Gen 2 目标超过 2TB/s、1TB 容量；

Gen 3 目标达到 3.2TB/s、1.5TB 容量。

不过这些目前仍属于 roadmap。

因此，现在看 HBF，最值得关注的不是某个漂亮的 TB/s 数字，而是一个新的思路：

能不能在昂贵的 HBM 和便宜但较慢的 SSD 之间，再插入一层“大容量、高带宽”的存储？

如果 HBF 最终能够做到这一点，它可能不会取代 HBM，却可能改变 AI 芯片的内存结构。

对于未来几百 GB、甚至 TB 级的大模型来说，这或许比单纯把 HBM 做得更快，更有意义。

欢迎订阅付费课程：

如果文章对您有帮助，请酌情给博主打赏。博主联系方式（加V：tigerchip）