希捷开始研发NVMe机械硬盘 以实现经济高效的AI工作负载

硬盘技术可以追溯到 20 世纪 50 年代，至今仍依赖于数十年前的 I/O 标准。希捷计划将硬盘带入基于 PCIe 的未来——这一转变是由人工智能训练和推理对更快存储的需求不断增长所推动的，尤其是在大量耗能的数据中心。

希捷最近推出了一种新颖的 HDD 开发和演进方法，将磁性存储和 NVMe 结合在一起，形成了一种新的存储技术。该制造商希望通过提供比固态硬盘便宜得多的解决方案来简化和改善 AI 公司的数据存储。

硬盘驱动器永远无法达到与 SSD 相同的性能水平，但希捷表示可以改进它们，以便在下一代数据中心更有效地使用。该公司正在通过为高容量硬盘驱动器添加 NVMe 兼容性来开创一种“变革性”解决方案。

希捷解释说，通过采用基于 PCIe 的协议，NVMe 硬盘可以消除与传统 SAS/SATA 接口、主机总线适配器 (HBA) 和不适合 AI 工作负载的控制器架构绑定的专有芯片的需求。新协议有望实现高吞吐量和低延迟，尽管很难想象未来硬盘驱动器以每秒 GB 的速度移动数据。

这些 NVMe 硬盘没有 HBA 或自定义控制器，但它们将保留相同的 SAS/SATA 连接器以提高兼容性。新技术将简化 AI 存储解决方案的部署，而单个 NVMe 软件驱动程序堆栈应该可以使 HDD 和 SSD 更有效地协同工作。

希捷还宣称，它能够将 NVMe 驱动器直接连接到 GPU，从而绕过传统数据通过 CPU 路由造成的瓶颈。新架构效率更高，因此 AI 模型可以处理海量数据集，同时减少 I/O 延迟。此外，新颖的 NVMe over Fabrics (NVMe-oF) 技术应该将 HDD 带入完全分布式、可扩展的存储架构。

希捷通过定制 HDD、NVMe SSD、NVIDIA BlueField 数据处理单元 (DPU) 和 AIStore 软件之间的概念验证集成测试了 NVMe 硬盘的潜在影响。虽然该公司尚未提供有关性能的具体指标，但它声称新平台为 AI 工作流程提供了一些关键优势。通过 DPU 进行的直接 GPU 到存储通信减少了与存储相关的延迟，同时消除了更简单的系统架构中传统的 SAS/SATA 开销。

此外，AIStore 软件有助于优化数据缓存，从而提高 AI 模型训练性能，而 NVMe-oF 集成则证明了其在多机架存储集群中的实用性。希捷表示，NVMe HDD 每 TB 的碳效率是 SSD 的 10 倍，功耗效率是 SSD 的 4 倍，每 TB 的成本“显著降低”。该公司目前正致力于扩展其基于 HAMR 的 Mozaic 3+ 平台并开发更高容量的硬盘驱动器，同时与合作伙伴一起探索 NVMe 存储解决方案。