把GPU本地存储利用起来！中美企业联手，打造超大规模AI存储解决方案

智东西
作者 ZeR0
编辑 漠影

智东西3月7日报道，美国数据周期架构企业Hammerspace周三宣布与北京AI Infra企业驿心科技（Yition.ai）达成战略合作，将Hammerspace成熟的高性能全局数据平台（对象与文件存储）与驿心科技降低AI存储成本、提升易用性的目标相结合，共同为云服务、高性能计算以及超大规模云服务提供商应对AI产生的海量非结构化数据，提供全新的存储与数据编排解决方案。

驿心科技（Yition.ai）成立于2023年9月，致力于让超大规模AI基础设施更加易于访问与高效运作，通过深度整合软硬件优化，大幅降低AI存储基础设施的成本和复杂性，凭借其在AI存储扩展方面的优势，助力支持下一代应用所需的海量、多样化数据。“通过与Hammerspace的合作，我们将充分整合深厚的软硬件优化经验，提供极具成本效益的高性能存储解决方案。”驿心科技CEO吴文昊说。

据Hammerspace亚洲区董事总经理Molly Presley分享，Hammerspace成立于2018年，在2021年发布产品，2023年产品已应用到Meta、Los Alamos国家实验室的复杂大规模应用环境中，2024年取得了10倍的业绩增长，2025年正式进入亚太市场。

Hammerspace的技术可让数据达到随处可实时访问的状态，大幅提升GPU利用率。其解决方案已在至少24000块GPU卡、1000个存储节点的Meta Llama 2、Llama 3大语言模型部署中得到验证。Meta首席工程师曾评价Hammerspace在数据可访问性的优势做到了业界无敌的地步。

双方的合作带来了多项重要创新，包括：1）通过软硬件优化、对象存储与超大规模NAS架构，实现经济高效的扩展；2）为多模态AI工作负载提供自动化数据编排；3）利用先进的数据自动化技术，实现数据清理、组织与合成；4）为垂直行业应用（如自动驾驶、机器人）提供无缝支持；5）高效利用资源，大幅降低资本支出。

此次中国合作正值Hammerspace亚洲公司加大市场投入之际。该公司在国内已拥有20多名员工，并计划进一步扩大规模。

Hammerspace创始人兼CEO David Flynn认为，无论是企业级AI、超大规模云服务，还是高性能计算，都面临着如何在不增加昂贵专业设施投入的前提下，实现高速数据输送至GPU的共同挑战。

整合Hammerspace的全局数据平台与驿心科技的高性价比AI存储解决方案，有助于消除数据瓶颈，最大化计算资源利用率，大幅简化操作流程。企业能够让GPU全速运行，无需团队耗费精力处理数据清理，从而更专注于创新而非基础设施维护。

与Hammerspace和驿心科技合作的客户，将受益于从部门级AI项目到大规模生产部署的成熟架构，同时保持最佳的成本效益。

驿心科技与Hammerspace合作应对分布式环境下海量多模态数据集管理的日益严峻挑战。

传统存储方法难以应对非结构化数据的爆炸式增长，也难以满足大型计算集群对高性能的要求。非结构化数据形成了大量数据孤岛，对各个系统的性能造成限制，云端数据涌入后缺乏云端的敏捷性，所有数据管理都需要人手工操作，可能会比较繁琐。

目前大语言模型仅利用了人类产生数据的约3%，而企业正日益大量采用视频、音频及其他富媒体格式，这类数据占据了当前互联网流量的97%。

大语言模型的发展进一步降低了AI部署成本。Hammerspace解决方案不仅扩大了AI所需分布式数据集的访问范围，降低了基础设施资本支出，同时还提供了满足现代AI工作负载严苛要求的高性能存储。

整体数据全局访问对AI大模型训练的场景、需要从各处抽取不同的预训练数据时，会非常有用。Hammerspace是一个全局数据管理平台，提供高性能数据通道，高效赋能大规模计算集群，实现统一数据源的数据编排，并以标准化方法灵活支持客户选用的计算、存储及网络基础设施。其有一套易上手的编程语言，可用于完成所有数据目的实现。

这是一个纯软件解决方案，软件非常独立，与硬件完全解耦。该平台对外提供NFS、SMB、S3多协议数据访问的接口，这些接口可访问同一个数据，底层可以是任何服务器或现有的NAS存储、对象存储、云存储，可将数据提供到任何AI或GPU集群所需的计算资源池，还能实现丰富的数据编排功能，包括数据保护、分层、审计等，满足非结构化数据在生命周期内所有的需求。

Hammerspace打造了一个全新NAS架构，既可以提供HPC并行文件系统的性能，又可以提供企业级NAS数据服务管理的功能，以更好服务于AI或高性能客户。

其最新Tier 0解决方案可解决本地盘孤立、数据不安全的问题，充分利用每一台GPU服务器闲置的本地硬盘作为Tier 0的存储，打造出一个全局命名空间的第0层，所有数据可在指定策略下在其生命周期中被存放在合理的位置，从而极大提升CheckPoint的效率，不需要花费额外的开销。

通过Hammerspace规则定义，可以很方便地定义Tier 1、Tier 2、Tier 3分层的存储层，从而更好地把数据提供给不同计算结点。同时，得益于元数据全局管理，不管计算资源分布在哪里，通过Hammerspace就能调度所有需要用到的数据，给计算结点使用。不像过去那样需要手动把这些数据整合，然后再喂给计算的集群。

Molly Presley谈道，数据同化的功能目前只有Hammerspace能实现，目的是快速整合各式不同存储类型的非结构化数据，使其变成一个数据集，即通过Hammerspace的一个文件系统去管理其他若干个文件系统。这样的好处是数据实体不需要移动，还是保留在原来的存储里，但通过元数据，可以让应用实时访问分布在不同存储类型的数据。Hammerspace还通过元数据的管理拓展了数据编排的功能，让数据在其生命周期内得到最理想状态的使用。

她分享了Meta选择与Hammerspace合作的几个原因：第一，Hammerspace不需要在现有计算集群上安装任何客户端程序，用的就是NFS原生的协议，早已内置在Linux内核里；第二，Hammerspace可提供线性增长的存储性能，比如Meta的存储节点规模已达1000+以上。

除了Meta外，Hammerspace还帮助在全球有6个站点的视觉特效公司Jellyfish Pictures把数据移动到更接近计算站点的位置，使其能更快完成渲染、剪辑等工作任务。跨地域的站点分布协同制作流程也建立在Hammerspace体系之上的，帮助他们节省了超过300万美元的云渲染成本。

由亚马逊创始人Jeff Bezos创办的航空航天公司蓝色起源（Blue Origin）覆盖了9个地点，借助Hammerspace做到实时数据跨地点流转，将数据访问速度提升了80%，通过AWS分级存储节省了超过100万美元的成本。

Molly Presley说，Hammerspace的目标之一是在中国达到更加有效及宽广化生态体系的建设，在国内会打造自己技术合作伙伴的体系，其产品日后也有计划上线到国内云服务商的应用市场，多家国内云服务巨头正在考虑使用到Hammerspace的技术。