大模型训练和推理跑得越来越快,存储却常常拖后腿。Checkpoint 写入与恢复要在短时间内集中完成大规模数据读写,单个训练任务的存储带宽需求已从数十 GB/s 提升至 TB/s 级;而短期内不再访问的原始数据,对性能的要求其实并不高。
![]()
火山引擎弹性文件存储(Elastic File Storage,简称 EFS)给出的思路是数据流动:让数据按业务需要,在高性能文件存储与低成本对象存储(Torch Object Storage,简称 TOS)之间流转。
三类挑战摆在面前
大模型训练和推理当前主要面临三类问题:
- 性能需求多样化:Checkpoint 写入与恢复需要短时间集中完成大规模读写,带宽需求已达 TB/s 级,而冷数据对性能要求较低。
- 冷数据成本挑战:数据规模增长推高了高性能文件存储的容量需求与成本,部分数据还同时保存在文件存储和对象存储中,进一步加重负担。
- 复杂的数据生命周期管理:数据冷热特征不断变化,仅靠人工调度难以及时响应,人力成本也高。
三条路径,各有取舍
围绕容量成本与文件访问性能,常见方案有三个切入点:计算端缓存加速、在文件存储内部做冷热分层、在文件与对象之间建立数据流动。它们并非互斥的产品路线,也不是从低到高的三个层级,选择哪条路径取决于数据已有的存放方式、应用接口以及团队可承担的管理工作。
计算端缓存加速把热点数据放在计算节点本地或共享缓存中,减少对远端存储的重复读取。部分方案支持缓存写入后异步回写持久化存储,但在持久化完成前若缓存故障且缺少有效保护,可能存在数据丢失风险。部分基于对象存储的文件系统或缓存方案采用专有分块与元数据组织,后端对象无法直接作为原始文件使用,限制了对象接口访问及既有数据生态的复用。
文件存储内部做冷热分层,是把不同访问需求的数据分别放在高性能或低成本介质上,应用使用统一 POSIX 文件接口,主要解决同一文件存储内的数据访问与介质成本问题。
数据流动则打通对象存储与文件存储的访问链路:数据长期保存在对象存储中,业务通过 POSIX 文件接口访问所需内容;任务开始前按需预热,训练产生的新数据和结果沉降回对象存储,不再需要长期保留在高性能存储中的文件数据则通过淘汰释放空间。
EFS 数据流动怎么运转
EFS 是面向 AI 与云原生的高性能文件存储,容量与性能可按业务规模弹性调整。EFS 数据流动将高性能文件访问、数据生命周期管理与业务调度结合起来,并与 TOS 协同:需要使用的数据支持预热、按需加载或回源至 EFS,业务产生的结果可沉降至 TOS,冷数据则按策略释放 EFS 中的存储空间。
统一访问入口方面,EFS 支持数据按需加载和元数据按需加载(镜像回源),可将多个 TOS 桶中的海量数据组织为一个支持 POSIX 语义的高性能文件目录树。这打破了传统文件访问依赖数据全量搬迁的限制,形成“数据长期保存在 TOS,业务通过文件接口按需访问”的新范式。对训练平台而言,可以继续以文件方式读取样本和 Checkpoint,数据平台仍可在 TOS 侧组织原始数据、标注数据和历史结果。
自动生命周期管理方面,EFS 数据流动支持根据文件的最后访问时间(atime)进行数据淘汰:策略内的文件 atime 超过指定时间,系统会先将数据沉降至 TOS 保证完整性,再根据策略淘汰 EFS 中的数据或元数据,释放高性能存储空间。业务下次读取被淘汰的文件和 TOS 新写入的文件时,EFS 会按需加载 TOS 中的内容,不必先把整批数据全部预热。
双向数据流动方面,业务可通过文件接口或对象接口读写同一份数据。在 EFS 中创建或修改文件,策略会自动将变化同步至 TOS;在 TOS 上传文件,策略也会自动将文件同步至 EFS。EFS 还支持可选配置“同步删除”:任一侧删除文件,另一侧关联的数据也会同步删除。训练任务可通过数据回源读取 TOS 中的样本,下游也可通过对象接口回源读取 EFS 中产生的 Checkpoint。
吞吐与调度方面,EFS 支持单实例百 GB/s 级数据流动能力。EFS 将业务 IO 与数据流动 IO 队列隔离,并按 QoS 配置调度:两者都繁忙时,数据流动按默认带宽比例受控运行,避免批量预热或沉降争抢业务带宽;业务负载降低后,流动任务可借用闲置带宽;流动任务空闲时,业务也可使用实例的全部剩余带宽。
事件通知方面,EFS 支持数据流动任务的事件通知,自动将任务执行状态传递给业务调度系统。样本预热完成后,调度系统可自动启动训练任务;Checkpoint 导出成功后,可自动继续下游归档校验或分析。
落到业务上的四个变化
- 业务运行更灵活:训练、推理、分析和批处理通过 EFS 获得高性能、标准 POSIX 语义的文件访问;数据平台继续通过对象存储 S3 接口管理 TOS 中的原始数据和归档结果,不必为不同系统反复导入导出。
- 冷数据成本可控:训练结束后暂不再使用的样本和历史结果无需长期占用高性能存储,EFS 按策略先沉降至 TOS,再淘汰文件内容、保留元数据。长期保存使用低成本存储,活跃数据使用高性能存储,整体存储成本最高可降低 80%。
- 性能资源按优先级使用:通过细粒度 QoS,训练、推理繁忙时预热和沉降受控运行;业务负载降低时流动任务借用闲置带宽;流动任务空闲时业务可充分使用可用带宽。
- 流程编排更省心:事件通知把数据流动任务状态交给业务调度系统,数据是否就绪、结果是否保存成为业务流程可直接使用的调度信号,减少反复确认与人工交接。
EFS 数据流动的价值不在于单独提供一个数据导入导出的工具,而在于把 TOS、高性能文件存储和业务调度组织成一条可持续运行的数据链路:长期数据放在 TOS 中,业务需要时以 POSIX 语义高性能访问,阶段结束后再回到更经济、更适合长期保存的位置。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.