AI数据湖推动存储需求迎来新变革

AI发展的迅猛步伐正在挑战数据中心的设计与运营范式。超大规模计算的两大支柱——智能处理器与为其供给数据的内存——也不例外。超大规模运营商已在GPU集群和高带宽内存上投入巨资，以推动AI模型的训练与推理。尽管这些投资带来了历史性的性能提升，但也暴露出一道设计裂痕，数据中心架构师们正竭力弥合这一缺口。

当今最紧迫的AI计算挑战之一，已不再取决于处理器周期的加速，而在于如何高效、稳定且大规模地为多种计算引擎提供数据服务。

这是因为AI工作负载正在重新定义数据中心内数据的角色。过去，数据往往是间歇性访问或以可预测的批量方式被调用，而如今，数据在训练、推理以及复杂的智能体工作流中被持续消费、调用与重组。因此，曾经只用于存放原始或半结构化数据并进行少量离线分析的数据湖及其他存储系统，现在被要求承担高吞吐量的数据交付平台的职能。

"当今最紧迫的AI计算挑战之一，已不再取决于处理器周期的加速，而在于如何高效、稳定且大规模地为多种计算引擎提供数据服务。"

对于负责预算、基础设施规划和长期路线图的数据中心管理者而言，这一转变带来了一系列全新的权衡取舍。

AI数据湖与数据属性的变化

长期以来，数据中心依赖集中化、具有成本效益的存储库，来存放从文本、图像到视频内容及物理传感器输出等海量原始数据。这些存储库，即数据湖，通常在需要时被访问，主要用于批量导向的分析。

但AI改变了数据湖模式的范围与行为方式。

AI训练工作负载会反复访问大规模数据集，往往跨越分布式集群进行。AI推理则进一步加码，会产生超越单次查询范畴的数据访问事件。看似简单的一次请求，可能会触发数十个底层操作，每个操作都需要访问存储的数据、中间结果或上下文信息。

因此，AI数据湖不仅仅用于存储数据，它们还需要通过支持多条管道的并发访问以及在持续负载下的快速数据注入，来实现持续且高速的数据输出。

"从实际角度来看，AI数据湖已不再是被动的存储库，而是主动、持久且日益成为整体系统性能核心的组成部分。"

从实际角度来看，AI数据湖已不再是被动的存储库，而是主动、持久且日益成为整体系统性能核心的组成部分。

为何传统存储方法难以为继

超大规模数据中心面临的问题在于，其存储架构并非为AI推理工作负载设计。传统数据湖假设在任意时刻只有一小部分存储数据会被访问，能够容忍延迟，且其优化目标是每TB成本而非每个工作负载的吞吐量。这种模式在报表与分析场景下运行良好，但在持续、并行的访问模式下则力不从心。

与此同时，GPU集群的构建与运营成本高昂。它们消耗大量电力，并需要先进的冷却解决方案。简单地增加计算能力或基于DRAM的高带宽内存并不总是可行的。电力预算、空间以及更换周期都带来了物理与经济上的限制。

"超大规模数据中心面临的问题在于，其存储架构并非为AI推理工作负载设计。"

这种压力也在重塑一些云服务商构建存储服务与服务等级协议（SLA）的方式。早在生成式AI兴起之前，超大规模云服务商就已开始根据延迟、吞吐量、IOPS以及数据可用性保证，将客户划分为不同的存储性能层级。成本较低的归档与容量层级强调成本与规模，而高端层级则日益依赖全闪存基础设施，以提供更快的响应时间和可预测的性能。AI正在加速这一转变。随着推理工作负载需要近乎持续地访问海量数据集，越来越多的客户被推向能够在无瓶颈情况下维持并行数据检索的高性能存储层级。

QLC NAND与超高容量闪存理念

这些挑战要求采用一种不同的存储方式，在规模、性能与效率之间取得平衡。

四层单元（QLC）NAND闪存通过每个单元编码四个比特，提升了存储密度，使其容量远高于其他NAND配置。架构与制造工艺的进步已将企业级SSD容量推向新高度，近期甚至已出现专为AI工作负载打造的256TB NVMe驱动器演示。

这些超高容量SSD支持数据密集型应用，如AI数据湖，在这类应用中规模与持续吞吐量同样至关重要。通过提升单设备容量，数据中心能够用更少的驱动器存储更多数据，从而缩减存储基础设施的物理占地面积。

其优势不仅限于空间节省。更高的密度意味着更高的能效，以每瓦特对应的TB数来衡量。这是超大规模环境中的一个关键考量因素，因为能耗是其中的主要制约条件。

这些改进也反映出闪存设计理念的更广泛转变。NAND闪存不再仅仅作为通用存储介质，而是针对AI场景下持续访问模式与海量数据集占主导的特定需求而设计。

为AI规模重新思考SSD架构

随着单驱动器容量达到数百TB级别，新的工程挑战也随之出现。其中最重要的挑战之一，是如何在长期使用中高效管理数据。

传统SSD设计依赖后台进程来回收与重组数据，以维持性能与寿命。在极高容量下，若缺乏精细管理，这些后台进程可能会变得低效。频繁重写大量数据既不实际也不节能，还可能缩短驱动器的使用寿命。

为解决这一问题，更新的架构设计正着力于减少不必要的数据搬移。通过重新思考I/O操作的处理方式并优化数据放置策略，可以最大限度地减少写入放大，提升系统整体效率。

这些变化看似微小，但在超大规模场景下，它们将转化为可观的成本节约与更快的价值实现速度。

对数据中心战略的启示

对数据中心管理者而言，AI数据湖与超高容量闪存的兴起，提供了一条在不成比例增加成本、能耗或物理占地面积的前提下，扩展存储规模并支撑持续AI工作负载的路径。

在实践中，这意味着采用更加分层的存储方式：高性能层级靠近计算层部署，同时基于QLC的高容量系统作为数据湖的基础，构建一种既能支撑当前工作负载、又能满足未来需求的更均衡架构。

无论采用哪种内存技术、应用于何处，AI数据湖的规模与重要性都将持续增长。随着模型日益复杂、推理工作负载不断扩大，存储系统所承受的压力也只会不断增加。

"通过实现高密度、高效率、高吞吐量的存储，QLC NAND为那些寻求扩展AI能力的组织提供了一条切实可行的道路。"

与此同时，电力、空间与成本方面的限制，将制约粗放式扩容方式的有效性。数据中心设计的未来，取决于能够更紧密整合计算、内存与存储的均衡架构。

高容量QLC NAND闪存有望在这一演进过程中发挥重要作用。通过实现高密度、高效率、高吞吐量的存储，QLC NAND为那些寻求扩展AI能力的组织提供了一条切实可行的道路。