诺奖院士邀请｜郑纬民院士：内存型长记忆存储，AI推理的新趋势

• 中国超算泰斗
• 中国工程院院士
• 首位中国存储终身成就奖获得者
• 清华大学计算机科学与技术系教授、博士生导师
• 清华大学高性能计算研究所所长、清华大学深圳研究院云计算与容灾实验室主任
• 中国计算机学会前理事长
• 中国计算机学会学术工会主任
• 首位担任SOSP 程序委员会委员的亚洲学者

在当今人工智能技术迅猛发展的背景下，存储系统作为支撑AI技术运行的基础设施，其重要性日益凸显。近日，在中国电子工业标准化技术协会主办的数据存储专业委员会成立大会上，中国工程院院士、清华大学教授郑纬民发表了一场题为“AI存储是人工智能大模型的关键基座”的演讲，深入探讨了内存型长记忆存储以存换算的理念，并指出这是AI推理的新趋势。

人工智能大模型时代的特点

郑纬民院士指出，人工智能进入大模型时代有两个显著特点：一是基础大模型的发展进入多模态时代，从单纯的文本应用扩展到图像、视频等多个领域；二是这些大模型在金融、医疗、智能制造等行业已经显示出了实际的应用价值。这两个特点不仅推动了AI技术的快速发展，也对存储系统提出了新的挑战和要求。

存储系统在AI大模型中的应用与挑战

郑纬民院士详细分析了大模型训练和推理中存储面临的四个主要环节：

数据获取：大模型训练需要海量的原始语料数据，这些数据的存储要求具备低延迟和高可扩展能力。随着应用范围的扩大，大量的小文件格式数据会增加文件系统的负担，存储系统的设计需要从根本上适应这一变化。

数据预处理：原始数据质量参差不齐，许多数据重复且质量低下，这不仅消耗了大量的存储资源，还延长了训练时间。例如，ChatGPT-4这样的高性能大模型训练中，数据预处理可能占据训练时间的一半以上，这使得存储性能的提升尤为重要。

模型训练：现代AI集群通常由大量硬件组成，随着规模的扩大，系统的可靠性难以保障。长时间的训练过程中难免会出现错误，导致训练的中断。因此，高性能的存储系统对于实现快速的断点续训至关重要。华为与清华大学MADSys实验室合作开发的高性能AI存储系统在国际权威的MLPerf Storage基准评测中表现优异，树立了新的性能标杆。

模型推理：推理过程中对存储的负载更为直接，尤其是在上下文窗口不断扩大的情况下，模型参数及缓存（KV-Cache）所需的存储空间显著增加。国内优质大模型应用Kimi与清华大学MADSys实验室联合推出的Mooncake分离式推理架构，通过管理共享的KV-Cache，采用“以存换算”的思路，提高了系统的吞吐量。

内存型长记忆存储的优势与前景

内存型长记忆存储结合了传统存储和计算能力，通过“以存换算”的方式，有望大幅提升大模型在训练和推理过程中的效率。这一新型存储架构具有以下优势：

高效管理信息：内存型长记忆存储能够高效管理和存储大量信息，尤其是在处理多模态数据（文字、图像、视频等）时表现出色。

支持海量小文件：该系统设计上能够支持海量小文件的快速读写，并且具有低延迟和高可扩展能力，这对于训练需要数百亿小文件的大型AI模型至关重要。

提升预处理效率：高性能的内存型长记忆存储系统有望通过快速存取提升数据预处理的效率，从而加速训练过程，缩短AI模型上市的时间。

改善用户体验：在游戏、视频剪辑及其他日常应用中，内存型长记忆存储的快速响应及高效率将直接改善用户的使用感受。

未来，内存型长记忆存储不仅将改变AI模型的训练和推理方式，还可能重新定义整个数据存储行业的发展方向。其“以存换算”的理念将促使更多技术公司进行改革，同时也激励行业内其他企业不断创新与突破。