北京
大模型越做越大，显存却始终是那道迈不过去的坎。美光正在尝试一种新思路：把NAND闪存直接搬到GPU旁边，而不是像传统方案那样，让数据在遥远的存储池和计算核心之间来回奔波。
据DigiTimes报道，美光正在研究高耐久性NAND闪存模块，计划将其部署在距离GPU更近的位置。这种被暂称为“近GPU NAND”（near-GPU NAND）的方案，核心思路是在存储密度和耐久性之间寻找一个平衡点，专门用来处理那些对延迟和带宽要求不那么苛刻的工作负载。
它和传统NAND有什么不同？
关键在于位置和分工。这种NAND芯片可以直接放置在GPU封装内部或PCB板上，工作方式类似HBM、GDDR7这类高带宽方案。与传统TLC或QLC NAND相比，它的存储密度更低，但重点放在了提升I/O速度和带宽上。GPU可以直接访问数百GB的NAND存储池，相当于在显存和普通存储之间，多了一层高速缓冲。
对AI推理意味着什么？
这层缓冲区的价值在于，它让LLM推理不再被显存容量死死限制住。当模型规模超出显存上限时，数据可以暂时存放在这个更近的NAND层里，而不是被迫走远路去访问慢速存储。对于运行更大规模AI大语言模型的场景来说，这相当于给显存不够用的困境开了一扇侧门。
当然，这个方案目前还在探索阶段。它能否真正落地、何时落地，以及实际性能表现如何，都还需要更多验证。但方向已经明确：当显存容量成为瓶颈时，厂商们开始考虑的不只是堆料，还有如何让现有存储层级更聪明地协作。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
