AI推理下半场决战！英伟达DPU刚发布，国产黑科技已抢跑超车

这几天要说在AI Infra领域，什么词儿最热？

那肯定是ICMS。

无它。因为它是英伟达的老黄（黄仁勋）在最近的CES 2026上最新提出的一个词儿。

所谓ICMS，是英伟达（NVIDIA）CEO黄仁勋最新发布的基于BlueField-4 新一代DPU的推理上下文内存存储（ Inference Context Memory Storage）平台。

这个平台的发布，意味着AI Infra的竞争焦点，将从纯粹的算力比拼，转向对“推理记忆”——即KV Cache数据的高效管理。

存储的春天来啦！

敲黑板！重点是DPU呀！

随着Agentic AI的普及，承载“推理记忆”的KV Cache越来越重要，而传统HBM的容量限制，已成为制约推理效率的“内存墙”。

面对万亿级参数模型与百万级的Tokens上下文窗口，要求AI必须具备强大的“超长记忆”。

简单来说，谁的记忆力更好、长期记忆更厉害，谁就能够是“更好的AI”、“更好的智能体”。

这个英伟达最新发布的ICMS平台，其核心硬件基础就是它的BlueField-4 DPU（Data Process Unit）数据处理器，它能够实现从GPU到外置共享存储的高效数据访问。

这个方案的厉害之处在于，它能够很好的实现KV Cache的卸载，允许KV Cache借助大容量SSD进行扩展，从而提升模型的长期记忆能力，让推理效率可以进一步提升。

这里有更早的DPU 实现的KV Cache卸载方案

英伟达作为AI “霸主”在通过DPU解决KVCache瓶颈上引领了诸多创新，也引发了更多关注。

事实上，在中国早已有一家厂商的方案率先问世，那就是华为基于DPU的智能盘框方案。早在2025年9月的《数据存储教授论坛》上，华为便率先发布了业界首创的“基于DPU智能盘框的AI推理加速方案”。

相比英伟达新近发布的ICMS，华为通过DPU直接硬化卸载KV语义，使得GPU访问数据时无需让CPU做KV语义“翻译”，避免CPU介入与PCIe总线传输带来的性能开销，从而在实现KV Cache容量PB级存储扩展的同时，也能让GPU以接近本地内存的速度加载数据。

这个就厉害了，不仅是机械地卸载KV Cache，更重要的是理解KV语义！

华为DPU方案的优势是怎么实现的呢？

关键在于其三大技术实现，让我们来快速了解一下。

首先是DPU 硬化卸载KV语义，它的作用在于释放闪存的极致性能。我们知道，在超大规模数据中心场景下，相比传统文件和对象存储，KV语义具有天然的性能优势。通过DPU硬化卸载KV语义技术，数据可以从网卡直通到盘，消除了CPU IOPS性能瓶颈，将SSD盘的能力充分释放。

其次是，DPU盘框直通NPU/GPU，这可以显著缩短IO路径。华为的方案采用了扩展的NoF KV协议，实现由DPU卡原生发起IO，完全绕过推理服务器的CPU控制面。这样，就能够消除传统文件、对象存储带来的协议解析瓶颈。更重要的是，它同时支持英伟达与昇腾双生态，消除了同构或异构部署下的性能差异。

第三，就是该方案实现了元数据索引算法与大容量SSD软硬协同。针对KV Cache高频检索的特征，华为设计了创新的元数据索引算法。结合硬件加速引擎，它可以实现“KEY一跳到盘”的极速响应。同时，配合华为作为专业存储厂商特有的大容量SSD多流技术，既满足了数据中心对无限扩容的需求，又可以在SSD的寿命与成本之间，取得完美平衡。

为什么是华为这样的中国企业？

在AI赛道，为什么是华为快人一步，率先提出这样的方案并付诸实践？

应该是得益于，华为作为全球领先存储厂商的专业积淀，尤其是在软硬协同算法、协议硬件卸载及大容量SSD应用上的数十年技术积累。

正是基于这些专业存储能力，华为得以更早实现DPU对KV语义卸载、元数据及缓存管理和大容量SSD的软硬件快速融合，为AI推理效率大幅提升提供了更优方案。

从DeepSeek等国产AI模型的兴起，到“DPU盘框直通NPU/GPU”等底层的技术创新，正是通过这些国产硬核技术，实现AI产业从“应用领先”迈向“定义标准”的新高度。