网易首页 > 网易号 > 正文 申请入驻

华为发布 KV Cache 存储:单 NPU 容量到 TB 级

0
分享至

#头条学堂·分50万元#

在 9 月于上海举行的 HUAWEI CONNECT 2026 上,华为给出了针对 KV Cache 的专用存储方案:OceanStor M900 上下文内存存储(Context Memory Storage)。按华为的说法,它把单颗 NPU 可用的 KV Cache 容量从 GB 级推高到 TB 级,访问时延下降 90%。



华为同期发布的白皮书还算了一笔更直白的账:每投入 1 美元(约 7.15 元人民币)先进数据存储,可带来 10 美元(约 71.5 元人民币)的直接 GDP/产业价值、44 美元(约 315 元人民币)的产业衍生价值,以及 50 美元(约 358 元人民币)的社会价值——后者来自公共服务改善、灾害规避等社会收益。

KV Cache 为什么会撑不住

推理模型的上下文窗口正在快速膨胀,代理式 AI(Agentic AI)动辄几十轮的多轮对话更是雪上加霜,KV Cache——模型推理时的“工作记忆”——体积随之暴涨。华为的判断是:继续靠 GPU 显存加系统内存来存 KV Cache,在算力效率、成本和容量上都已经不可持续。

行业典型的推理存储分层是:L1(HBM)、L2(DRAM)、L3(本地 SSD)、L4(归档/共享存储)。做长序列推理时,L3 层容量不够、L4 层性能不足,高并发场景下 KV Cache 就会卡住。把全部 KV Cache 塞进 L1、L2 理论上最理想,但成本高到不现实。业内的共识因此转向:在昂贵的 GPU 显存与迟缓的传统网络存储之间,补一个 L3.5 层。

另一个被华为点出的问题是共享。超大规模数据中心里同时跑着数以千计甚至更多的计算任务,KV Cache 必须能在整个集群范围内共享,否则有些任务占着用不上的内存,同一份数据还会被反复加载、反复检索,造成效率与资源的双重浪费。

M900 做了什么

OceanStor M900 面向超大规模数据中心的 AI 推理,提供 PB 级容量、TB/s 级性能的全共享内存空间。它通过高速 UnifiedBus 互联网络实现全局池化与分层存储,把每颗 NPU 可用的 KV Cache 从 GB 提升到 TB,意味着更多上下文可以被复用、共享和留存,KV Cache 命中率显著提高。

架构上,华为称 M900 是业界首个把 CPU、网络控制单元与 NAND 控制单元集成在一起的设计。借由原生 KV 语义,SuperPoD 中的 NPU 到 SSD 实现“一跳直达”。华为给出的数据是:访问时延降低 90%,典型 AI 编程场景下推理集群的 token 吞吐翻倍,首 token 时延(TTFT)减半。

寿命方面,M900 采用 KV 感知的自适应存储技术,把 SSD 耐久度延长 16 倍,支持每天最多 24 次全盘写入(24 DWPD)。换盘需求随之减少,运维成本与长期的大规模 AI 推理基础设施成本都被压低。

“今天它们依然重要,但已经不够。”华为副董事长、轮值董事长 David Wang 表示,“AI 真正需要的是,存储持续把分散的数据变成高质量数据集,再变成知识与记忆,并在训练、推理和智能体运行时随时可被调用。换句话说,存储正在从过去的容量中心,走向 AI 时代的价值释放中心。”

IDC:卡在“数据就绪”上的企业

IDC 全球及 EMEA 研究高级副总裁 Thomas Meyer 在峰会上提供了更大的背景:相当多组织仍卡在 AI 转型的路上。相比美国和中国,西欧组织“从 AI 获取回报的成功率最低,预算超支也最严重”。与此同时,能够产出可衡量成果的概念验证(PoC)比例,已从 2024 年的 40% 上升到 2026 年的 52%。

Thomas 把“数据就绪度”称为被低估的挑战。他与 CIO 交流时听到的反馈是:“就 AI 而言,他们就是觉得自己没准备好数据——要么工具之间无法集成,要么拿不到实时数据,要么智能体在没有统一治理的情况下运行。”

他也呼应了华为关于上下文变长的判断:“如果 token 长度越来越长、越来越长,你就必须开始考虑外置存储加速,想清楚怎么维持推理质量。”白皮书的目标之一,正是推动 AI 产业停止“重算力、轻存力”,并就算存协同建立共识——企业需要的是融入整个 AI 生态的先进数据存储底座,而不是孤立的存储设备。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
抵达台湾不久,59岁毛人凤随即暴亡,蒋介石:他糊涂,很不懂事!

抵达台湾不久,59岁毛人凤随即暴亡,蒋介石:他糊涂,很不懂事!

史笔似尘钩
2026-01-05 19:59:03
悲催!东莞一玩具厂产能迁广西,保留原厂规避补偿,8年老员工只拿到2个月离职补偿承诺,双方陷入拉锯战

悲催!东莞一玩具厂产能迁广西,保留原厂规避补偿,8年老员工只拿到2个月离职补偿承诺,双方陷入拉锯战

火山詩话
2026-10-10 06:14:51
大使馆紧急提醒!中国公民尽快撤离,死亡病例超4000人,无特效药

大使馆紧急提醒!中国公民尽快撤离,死亡病例超4000人,无特效药

云上乌托邦
2026-10-10 12:54:20
乌克兰、美国和欧洲国家提前结束迈阿密会谈

乌克兰、美国和欧洲国家提前结束迈阿密会谈

界面新闻
2026-10-10 14:39:36
向佐自曝喝蛋白粉把肾喝坏了:肾功能相当于70岁的老人,严重时走路都有问题;医生提醒:切勿过量食用

向佐自曝喝蛋白粉把肾喝坏了:肾功能相当于70岁的老人,严重时走路都有问题;医生提醒:切勿过量食用

台州交通广播
2026-10-09 13:36:05
日本一家公共澡堂发生盗窃案:18岁中国少年被捕,查获170把钥匙......

日本一家公共澡堂发生盗窃案:18岁中国少年被捕,查获170把钥匙......

日本窗
2026-10-09 20:44:41
白马寺又开始晒粮食了,空地上铺满黄豆、花生,景区工作人员:都是僧人们自己种的,农禅并重是祖训,存粮充足时还会免费发放

白马寺又开始晒粮食了,空地上铺满黄豆、花生,景区工作人员:都是僧人们自己种的,农禅并重是祖训,存粮充足时还会免费发放

极目新闻
2026-10-08 18:40:16
从4万跌到1万2!佛山千灯湖神话破灭,掏空家底的广州客亏惨了

从4万跌到1万2!佛山千灯湖神话破灭,掏空家底的广州客亏惨了

靓仔情感
2026-10-10 12:59:30
吃相难看,英达小儿子曝出猛料,英达和巴图“撕破脸”,宋丹丹气愤

吃相难看,英达小儿子曝出猛料,英达和巴图“撕破脸”,宋丹丹气愤

老沮系戏精北鼻
2026-10-10 15:51:55
有爱!库里母亲60岁与黑人壮汉再婚,库里亲自到场祝贺笑容灿烂

有爱!库里母亲60岁与黑人壮汉再婚,库里亲自到场祝贺笑容灿烂

818体育
2026-10-10 16:55:53
85岁老太被派出所变更为离婚,导致丈夫健在时与他人重婚,家人起诉警方因超诉讼时效一审被驳回

85岁老太被派出所变更为离婚,导致丈夫健在时与他人重婚,家人起诉警方因超诉讼时效一审被驳回

大风新闻
2026-10-10 18:10:05
毛主席问起一个副处长,全场鸦雀无声:25年前他背着我冲出刺刀阵

毛主席问起一个副处长,全场鸦雀无声:25年前他背着我冲出刺刀阵

纪史行者
2026-10-08 03:10:03
微博CEO王高飞再谈尊界V800刹车踏板事件,称暂停交付、查车厂台架实验记录比较合理

微博CEO王高飞再谈尊界V800刹车踏板事件,称暂停交付、查车厂台架实验记录比较合理

IT之家
2026-10-09 18:45:07
女子借120万网贷不还,7家催债公司查到信息后面色大变:这地没法去

女子借120万网贷不还,7家催债公司查到信息后面色大变:这地没法去

罪案洞察者
2025-08-04 10:56:06
中国大满贯:国乒女双3连冠!双曼组合3-1日本王牌,王曼昱冲双冠王

中国大满贯:国乒女双3连冠!双曼组合3-1日本王牌,王曼昱冲双冠王

钉钉陌上花开
2026-10-10 12:48:39
WTT大满贯!爆大冷,世界冠军2-4出局,美和强势,王曼昱肩负重任

WTT大满贯!爆大冷,世界冠军2-4出局,美和强势,王曼昱肩负重任

翰林涛涛
2026-10-10 13:26:27
知名港星喜提迈巴赫!全家定居北京,在内地拥有多套房子

知名港星喜提迈巴赫!全家定居北京,在内地拥有多套房子

旧时光老师
2026-10-10 15:18:02
周深演唱会翻车!带兔子头套夹嗓子装可爱,网友:分不清是男是女

周深演唱会翻车!带兔子头套夹嗓子装可爱,网友:分不清是男是女

娱妮啵啵啊
2026-10-09 19:05:11
10月10日,人社部出席了一个重要会议,2026年养老金有调整好消息了吗?

10月10日,人社部出席了一个重要会议,2026年养老金有调整好消息了吗?

小谈食刻美食
2026-10-10 15:42:39
真相大白!林诗栋现身北京某医院,网友曝更多细节,疑似伤病加重

真相大白!林诗栋现身北京某医院,网友曝更多细节,疑似伤病加重

十点街球体育
2026-10-09 20:54:41
2026-10-10 20:48:49
粤语音乐喷泉
粤语音乐喷泉
来听音乐吧
169文章数 11926关注度
往期回顾 全部

科技要闻

上世纪成熟的踏板,为何今天还会断裂?

头条要闻

女子转卖男友送的300万手表 不料发现手表竟是其偷的

头条要闻

女子转卖男友送的300万手表 不料发现手表竟是其偷的

体育要闻

十年回首:湖人三榜眼的夏天,与NBA无关

娱乐要闻

宋佳一串三大满贯 争议随之而来

财经要闻

双汇因抗生素超标共被罚1.29亿元

汽车要闻

二十载再越巅峰 第五代全新别克君越今日正式上市

态度原创

艺术
健康
手机
房产
公开课

艺术要闻

吴冠中一幅《黄山竹林》,3220万!

痘坑留下后,还能填平吗?

手机要闻

网友直呼天塌了!等等党等来手机第四波涨价潮

房产要闻

海棠湾销冠再出牌:海南顶豪「终局答案」,突然砸出!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版