网易首页 > 网易号 > 正文 申请入驻

英伟达推理上下文内存存储对NAND意味着什么?

0
分享至

花旗认为,英伟达在AI推理应用中采用的上下文内存存储技术,预计将加剧NAND闪存市场的供应短缺。

据追风交易台,花旗最新报告指出,英伟达推出的推理上下文内存存储(ICMS)架构将显著拉动NAND闪存需求,为存储芯片制造商带来结构性机遇,并可能进一步推升NAND价格。建议密切关注存储产业链供需格局变化,相关厂商有望持续受益于此轮需求增长。

英伟达宣布其Vera Rubin平台将采用搭载BlueField-4芯片的ICMS架构,通过卸载KV Cache突破内存瓶颈、提升AI推理性能。该架构单台服务器需额外配置1152TB SSD NAND,报告预计2026年、2027年将分别带来占全球NAND需求总量2.8%、9.3%的新增需求。此举将进一步加剧全球NAND供应短缺,同时为三星电子、SK海力士、闪迪、铠侠、美光科技等头部NAND供应商创造显著市场机会。

ICMS:AI推理的存储瓶颈解决方案

报告指出,大规模AI推理面临显著的内存瓶颈。Transformer模型的核心内存优化机制——KV Cache,通过存储已计算的键值对来避免重复运算,并根据性能与容量需求分层存储:活跃KV缓存存放于GPU HBM(G1),过渡/溢出KV缓存置于系统DRAM(G2),热KV缓存则分配至本地SSD(G3)。

为针对性优化这一架构,英伟达推出了推理上下文内存存储(ICMS)方案。该方案并非替代现有存储层级,而是在本地SSD(G3)与企业共享存储(G4)之间新增一个G3.5层级的专用KV Cache。这一层级能够高效地将G4中的冷KV上下文数据转换为G2中的暖KV缓存,并与HBM协同工作,从而显著提升数据传输效率与整体AI推理性能。

在硬件实现上,Vera Rubin平台采用16TB TLC SSD作为ICMS存储介质,结合KV缓存管理器与拓扑感知调度机制,目标实现三大性能突破:每秒处理令牌数最高提升5倍、能效比最高提升5倍以及更低的延迟。具体配置方面,每台服务器搭载72块GPU,每块GPU对应16TB ICMS专用NAND容量,使得单台服务器的总NAND需求达到1152TB。

英伟达在AI推理中引入上下文内存存储技术,标志着AI算力架构的重要演进。与传统训练场景不同,推理过程依赖于大量的上下文数据存储与快速调用能力。这一技术路径的转变,为NAND闪存开辟了全新的应用场景,有望成为继数据中心和智能手机之后的重要需求增长点。

NAND需求增量明确,供应短缺持续深化

花旗通过场景分析测算后认为,ICMS架构的规模化落地将为全球NAND市场带来显著且确定的需求增量。报告预计,2026年Vera Rubin 服务器出货量将达到3万台,对应 ICMS 架构的 NAND 需求将达3460万 TB(折合346亿8Gb 当量),这一需求规模占当年全球 NAND 总需求的2.8%;随着 AI 推理需求的进一步释放,2027年 Vera Rubin 服务器出货量有望增至10万台,届时 ICMS 带来的 NAND 需求将飙升至1152万 TB(折合1152亿8Gb 当量),占全球 NAND 总需求的比例将提升至9.3%。

报告同时指出,当前全球 NAND 市场本就处于供应紧张的状态,近年来 AI 产业的爆发式发展已推动数据存储需求持续攀升,NAND 作为核心存储介质的供需平衡已较为脆弱。而英伟达 ICMS 架构带来的新增需求具有刚性强、规模大的特点,将直接打破现有供需格局,导致全球 NAND 供应短缺的局面进一步加剧。

AI驱动下,NAND市场加速升级

花旗认为,英伟达ICMS架构的推出并非孤立的技术革新,而是AI技术与存储行业深度融合的必然结果,这一趋势将深刻影响NAND市场的未来发展。报告指出,在大模型推理场景不断拓展、运算规模持续扩大的背景下,存储系统的性能、容量和能效已成为决定AI应用体验的关键因素,这将推动NAND技术加速向更高密度、更快读写速度、更低功耗的方向迭代升级。

同时,报告预测,AI原生存储架构的创新探索将为NAND行业开辟新的增长空间,除了当前的ICMS架构之外,未来可能会出现更多针对特定AI场景的定制化存储解决方案,持续释放NAND的需求潜力。

报告还提到,ICMS架构带来的需求增量不仅将利好NAND厂商,还将向上游产业链传导,推动SSD制造、存储控制器等相关环节的协同发展,为整个半导体产业链注入新的增长动力。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
当众拒唱国歌不认中国籍,把两个孩子全送出国,如今报应终于来了

当众拒唱国歌不认中国籍,把两个孩子全送出国,如今报应终于来了

鹤羽说个事
2026-09-02 16:51:59
艾滋病新增130万!多人无辜中招!公众场合千万坚持“6不碰”原则

艾滋病新增130万!多人无辜中招!公众场合千万坚持“6不碰”原则

医学科普汇
2026-10-05 18:49:25
深圳女子花250万退休金入股保险,10年后得到的本息让她愣住了

深圳女子花250万退休金入股保险,10年后得到的本息让她愣住了

流萤叙情
2025-05-14 16:59:40
蒋万安力挺蔡康永:请大陆尊重台湾的生活方式,欢迎蔡参加活动!

蒋万安力挺蔡康永:请大陆尊重台湾的生活方式,欢迎蔡参加活动!

慕名而来只为你
2026-10-07 15:52:47
歌手潘玮柏公布病情!

歌手潘玮柏公布病情!

美芽
2026-10-05 18:03:41
因果终会来!潇洒一生的郑少秋, 熬到79岁才"离开" 遗憾终无法填

因果终会来!潇洒一生的郑少秋, 熬到79岁才"离开" 遗憾终无法填

杰丝聊古今
2026-08-30 00:29:06
稻盛和夫:普通家庭最大的敌人不是穷,是一家人耗在一起互相拖垮

稻盛和夫:普通家庭最大的敌人不是穷,是一家人耗在一起互相拖垮

阿胖读书
2026-07-23 14:41:20
“生了这种闺女,天都塌了!”,家长晒中学女儿,网友看着,称实在夸不出口

“生了这种闺女,天都塌了!”,家长晒中学女儿,网友看着,称实在夸不出口

蝴蝶花雨话教育
2026-10-06 12:51:00
奉劝61—70岁男人:到了这个年纪还贪色,晚年多半要栽大跟头

奉劝61—70岁男人:到了这个年纪还贪色,晚年多半要栽大跟头

朗威谈星座
2026-09-12 06:39:46
卖地收入下滑后,存量土地开始收钱了

卖地收入下滑后,存量土地开始收钱了

大川东山再起
2026-10-06 19:45:07
亚太股市集体重挫!恒生指数跌超200点,日经指数跌超600点

亚太股市集体重挫!恒生指数跌超200点,日经指数跌超600点

财经智多星
2026-10-07 14:14:45
张本智和又做挑衅动作!因不满现场观众喝倒彩,手指全场侧耳倾听

张本智和又做挑衅动作!因不满现场观众喝倒彩,手指全场侧耳倾听

十点街球体育
2026-10-07 15:11:03
《余红旧事》口碑井喷,本来是冲着马伊琍去的,却被68岁男配惊艳

《余红旧事》口碑井喷,本来是冲着马伊琍去的,却被68岁男配惊艳

娱说瑜悦
2026-10-07 16:09:30
惊人的母子定律:一个男孩的命,看他母亲就知道

惊人的母子定律:一个男孩的命,看他母亲就知道

金哥说新能源车
2026-10-01 21:32:36
90年代运费3万5!我拉20吨变压器上海跑贵阳,6天6夜血泪长途路

90年代运费3万5!我拉20吨变压器上海跑贵阳,6天6夜血泪长途路

趣味萌宠的日常
2026-10-06 13:50:37
斯玛特对火箭意味着什么 能起到平替狄龙的作用吗 还是电风扇2.0?

斯玛特对火箭意味着什么 能起到平替狄龙的作用吗 还是电风扇2.0?

大话火箭队
2026-10-07 15:36:28
沈腾节目中自曝:去年曾许愿工作半年休息半年,如今休息半年达成了,工作没了

沈腾节目中自曝:去年曾许愿工作半年休息半年,如今休息半年达成了,工作没了

韩小娱
2026-10-02 09:05:28
硬刚穆里尼奥!皇马头号巨星惹众怒!伯纳乌球迷彻底怒了

硬刚穆里尼奥!皇马头号巨星惹众怒!伯纳乌球迷彻底怒了

澜归序
2026-10-07 08:02:24
历史重演!用户吐槽iPhone 18 Pro褪色:跟上代问题一模一样

历史重演!用户吐槽iPhone 18 Pro褪色:跟上代问题一模一样

快科技
2026-10-07 08:57:06
与日本丈夫离婚真相大白!林志玲近况曝光,难怪总拍大胆杂志谋生

与日本丈夫离婚真相大白!林志玲近况曝光,难怪总拍大胆杂志谋生

诺诺谈史
2026-10-04 11:26:19
2026-10-07 16:48:49
华尔街见闻官方 incentive-icons
华尔街见闻官方
中国领先的金融商业信息提供商
153139文章数 2654948关注度
往期回顾 全部

科技要闻

万亿砸向高速充电桩,排队为何仍是无解?

头条要闻

女生买3条总价不到80元"次抛衣"出国游 回程直接扔掉

头条要闻

女生买3条总价不到80元"次抛衣"出国游 回程直接扔掉

体育要闻

从骑马舞到开口全中文 德约在北京不止七冠

娱乐要闻

吴奇隆举旗活动取消,不赚钱也守立场

财经要闻

谷歌签下科技史上最大核能协议

汽车要闻

智能化再提升 2027款东风标致、东风雪铁龙新车更人性化了

态度原创

游戏
房产
艺术
本地
旅游

PS再陷争议!账号被盗靠关系才找回 全数字未来可笑?

房产要闻

保利大爆发,冲到榜一!海南楼市前三季度,热销榜出炉!

艺术要闻

29幅 当代画家油画作品欣赏

本地新闻

中秋逛白塔寺,体验国医妙荟雅集

旅游要闻

赏秋正当时 枣庄尖山云顶景区粉黛乱子草盛放

无障碍浏览 进入关怀版