网易首页 > 网易号 > 正文 申请入驻

Token经济时代,AI推理跑不快的瓶颈是“存力”?

0
分享至

大模型产业正在经历一场并不喧闹却足够深刻的结构性转向。过去两年,整个行业在造模型和堆GPU上不断加码,英伟达几乎成为所有基础设施讨论的起点和终点。

然而,当模型开始真正走向规模化推理、走向企业级落地、走向多模态和长上下文的新阶段之后,人们才逐渐意识到,决定 AI 体验、成本和性能的关键,不再只是更大的 GPU 集群,隐藏在算力体系背后、曾长期被视为后台工程的“存力”,浮出水面。

民生证券最新研报指出,受益于AI需求的强劲拉动,2025年第四季度存储价格有望持续看涨。这一积极预测,源于AI应用对存储提出更高要求,以及服务器端对高阶DRAM和HBM的需求增长,挤占了消费级DRAM的产能。

在日前由中国信息通信研究院组织的“先进存力 AI 推理工作研讨会”上,行业嘉宾达成共识,推理时代的性能瓶颈、成本压力和体验优化,正在从算力侧转移到存储侧,先进存力不再是配角,而是推动 AI 真正落地的主动力量之一。

推理,正在改变 AI 产业的优先级

如果说过去两年是“参数规模”的军备竞赛,那么 2025 年开始的阶段则更接近“推理效率”的商业竞争。Token调用量爆发式增长,推理成本持续攀升,在AI推理的性能指标中,都是以“Token数”为量纲。

AI加速落地,意味着“Token经济”的时代。模型训练可以只发生在几个大型企业的超级节点中,但模型推理则遍布千行百业、无数产品端,决定着实际用户体验、服务成本和业务可持续性。

推理负载的根本变化集中在三个方面:

  • 第一,长上下文和复杂任务让 KVCache 从模型的“临时记忆”变成影响性能的核心资产,其容量随输入长度呈指数级增长;
  • 第二,多模态从文本扩展到图像、音频、视频和时序数据,原本简单的顺序读写I/O模式已无法满足实时推理的复杂需求;
  • 第三,训推一体化趋势加速,模型在持续迭代和增量更新,推理系统需要在高负载下保持一致性、低延迟和稳定性。

这些变化共同导致一个现实——GPU 不是算不动,而是经常在“等数据”。当 HBM 无法容纳不断膨胀的 KVCache,当多模态输入让 I/O 链路变得拥堵,当存储延迟上下波动影响推理任务调度,GPU 的利用率下降并不因为算力不足,而是数据供给不上来。

于是,推理系统出现了越来越明显的存力瓶颈,算力资源在无谓地空转,直接推高了推理成本。数据显示,在推理侧每提升 20% 的算力利用率,就能带来 15%—18% 的整体成本下降,这一数字相比多少张GPU卡的投入,显然更具性价比。

算力不再稀缺,真正稀缺的是“把 GPU 喂饱”的能力

传统的信息基础设施中,存储的角色通常偏向“被动”。它存放数据、提供容量、保证安全与持久化。然而在大模型推理场景中,存储开始承担起一部分“助推计算”的职责:如何更快地将数据送到模型手中,如何让 KVCache 不阻塞推理,如何在不同模态间实现高效的数据编织,如何在训推混合负载下保持稳定性能,这些都决定了最终的推理吞吐和延迟。

行业的通常做法是通过分层缓存 + 动态调度提升 KVCache 管理效率,将系统划分为本地极速层、共享扩展层与冷备层,以异构介质对应不同场景的数据特性,并根据访问频率与时延诉求自动决策数据存放位置,从而在容量扩展、热点响应和成本控制三方面取得平衡。

中国移动云能力中心项目总师周宇表示,为提升数据流转效率,移动云正在推进基于 CXL 的新型高速互联,通过将 CPU 内存、GPU 显存及云主机内的闪存统一池化,使系统能够按需分配存储与内存资源,突破传统架构的物理边界。配合数据编织技术,多模态数据可在跨域环境下进行高效流转,以实现“一次写入、多模访问”的统一体验。

华为数据存储产品线战略与业务发展部总裁王旭东提到,IT基础设施能力面临三大挑战:“管不好” 的数据、“喂不饱” 的算力、“降不下”的成本。推理数据来源多样难以形成高质量、可持续供应的数据集,存储系统的带宽和IOPS(每秒读写次数)不足,导致GPU等昂贵算力资源长时间空闲。

推理时代的存储不再是以容量为中心,而是以“数据流动”为中心,因此必须围绕数据采集、治理、缓存、流转构建一套新的体系。

他表示,传统存储架构难以兼顾高吞吐、低时延及异构数据融合的需求,造成业务发展瓶颈,阻碍AI应用落地。华为针对AI推理研发的UCM推理记忆数据管理技术在行业落地中的核心作用,通过“集中高质数据、提速AI训练、优化推理效能”三个角度,打造AI推理加速解决方案。

华为在与运营商的合作中已经验证:对万卡集群进行全栈存力优化后,训练可以连续运行 22 天不间断,算效提升超过 50%,推理吞吐也同时得到显著改善。

北京硅基流动科技有限公司解决方案总监唐安波从框架层切入推理效率,硅基流动构建的AI infra工具链,聚焦提升算力利用率。核心推理框架适配100多款开源大模型,并通过公有云服务平台为广大开发者和企业提供优质的大模型服务。

解决方案上,结合UCM技术卸载KVCache释放显存、提升性能,还通过智能网关优化调度、弹性扩缩容应对长上下文等痛点,基于存储的KVCache方案可大幅提升系统吞吐。

下一代 AI 底座:存力的新共识

当人们讨论大模型的能力时,总习惯于关注参数规模、推理速度、token上限,但真正决定这些能力能否商业化的,是底层的“数据流动能力”。训练靠GPU,推理靠体系,而体系的核心越来越不是算多少、算多快,而是“如何让算力不被浪费”。

先进存力之所以成为行业焦点,不是因为存储厂商突然活跃,也不是存储颗粒涨价,而是整个 AI 推理体系遇到了结构性瓶颈。只有让数据能够在多模态、多级缓存、池化架构中更加高效、可靠地流动,大模型的能力才能真正转化为体验、业务与价值。

未来三年,至少有四个方向会成为产业共识。其一,GPU 不再是最稀缺的资源,真正的稀缺是“喂饱 GPU 的能力”。当 GPU 性能增长遇到边际收益下降,而推理负载持续增长时,如何提高 GPU 利用率比继续堆卡更具价值。存力池化、CXL 布局、多级缓存体系和 KVCache 外存化将成为必要能力。

其二,多模态带来的数据爆炸会让存储从“存放数据”走向“管理数据”。它将成为 AI 系统的主动组件,而不是被动容器。数据如何分类、如何治理、如何调度、如何快速靠近算力,将直接定义推理体验。

其三,训推一体化使存储系统的“实时性”从可选变为必选。在过去,训练对业务实时性影响不大,但未来增量训练和在线推理合流,一次 IO 放大可能直接导致前台延迟波动。存储不再只是后端,而成为业务链路的一部分。

其四,CXL 架构将重塑未来 AI 基础设施的内存与存储边界。CXL 不是某个厂商的技术,而是一种新架构语言,它让内存不再绑定 CPU,也让显存不再成为孤岛,构造出一种算力存力一体化的可能。

未来的 AI 竞争,不会只停留在模型比拼上,而是深入到底座重构之中。(本文作者 | 张帅,编辑 | 盖虹达)

更多对全球市场、跨国公司和中国经济的深度分析与独家洞察,欢迎访问 Barron's巴伦中文网官方网站

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
俄方定下更高目标:不仅要打垮乌克兰,还想解决欧洲这个心腹大患

俄方定下更高目标:不仅要打垮乌克兰,还想解决欧洲这个心腹大患

经纬戎韬
2026-11-16 01:46:41
争议!19岁亚马尔转发辱华视频,遭质疑删帖,网友:第2个姆巴佩

争议!19岁亚马尔转发辱华视频,遭质疑删帖,网友:第2个姆巴佩

大秦壁虎白话体育
2026-11-16 08:27:29
上海1300万多选民投票选举区和乡镇两级人大代表,陈吉宁朱忠明等参加投票

上海1300万多选民投票选举区和乡镇两级人大代表,陈吉宁朱忠明等参加投票

上观新闻
2026-11-16 18:43:28
蔡英文任命的台军前“防长”冯世宽,公开与台独分子划清界限:

蔡英文任命的台军前“防长”冯世宽,公开与台独分子划清界限:

果妈聊娱乐
2026-11-16 11:34:10
两位妈妈打扮精致去开家长会,被发到网上,网友吵翻:这是选美,还是开会?

两位妈妈打扮精致去开家长会,被发到网上,网友吵翻:这是选美,还是开会?

蝴蝶花雨话教育
2026-10-29 00:05:14
太惨烈,都是跌停!中际旭创市值少了1万亿,不少股民爆仓了

太惨烈,都是跌停!中际旭创市值少了1万亿,不少股民爆仓了

金石随笔
2026-11-16 15:02:52
东契奇43+3+9无缘今日最佳!对不起,你碰到创纪录的阿门了

东契奇43+3+9无缘今日最佳!对不起,你碰到创纪录的阿门了

微评体育圈
2026-11-16 12:41:43
长春市委书记调整

长春市委书记调整

新京报政事儿
2026-11-16 18:56:03
不装了——狂砸1000亿,A股下跌的原因竟是它,真相让人心寒

不装了——狂砸1000亿,A股下跌的原因竟是它,真相让人心寒

财报翻译官
2026-11-16 15:47:30
一衣难求,北京大学新款羽绒服火出圈:售价399元,绒子含量90%;校外网友纷纷求代购:售价划算,加上名校光环,很想拥有一件

一衣难求,北京大学新款羽绒服火出圈:售价399元,绒子含量90%;校外网友纷纷求代购:售价划算,加上名校光环,很想拥有一件

极目新闻
2026-11-16 10:06:42
4岁藏族小女孩牵着高反女游客找氧气:“别哭了,哭的话会越来越缺氧”

4岁藏族小女孩牵着高反女游客找氧气:“别哭了,哭的话会越来越缺氧”

一丝不苟的法律人
2026-11-15 17:01:02
为啥某多多的商品很便宜?网友:做电商的都知道,其实货都是一样的

为啥某多多的商品很便宜?网友:做电商的都知道,其实货都是一样的

带你感受人间冷暖
2026-11-16 10:34:09
被骂“滚回中国”后,华人家庭谢绝“当面道歉”!“没有必要,希望她自己想想为什么”

被骂“滚回中国”后,华人家庭谢绝“当面道歉”!“没有必要,希望她自己想想为什么”

发现新西兰
2026-11-16 11:23:23
突然直线拉升!英伟达爆大消息,黄仁勋或回归掌舵

突然直线拉升!英伟达爆大消息,黄仁勋或回归掌舵

魏家东
2026-11-16 13:28:59
黄仁勋老婆被曝出轨,街头和帅气男子热吻,两人互不干扰

黄仁勋老婆被曝出轨,街头和帅气男子热吻,两人互不干扰

江山挥笔
2026-11-16 15:20:59
创业板指跌逾4% 科创50跌超5%

创业板指跌逾4% 科创50跌超5%

每日经济新闻
2026-11-16 14:15:05
中国近六成家庭只剩2个人了...

中国近六成家庭只剩2个人了...

毒哥的毒鸡汤
2026-11-16 12:22:29
阿里巴巴大批人将实现财务自由

阿里巴巴大批人将实现财务自由

电商派Pro
2026-11-16 11:37:22
打平即出线!意大利又崩盘 1-4遭比利时逆转+双杀 从头名跌第3出局

打平即出线!意大利又崩盘 1-4遭比利时逆转+双杀 从头名跌第3出局

我爱英超
2026-11-16 06:56:13
山东13岁少年被控杀害5岁邻居案将开庭:最高检核准追诉,被害人父亲望顶格判处

山东13岁少年被控杀害5岁邻居案将开庭:最高检核准追诉,被害人父亲望顶格判处

澎湃新闻
2026-11-16 16:38:26
2026-11-16 19:27:00
钛媒体APP incentive-icons
钛媒体APP
独立财经科技媒体
142059文章数 862715关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

两架大型飞机停田野9年锈迹斑斑 机舱有床还有星空顶

头条要闻

两架大型飞机停田野9年锈迹斑斑 机舱有床还有星空顶

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

李连杰回应抛妻弃女传闻,透露四个女儿关系

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

小升级大体验 2027款岚图知音让家用更便捷

态度原创

艺术
数码
手机
公开课
军事航空

艺术要闻

颜真卿罕见的楷书真迹,这字揭露他的真实水平,比《多宝塔》更值得学!

数码要闻

加价装机还踩雷!7800X3D仅80W就91℃:忘撕散热膜了

手机要闻

荣耀13300mAh电池通过3C认证,有望搭载于Power3或X90 Pro Max机型

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版