网易首页 > 网易号 > 正文 申请入驻

AI推理进入深水区,先进存力成“提速降本”关键

0
分享至

当前,人工智能正迈向场景落地的关键阶段。随着大模型数量逐渐收敛、推理应用爆发式增长,以Token数为量纲的AI推理成本与效率问题日益凸显。在这一背景下,先进存力作为数据要素的核心载体,成为提升AI推理效能、控制成本的关键。

11月4日,在中国信息通信研究院组织的“存力中国行”北京站活动上,来自信通院、中国移动云、华为、硅基流动等机构与企业的嘉宾,深入探讨了AI时代下先进存力对AI大模型发展的支撑作用和未来发展趋势。

AI推理面临成本与效率之困

“大模型落地元年”中,各行各业不再满足于拥有庞大的模型,而是迫切希望将模型能力无缝融入实际业务场景。从投研分析、卷宗分析到智能客服、医疗影像辅助诊断等,AI推理正深入千行百业发挥作用。然而,随着Token调用量爆发式增长,推理成本持续攀升,“推不动、推得慢、推得贵”成为行业共性难题。

与会专家指出,当前,AI推理已不再是简单的单次问答,而是处理海量、多模态、动态增长数据的持续过程。数据类型的多样性要求存储系统能同时高效处理文、图、音、视频乃至传感器数据。同时,构建高质量数据集也成为关键。

“AI时代,IT基础设施能力面临‘管不好’的数据、‘喂不饱’的算力、‘降不下’的成本三大挑战。”在华为数据存储产品线战略与业务发展部总裁王旭东看来,推理数据来源多样难以形成高质量、可持续供应的数据集,存储系统的带宽和IOPS(每秒读写次数)不足,导致GPU等昂贵算力资源长时间空闲。传统存储架构难以兼顾高吞吐、低时延及异构数据融合的需求,造成业务发展瓶颈,阻碍AI应用落地。

要打破推理困境,还需突破“内存墙”与“容量墙”两道技术关卡。与会专家介绍,昂贵的HBM(高带宽内存)虽然性能强悍,但价格极高,无法无节制扩展,这限制了模型的理解长度,也推高了硬件成本,可以通过高性能的AI SSD,对HBM进行更好的扩展,同时,用大容量AI SSD替代HDD。

除此之外,绿色、可靠、安全的数据存储解决方案,也成为企业的刚性需求。

先进存力成破局关键

新京报贝壳财经记者从会上了解到,在AI场景中,我国存储技术取得技术突破,并具备全球领先的实力。通过技术创新和生态协同的模式,加速在千行百业的落地应用。

中国移动云能力中心项目总师周宇表示,移动云针对性采用分层缓存调度、高速数据互联技术提升带宽、多模数据专属存储与标准化、架构池化重组等技术破局,还通过高密全闪存储、数据缩减、自研SPU高密服务器提高存储效能和降低成本。未来趋势上,移动云推动存储从被动存储转向智算协同,分阶段落地高密全闪存储、数据高速互联、存算一体等技术,长远构建池化多体存储体系,同时强调技术整合与生态协同。

王旭东介绍,华为发布了针对AI推理的UCM推理记忆数据管理技术,通过“集中高质数据、提速AI训练、优化推理效能”三个角度,打造AI推理加速解决方案。据悉,UCM可将首Token时延最高降低90%,系统吞吐率最高可提升22倍,上下文推理的窗口扩展10倍以上。

北京硅基流动科技有限公司解决方案总监唐安波表示,硅基流动构建的AI infra工具链,核心推理框架适配多模态模型与国内外算力,适配昇腾并优化DeepSeek模型实现性价比提升。从推理框架延伸至MaaS服务平台,部署主流开源模型,通过推理加速和API向开发者提供服务,聚焦提升算力利用率。解决方案上,结合UCM技术卸载KVCache释放显存、提升性能,还通过智能网关优化调度、弹性扩缩容应对长上下文等痛点,基于存储的KVCache方案可大幅提升系统吞吐。

中国信息通信研究院首席专家石友康表示,信通院在政策研究、标准制定、测试服务等方面开展多项工作,并联合产业链企业成立“算力产业发展方阵先进存力AI推理工作组”。同时,他提出了三点建议:鼓励前沿存储技术研发创新,推动存算运深度融合,加强存算协同产业生态建设。其呼吁业界同仁凝聚共识,共同推动我国存算协同发展。

新京报贝壳财经记者 韦博雅

编辑 杨娟娟

校对 穆祥桐

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
尼克斯内部崩盘!两大首发彻底迷失,场均8分+6分,还不敢交易

尼克斯内部崩盘!两大首发彻底迷失,场均8分+6分,还不敢交易

你的篮球频道
2026-11-13 08:47:49
黄仁勋出轨后续来了!女主被扒出更多细节,离婚妻子或分走800亿

黄仁勋出轨后续来了!女主被扒出更多细节,离婚妻子或分走800亿

皮皮电影
2026-11-13 10:20:16
女子花3万元请“情感老师”挽回前男友,每天按时交作业、发反馈仍未复合,要求退款被拒:是你自己的问题;法院判了

女子花3万元请“情感老师”挽回前男友,每天按时交作业、发反馈仍未复合,要求退款被拒:是你自己的问题;法院判了

环球网资讯
2026-11-13 08:07:05
中国55%的Token烧在短剧,美国58%烧在代码:Token的流向,暴露了AI的两种“活法”

中国55%的Token烧在短剧,美国58%烧在代码:Token的流向,暴露了AI的两种“活法”

钛媒体APP
2026-11-11 14:45:07
没带课本就往死里打?8岁留守女童被班主任关办公室暴打20分钟,打到骨折抽搐,右手骨折浑身淤青,官方介入

没带课本就往死里打?8岁留守女童被班主任关办公室暴打20分钟,打到骨折抽搐,右手骨折浑身淤青,官方介入

秋风妃
2026-11-12 21:44:50
我,35岁,娶了德国姑娘,她那句"随便你",差点让我们离了三次婚

我,35岁,娶了德国姑娘,她那句"随便你",差点让我们离了三次婚

真实人物采访
2026-11-11 18:40:08
比亚迪发声明:此次事件给各位车主带来困扰,我们深表歉意,对错装车辆自即日起,重新起算整车质保;公司将全面复盘、协同供应商持续整改

比亚迪发声明:此次事件给各位车主带来困扰,我们深表歉意,对错装车辆自即日起,重新起算整车质保;公司将全面复盘、协同供应商持续整改

南方都市报
2026-11-11 14:27:04
比恒大更惊人,中国第二大民企轰然倒下,负债7500亿,创始人落网

比恒大更惊人,中国第二大民企轰然倒下,负债7500亿,创始人落网

趣文说娱
2026-11-12 04:55:18
刘欢今在北京安葬,妻子卢璐通过水均益发文:死亡证明上给的原因是感染性休克

刘欢今在北京安葬,妻子卢璐通过水均益发文:死亡证明上给的原因是感染性休克

上观新闻
2026-11-12 22:10:42
突然不提垃圾分类了?真相反转,实际上中国垃圾已成“摇钱树”

突然不提垃圾分类了?真相反转,实际上中国垃圾已成“摇钱树”

小虎新车推荐员
2026-11-13 08:00:37
江苏一男子在小区封闭车库内摔倒后昏迷失禁,被困近一天,民警逐门摸排找到后紧急送医

江苏一男子在小区封闭车库内摔倒后昏迷失禁,被困近一天,民警逐门摸排找到后紧急送医

环球网资讯
2026-11-13 13:45:52
10连胜的马刺:三后卫阵容净效率+30.3,文班体系初成型

10连胜的马刺:三后卫阵容净效率+30.3,文班体系初成型

坠入温柔晚风
2026-11-13 19:10:37
十四届全国人大环境与资源保护委员会副主任委员王忠林被查

十四届全国人大环境与资源保护委员会副主任委员王忠林被查

上观新闻
2026-11-13 18:08:21
打包也带不走!进博会最有价值的一件“展品”……

打包也带不走!进博会最有价值的一件“展品”……

中国经济网
2026-11-13 11:07:04
"妲己"终入霍家门!43岁中国香港足总主席霍启山,将迎娶29岁女星

"妲己"终入霍家门!43岁中国香港足总主席霍启山,将迎娶29岁女星

以茶带书
2026-11-12 15:10:31
1993 年大邱庄风波,400 名干警在村外待命,禹作敏却对外谎称来了上千武警,下令把螺纹钢截成铁棍分发,封堵路口

1993 年大邱庄风波,400 名干警在村外待命,禹作敏却对外谎称来了上千武警,下令把螺纹钢截成铁棍分发,封堵路口

磊子讲史
2026-11-12 16:11:28
残酷!联盟倒数第二!布朗尼要告别 NBA 了?....

残酷!联盟倒数第二!布朗尼要告别 NBA 了?....

柚子说球
2026-11-13 01:42:11
50岁男子为滋补,生吞新鲜蛇胆,大约花生米大小,几个月后突然抽搐倒地,检查结果令人大吃一惊:脑子里长满寄生虫

50岁男子为滋补,生吞新鲜蛇胆,大约花生米大小,几个月后突然抽搐倒地,检查结果令人大吃一惊:脑子里长满寄生虫

洪观新闻
2026-11-12 21:26:22
停产,特斯拉突然宣布,一切都结束了!

停产,特斯拉突然宣布,一切都结束了!

蒋东文
2026-11-12 22:20:05
北京市委原书记李雪峰,薄一波亲家,1973年被开除党籍,后来怎样

北京市委原书记李雪峰,薄一波亲家,1973年被开除党籍,后来怎样

微野谈写作
2026-11-07 07:25:08
2026-11-13 19:31:00
贝壳财经 incentive-icons
贝壳财经
新京报旗下财经品牌
71416文章数 14091关注度
往期回顾 全部

科技要闻

黄仁勋辞职,马斯克们抱不平!

头条要闻

重磅"打虎":湖北省委原书记王忠林被查 5月份刚卸任

头条要闻

重磅"打虎":湖北省委原书记王忠林被查 5月份刚卸任

体育要闻

坎宁安52分:肯吃苦的人就有吃不完的苦

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

黄仁勋被拉下马 但政商围剿才刚刚开始?

汽车要闻

26.99万元起!首搭30英寸巨幕屏/易三方再升级 腾势N8上市

态度原创

时尚
健康
亲子
数码
游戏

今日热点:《捕风追影》养子团庆祝梁家辉拿影帝;霉霉婚礼用捐赠代替礼物……

情绪真能让健康人"伤心至死"?

亲子要闻

江苏宝应:托幼一体化服务惠民生

数码要闻

满电开躁!11月16日,航嘉满电青年计划约你西南交大见!

room6 将亮相上海 WePlay 2026,带来《狐蛙奇旅》《PIGGY ONE SUPER SPARK》等四款游戏试玩

无障碍浏览 进入关怀版