网易首页 > 网易号 > 正文 申请入驻

华为将发布AI推理创新科技UCM

0
分享至

在当今数字化时代,AI的发展可谓日新月异。大模型训练的热潮尚未消退,AI推理体验却已悄然成为AI应用的关键。

随着AI 产业已从“追求模型能力的极限” 转向“追求推理体验的最优化”,推理体验直接关联用户满意度、商业可行性等,成为了衡量模型价值的黄金标尺。

中信建投在2025WAIC期间发布的白皮书指出,AI正从训练向推理的结构性转变而快速增长(如国内某头部互联网公司每三个月Token消耗接近翻一倍,5月底为16.4万亿Token)。在这样的大背景下,AI推理体验的重要性愈发凸显。

推理体验直接关系到用户与AI交互时的感受,包括回答问题的时延、答案的准确度以及复杂上下文的推理能力等方面。资料显示,国外主流模型的单用户输出速度已进入200 Tokens/s区间(时延 5ms),而我国普遍小于60Tokens/s(时延50 - 100ms),如何解决推理效率与用户体验的难题迫在眉睫。

据《凤凰WEEKLY财经》了解,8月12日华为将发布的AI推理创新技术UCM(推理记忆数据管理器),作为一款以KV Cache为中心的推理加速套件,融合了多类型缓存加速算法工具,分级管理推理过程中产生的KV Cache记忆数据,扩大推理上下文窗口,以实现高吞吐、低时延的推理体验,降低每Token推理成本。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
别再把自己裹成球了!科学家发现:这种“微冷”状态,正在悄悄延长你的寿命

别再把自己裹成球了!科学家发现:这种“微冷”状态,正在悄悄延长你的寿命

爱医斯坦
2026-11-18 11:06:04
八国联军侵华,7个国家瓜分中国,唯独一国反对,如今成超级大国

八国联军侵华,7个国家瓜分中国,唯独一国反对,如今成超级大国

文史达观
2025-03-08 06:45:05
中国股市:写给处于严重亏损的股民们的一封信,此文,很短很深

中国股市:写给处于严重亏损的股民们的一封信,此文,很短很深

屿探涨
2026-11-17 11:25:04
APEC合影现场!普京与特朗普再度握手

APEC合影现场!普京与特朗普再度握手

看看新闻Knews
2026-11-19 12:35:07
东南亚手机市场雪崩,OPPO跌62%,仅苹果增长

东南亚手机市场雪崩,OPPO跌62%,仅苹果增长

上峰视点
2026-11-17 09:09:58
一旦恢复该规定,中国结婚率或将大幅上涨,离婚率也会有所下降

一旦恢复该规定,中国结婚率或将大幅上涨,离婚率也会有所下降

福建睿平
2026-10-28 07:23:25
拒绝奥地利足协!德籍华裔球员想来中国踢球,明年能否加盟国安?

拒绝奥地利足协!德籍华裔球员想来中国踢球,明年能否加盟国安?

体坛鉴春秋
2026-11-19 19:24:07
广东一对夫妻买“霸王茶姬”中49999元心愿大奖,全国仅9份,当事人:准备给老婆买金手镯,或一起去旅游

广东一对夫妻买“霸王茶姬”中49999元心愿大奖,全国仅9份,当事人:准备给老婆买金手镯,或一起去旅游

扬子晚报
2026-11-19 21:43:12
直击:马斯克乘车离开酒店或前往APEC系列活动现场

直击:马斯克乘车离开酒店或前往APEC系列活动现场

界面新闻
2026-11-19 11:07:25
中美俄发布和平宣言,一致反对国际刑事法院滥用管辖权,杜特尔特迎来新希望

中美俄发布和平宣言,一致反对国际刑事法院滥用管辖权,杜特尔特迎来新希望

光电科技君
2026-11-19 22:07:05
黄仁勋输得不冤!董事会的十位大佬,一群金融营销精英,到底是怎么上桌的?

黄仁勋输得不冤!董事会的十位大佬,一群金融营销精英,到底是怎么上桌的?

起点人文
2026-11-19 18:49:04
APEC会议场馆成热门打卡点,深圳市民心愿甜蜜又实在:把车厘子价格“打”下来

APEC会议场馆成热门打卡点,深圳市民心愿甜蜜又实在:把车厘子价格“打”下来

极目新闻
2026-11-19 21:23:40
离称霸,字节只差一个聊天软件了!

离称霸,字节只差一个聊天软件了!

城事堂
2026-11-17 14:09:44
太可惜!亚运村这家8年老店关了!

太可惜!亚运村这家8年老店关了!

亚奥在线
2026-11-19 16:08:37
特朗普下榻酒店最低房价800,这波操作我看傻了

特朗普下榻酒店最低房价800,这波操作我看傻了

风起见你
2026-11-19 23:18:08
小心!欧洲被打服了,中东也不闹了,美国的目标只剩下东亚

小心!欧洲被打服了,中东也不闹了,美国的目标只剩下东亚

西府赵王爷
2025-03-22 15:47:18
男子在二手平台挂出一块劳力士,很快有人出价19万5,可交易当天来的是个14岁女孩,男子感觉不对劲立刻报警

男子在二手平台挂出一块劳力士,很快有人出价19万5,可交易当天来的是个14岁女孩,男子感觉不对劲立刻报警

环球网资讯
2026-11-19 10:01:08
果然!中国男篮筛掉5人,赵睿崔永熙离队,赵继伟队长,周琦压阵

果然!中国男篮筛掉5人,赵睿崔永熙离队,赵继伟队长,周琦压阵

萌兰聊个球
2026-11-19 22:16:18
俄罗斯可能要对法国下手了!因为俄罗斯确认了一件事,那就是如今的法国,成为了冲突的参与方!

俄罗斯可能要对法国下手了!因为俄罗斯确认了一件事,那就是如今的法国,成为了冲突的参与方!

扶苏聊历史
2026-11-19 18:17:35
塔图姆把球扔向裁判吃T,凯尔特人最后一攻没了

塔图姆把球扔向裁判吃T,凯尔特人最后一攻没了

晚风知我意21
2026-11-19 23:39:37
2026-11-19 23:59:00
凤凰WEEKLY财经 incentive-icons
凤凰WEEKLY财经
科技 金融 房产 汽车
4998文章数 10026关注度
往期回顾 全部

科技要闻

提前三个月加薪!英伟达全员会稳军心

头条要闻

日媒称中方对高市早苗的简朴接机仪式引关注 中方回应

头条要闻

日媒称中方对高市早苗的简朴接机仪式引关注 中方回应

体育要闻

文班亚马也防不住这"巨兽" 无奈吐槽:悲哀

娱乐要闻

后会友期 文吉儿公然怼谈话老师陈晓楠

财经要闻

Anthropic的算力赌局

汽车要闻

方程豹钛9实测 堪称比亚迪最强混动的DMS到底怎么样?

态度原创

教育
本地
旅游
亲子
手机

教育要闻

解读世界上最神奇的 24 堂课 23-8

本地新闻

乌兰察布:以前种土豆,现在种Token

旅游要闻

深圳游客打卡山城!重庆文旅集团秋假专属礼包获好评,大家感叹不虚此行

亲子要闻

人工耳蜗怎样让失聪的孩子第一次听见妈妈

手机要闻

华为鸿蒙星河互联官宣支持流转iPhone来电,适配Mate 90系列、XT 2非凡大师机型

无障碍浏览 进入关怀版