网易首页 > 网易号 > 正文 申请入驻

专访华为周跃峰:UCM如何让AI拥有“永恒记忆”

0
分享至

当前,AI产业已从“追求模型能力的极限” 转向“追求推理体验的最优化”,推理成为AI下一阶段的发展重心。

推理体验直接关系到用户满意度,也成了衡量模型价值的黄金标尺。

8月12日华为发布的AI推理创新技术UCM(推理记忆数据管理器),作为一款以KV Cache为中心的推理加速套件,融合了多类型缓存加速算法工具,分级管理推理过程中产生的KV Cache记忆数据,扩大推理上下文窗口,以实现高吞吐、低时延的推理体验,降低每Token推理成本,并已在金融行业内试点应用。

近日,《凤凰周刊》邀请到华为公司副总裁、数据存储产品线总裁周跃峰博士,一起聊聊UCM黑科技将对提升AI推理体验带来怎样的变化。

以下为访谈实录:

《凤凰周刊》:当前在Token经济时代,各行各业都出现了各种AI智能体,AI推理又是智能体做决策和响应的关键,怎样才能帮助这些智能体做更多的运算,包括AI推理将对整个行业带来怎样的影响?

周跃峰:AI实际上有两个过程,第一个就是模型的训练,它主要是培养和训练一个更好的大脑,具备一定的思考能力,它本质上是一个成本中心。另外一个很重要的是推理,推理才是真正地为我们用户产生价值的环节。那如何用最少的基础设施资源提供更好、更优性能的推理服务,是当前最突出的一个问题。

在AI的行业化落地应用过程当中,我们发现有很多问题推不动。比如,我们把一本《红楼梦》放到推理系统里,让它分析一下里边的人物关系,很可能推理系统就推不下去了,因为整部《红楼梦》的上下文太长了。还有就是我们问一个问题,要等很长时间才能够出来结果,这就是推理性能的问题。

当然,解决这些问题,我们可以通过堆巨大的算力、存力资源。但是,如何用更少的资源来获得更好的性能,使AI的商业正循环变好,是当前一个很重要的问题。

《凤凰周刊》:目前我国AI推理处于怎样一个阶段?

周跃峰:我们国家AI的行业化落地正在蓬勃发展,各行各业都开始用起来了。但实事求是地说,我们的推理相对于领先的国家,比如说美国,我们的推理首Token时延、Token的吞吐率等各项指标还是落后于美国的一些推理系统。

具体我们可以尝试用中国头部互联网的一些大模型和美国头部互联网的大模型进行对比,模型的体验感受会有非常明显的差距。这就说明我们在基础设施投入这一块是不如美国一些科技巨头的。

如何在有限的基础设施投入下,让我们的推理性能和推理的商业回报更高,需要我们做系统性的创新。尤其是在AI推理过程当中,用好每一个硬件,对我们来说是当前迫切要解决的一个问题。

《凤凰周刊》:本次发布的UCM在业内产生了很大的影响,被视为一项突破性技术。在目前AI推理过程中,UCM发挥了哪些作用?它对于整个AI产业未来发展将产生怎样的意义?

周跃峰:AI系统和人的思考过程是基本一致的。一个聪明的人,如果分析问题的能力很强的话,一般来说要求他的思维逻辑能力很强。但另外一个很重要的点就是,他的记忆能力也要求很强,就是能够记下来事情,而且可以很快地回忆起来。

本次我们发布的UCM推理记忆数据管理器,实际上就是发挥了这样一个作用。我们知道在一个计算中心当中的记忆体,分为高速的记忆体也就是HBM,还有我们动态内存DRAM,然后就是可以让系统拥有持久记忆能力的专业共享存储,一般是存在SSD当中。记忆体的成本是从高到低的,但是它的性能也是从高到低。如果说我们把所有在分析问题过程当中的上下文记忆,以及暂存的一些数据都放在HBM当中,当然性能会很好,但是整个系统会非常地昂贵,甚至有的时候实现起来也会很难。

UCM把我们在推理过程中的一些很热的、需要快速读取的记忆数据放在HBM当中,相对较热的放在DRAM内存当中,再其次的放在SSD共享存储池当中。这样一个分级缓存的技术可以极大提升整个推理过程当中的效能。

这次我们针对中国银联的推理场景做了尝试和应用,确实印证了这一套算法和软件可以有效地拉宽记忆窗口。同时,让首Token的时延极大降低,也让Token的吞吐率可以极大地提升。

应该说,对于我们国家当前在AI基础设施投资相对没有美国高的情况下,是一个非常好的补充,也为很多企业用比较小的推理硬件系统,来完成相对比较复杂问题的推理提供了便利。

《凤凰周刊》:这些提升大概是一个什么量级的提升?

周跃峰:UCM对普通的推理系统,首Token时延最低可以降低90%,上下文推理窗口可以增大10倍,Token吞吐率可以显著提升2到22倍。从推理场景的实际应用来看,这些指标是非常优异的。

《凤凰周刊》:华为在发布会上还公布了UCM的开源计划,您这边方便透露一下开源背后有哪些战略考量吗?

周跃峰:我们希望中国包括世界上的AI系统,能够尽快地更多地被应用起来。我们尤其希望很多公司、厂商做了AI基础设施投资之后,也有更好的商业回报,这是我们的初衷,所以我们希望UCM这套软件是开源开放的。

我们会在今年9月份将UCM在魔擎社区中开源。同时,我们也会把UCM贡献给VLLM、MindIE等推理框架社区中,让更多的厂商和系统提供商能够用起来。我们不仅仅让UCM能够支持华为的专业数据存储,也可以支持第三方的数据存储,以产生更大的社会经济效益。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
尴尬!涨价后保时捷卡宴销量大跌!10月仅售557台!成绩下滑明显

尴尬!涨价后保时捷卡宴销量大跌!10月仅售557台!成绩下滑明显

沙雕小琳琳
2026-11-21 02:50:10
54岁杨钰莹近况曝光:定居深圳,每天打理菜园子,生活平淡

54岁杨钰莹近况曝光:定居深圳,每天打理菜园子,生活平淡

小徐讲八卦
2025-11-17 07:29:28
2027 运势红火发紫!三大生肖无灾无难“横财入账”,越活越有钱

2027 运势红火发紫!三大生肖无灾无难“横财入账”,越活越有钱

毅谈生肖
2026-11-21 10:47:39
全网AI集体翻车!为什么它们死活画不对13个鸡蛋?

全网AI集体翻车!为什么它们死活画不对13个鸡蛋?

果壳
2026-11-19 22:37:33
除了性生活就是打麻将,揭露中国2000多个县城,普通人的生活实录

除了性生活就是打麻将,揭露中国2000多个县城,普通人的生活实录

墨策讲历史
2026-11-12 12:47:12
IGN:《GTA6》高人气美女很恐怖!杰森躲过一劫

IGN:《GTA6》高人气美女很恐怖!杰森躲过一劫

游民星空
2026-11-20 12:11:29
马来西亚总理安瓦尔:我不知道世界上还有哪个人能做到这一点

马来西亚总理安瓦尔:我不知道世界上还有哪个人能做到这一点

政知新媒体
2026-11-21 08:41:16
“股神”落幕!淘股吧选手138万本金斩获1425%收益,账户冲高至1541万,如今大幅回撤仅剩91万

“股神”落幕!淘股吧选手138万本金斩获1425%收益,账户冲高至1541万,如今大幅回撤仅剩91万

火山詩话
2026-11-21 08:07:08
一语戳破!特朗普细看深圳基建后感慨:美国很多城市实在汗颜!

一语戳破!特朗普细看深圳基建后感慨:美国很多城市实在汗颜!

超喜欢我
2026-11-21 18:51:20
多国领导人感谢中国

多国领导人感谢中国

环球网资讯
2026-11-21 07:38:13
硬生生逼成军事大国!美媒悔恨:中国太强,英法6国加一块都不及

硬生生逼成军事大国!美媒悔恨:中国太强,英法6国加一块都不及

林子说事
2026-11-21 07:06:01
库什纳称俄方接受乌克兰获北约式安全保障,近40国柏林开会争取“上桌”

库什纳称俄方接受乌克兰获北约式安全保障,近40国柏林开会争取“上桌”

澎湃新闻
2026-11-20 17:44:40
零跑A10拉啤酒,后备箱被压穿了?

零跑A10拉啤酒,后备箱被压穿了?

新浪财经
2026-11-20 16:18:02
内行人提醒:“纯棉”和“全棉”不是一回事,很多商家不会主动说

内行人提醒:“纯棉”和“全棉”不是一回事,很多商家不会主动说

一枚大装家
2026-11-19 14:34:04
痛风第一大省,是怎样被一碗汤熬成的?

痛风第一大省,是怎样被一碗汤熬成的?

犀利辣椒
2026-11-20 06:20:49
CCTV5直播!U17国少再战强敌,14名球员留洋欧洲,浮岛敏或拒绝变阵

CCTV5直播!U17国少再战强敌,14名球员留洋欧洲,浮岛敏或拒绝变阵

蜡笔小新爱体育
2026-11-21 18:51:59
上海退休教授进敬老院5个月后去世,护工挺着大肚子含泪:这是遗书

上海退休教授进敬老院5个月后去世,护工挺着大肚子含泪:这是遗书

罪案洞察者
2025-08-08 11:40:08
福建最大民企竟然不是安踏和福耀?

福建最大民企竟然不是安踏和福耀?

三农老历
2026-11-21 14:56:31
“这种家庭,一年至少10w”,一张窒息的客厅照片,内行人却看懂了

“这种家庭,一年至少10w”,一张窒息的客厅照片,内行人却看懂了

泽泽先生
2026-11-02 13:39:10
事关台湾,当着中方的面,高市早苗表态了

事关台湾,当着中方的面,高市早苗表态了

叶老四
2026-11-21 09:27:01
2026-11-21 19:36:49
凤凰WEEKLY财经 incentive-icons
凤凰WEEKLY财经
科技 金融 房产 汽车
5001文章数 10026关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

本地
艺术
房产
手机
公开课

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版