网易首页 > 网易号 > 正文 申请入驻

专访华为周跃峰:UCM如何让AI拥有“永恒记忆”

0
分享至

当前,AI产业已从“追求模型能力的极限” 转向“追求推理体验的最优化”,推理成为AI下一阶段的发展重心。

推理体验直接关系到用户满意度,也成了衡量模型价值的黄金标尺。

8月12日华为发布的AI推理创新技术UCM(推理记忆数据管理器),作为一款以KV Cache为中心的推理加速套件,融合了多类型缓存加速算法工具,分级管理推理过程中产生的KV Cache记忆数据,扩大推理上下文窗口,以实现高吞吐、低时延的推理体验,降低每Token推理成本,并已在金融行业内试点应用。

近日,《凤凰周刊》邀请到华为公司副总裁、数据存储产品线总裁周跃峰博士,一起聊聊UCM黑科技将对提升AI推理体验带来怎样的变化。

以下为访谈实录:

《凤凰周刊》:当前在Token经济时代,各行各业都出现了各种AI智能体,AI推理又是智能体做决策和响应的关键,怎样才能帮助这些智能体做更多的运算,包括AI推理将对整个行业带来怎样的影响?

周跃峰:AI实际上有两个过程,第一个就是模型的训练,它主要是培养和训练一个更好的大脑,具备一定的思考能力,它本质上是一个成本中心。另外一个很重要的是推理,推理才是真正地为我们用户产生价值的环节。那如何用最少的基础设施资源提供更好、更优性能的推理服务,是当前最突出的一个问题。

在AI的行业化落地应用过程当中,我们发现有很多问题推不动。比如,我们把一本《红楼梦》放到推理系统里,让它分析一下里边的人物关系,很可能推理系统就推不下去了,因为整部《红楼梦》的上下文太长了。还有就是我们问一个问题,要等很长时间才能够出来结果,这就是推理性能的问题。

当然,解决这些问题,我们可以通过堆巨大的算力、存力资源。但是,如何用更少的资源来获得更好的性能,使AI的商业正循环变好,是当前一个很重要的问题。

《凤凰周刊》:目前我国AI推理处于怎样一个阶段?

周跃峰:我们国家AI的行业化落地正在蓬勃发展,各行各业都开始用起来了。但实事求是地说,我们的推理相对于领先的国家,比如说美国,我们的推理首Token时延、Token的吞吐率等各项指标还是落后于美国的一些推理系统。

具体我们可以尝试用中国头部互联网的一些大模型和美国头部互联网的大模型进行对比,模型的体验感受会有非常明显的差距。这就说明我们在基础设施投入这一块是不如美国一些科技巨头的。

如何在有限的基础设施投入下,让我们的推理性能和推理的商业回报更高,需要我们做系统性的创新。尤其是在AI推理过程当中,用好每一个硬件,对我们来说是当前迫切要解决的一个问题。

《凤凰周刊》:本次发布的UCM在业内产生了很大的影响,被视为一项突破性技术。在目前AI推理过程中,UCM发挥了哪些作用?它对于整个AI产业未来发展将产生怎样的意义?

周跃峰:AI系统和人的思考过程是基本一致的。一个聪明的人,如果分析问题的能力很强的话,一般来说要求他的思维逻辑能力很强。但另外一个很重要的点就是,他的记忆能力也要求很强,就是能够记下来事情,而且可以很快地回忆起来。

本次我们发布的UCM推理记忆数据管理器,实际上就是发挥了这样一个作用。我们知道在一个计算中心当中的记忆体,分为高速的记忆体也就是HBM,还有我们动态内存DRAM,然后就是可以让系统拥有持久记忆能力的专业共享存储,一般是存在SSD当中。记忆体的成本是从高到低的,但是它的性能也是从高到低。如果说我们把所有在分析问题过程当中的上下文记忆,以及暂存的一些数据都放在HBM当中,当然性能会很好,但是整个系统会非常地昂贵,甚至有的时候实现起来也会很难。

UCM把我们在推理过程中的一些很热的、需要快速读取的记忆数据放在HBM当中,相对较热的放在DRAM内存当中,再其次的放在SSD共享存储池当中。这样一个分级缓存的技术可以极大提升整个推理过程当中的效能。

这次我们针对中国银联的推理场景做了尝试和应用,确实印证了这一套算法和软件可以有效地拉宽记忆窗口。同时,让首Token的时延极大降低,也让Token的吞吐率可以极大地提升。

应该说,对于我们国家当前在AI基础设施投资相对没有美国高的情况下,是一个非常好的补充,也为很多企业用比较小的推理硬件系统,来完成相对比较复杂问题的推理提供了便利。

《凤凰周刊》:这些提升大概是一个什么量级的提升?

周跃峰:UCM对普通的推理系统,首Token时延最低可以降低90%,上下文推理窗口可以增大10倍,Token吞吐率可以显著提升2到22倍。从推理场景的实际应用来看,这些指标是非常优异的。

《凤凰周刊》:华为在发布会上还公布了UCM的开源计划,您这边方便透露一下开源背后有哪些战略考量吗?

周跃峰:我们希望中国包括世界上的AI系统,能够尽快地更多地被应用起来。我们尤其希望很多公司、厂商做了AI基础设施投资之后,也有更好的商业回报,这是我们的初衷,所以我们希望UCM这套软件是开源开放的。

我们会在今年9月份将UCM在魔擎社区中开源。同时,我们也会把UCM贡献给VLLM、MindIE等推理框架社区中,让更多的厂商和系统提供商能够用起来。我们不仅仅让UCM能够支持华为的专业数据存储,也可以支持第三方的数据存储,以产生更大的社会经济效益。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
国足平巴林,赛后传四个坏消息!邵佳一下课声再起,主场哨引争议

国足平巴林,赛后传四个坏消息!邵佳一下课声再起,主场哨引争议

南海浪花
2026-11-18 01:17:35
今年最火的“过冬战袍”,把冲锋衣挤下桌

今年最火的“过冬战袍”,把冲锋衣挤下桌

DT商业观察
2026-11-17 12:12:24
美专家:美国现在只有2个选择,要么跟中国和解,要么接受战败!

美专家:美国现在只有2个选择,要么跟中国和解,要么接受战败!

无心小姐姐
2026-11-18 10:05:20
俄阿赫图宾斯克机场遇袭响起百起爆炸!停放大量苏57战机

俄阿赫图宾斯克机场遇袭响起百起爆炸!停放大量苏57战机

项鹏飞
2026-11-15 20:49:51
杨丽萍外甥女小彩旗硕士毕业,穿硕士服出镜,如今27岁又美又优雅

杨丽萍外甥女小彩旗硕士毕业,穿硕士服出镜,如今27岁又美又优雅

东方不败然多多
2026-11-18 05:22:36
香烟突然大降价,不是良心发现,是老百姓彻底觉醒了

香烟突然大降价,不是良心发现,是老百姓彻底觉醒了

流苏晚晴
2026-11-13 22:20:15
特朗普:莫迪是一个非常强硬的人,而高市早苗可能还要更强硬

特朗普:莫迪是一个非常强硬的人,而高市早苗可能还要更强硬

探索新高度
2026-11-18 08:44:32
亚马尔事件反转!西甲正式回复总台:涉辱内容系伪造,非本人发布

亚马尔事件反转!西甲正式回复总台:涉辱内容系伪造,非本人发布

大秦壁虎白话体育
2026-11-17 10:52:59
全民拒接陌生电话,运营商、快递员、疾控中心为此付了多少成本?

全民拒接陌生电话,运营商、快递员、疾控中心为此付了多少成本?

小鹿姐姐情感说
2026-11-18 03:24:23
郎朗师妹、钢琴家王羽佳国家大剧院演出迟到17分钟,工作人员称其“在琴房找感觉”;此前香港站临时缩短演出时长,主办方无奈退款

郎朗师妹、钢琴家王羽佳国家大剧院演出迟到17分钟,工作人员称其“在琴房找感觉”;此前香港站临时缩短演出时长,主办方无奈退款

大风新闻
2026-11-18 10:13:03
网传男子相亲,女方却想要结婚化债,这哪是结婚?这是抄家啊!

网传男子相亲,女方却想要结婚化债,这哪是结婚?这是抄家啊!

笔尖下的人生
2025-07-25 17:41:08
泽连斯基谈克里米亚大桥的破坏!

泽连斯基谈克里米亚大桥的破坏!

战域笔墨
2026-11-18 08:07:54
日本知名网红女主播出事了!

日本知名网红女主播出事了!

今日日本
2026-11-18 12:36:54
时间定了,中方宣布安排,11月19日这一天,全世界都将拭目以待

时间定了,中方宣布安排,11月19日这一天,全世界都将拭目以待

古书奇谈
2026-11-17 10:23:42
妹子怀疑猫吃了800元买的角蛙,在网上蛐蛐猫一整天,结果反转了?网友:快拿10个罐罐给咪道歉!

妹子怀疑猫吃了800元买的角蛙,在网上蛐蛐猫一整天,结果反转了?网友:快拿10个罐罐给咪道歉!

铲屎官阿伟
2026-11-08 09:26:17
印度大V又吹牛了!在X晒出深圳图片,却称是孟买,问:中国有这么美丽的城市吗?

印度大V又吹牛了!在X晒出深圳图片,却称是孟买,问:中国有这么美丽的城市吗?

小徐讲八卦
2026-11-18 09:28:45
洪金宝52岁长子自曝移居杭州,儿子就读内地学校,举家搬迁已一年

洪金宝52岁长子自曝移居杭州,儿子就读内地学校,举家搬迁已一年

乡野小珥
2026-11-18 15:56:52
APEC现场 | 澳大利亚总理抵达深圳,向欢迎人群挥手致意

APEC现场 | 澳大利亚总理抵达深圳,向欢迎人群挥手致意

澎湃新闻
2026-11-18 12:28:15
中国“捡钱”时代或将来临:如果手中只有10万,试试死啃这两条线

中国“捡钱”时代或将来临:如果手中只有10万,试试死啃这两条线

米老鼠的世界
2026-08-26 14:20:23
库里:膝盖受到退行性伤病影响,我的职业生涯已接近尾声

库里:膝盖受到退行性伤病影响,我的职业生涯已接近尾声

懂球帝
2026-11-18 12:00:03
2026-11-18 17:12:49
凤凰WEEKLY财经 incentive-icons
凤凰WEEKLY财经
科技 金融 房产 汽车
4996文章数 10026关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

特朗普启程前往深圳 登机前对着镜头做标志性挥拳动作

头条要闻

特朗普启程前往深圳 登机前对着镜头做标志性挥拳动作

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

认亲被嘲讽后郭德纲委托律师发声明

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

本地
艺术
手机
游戏
房产

本地新闻

乌兰察布:以前种土豆,现在种Token

艺术要闻

吴冠中 一幅《老重庆》,951万港元!

手机要闻

设计巨变!苹果20周年iPhone开发四款机型 四曲面版几乎无边框

《KALA》登陆Steam 在异变日常中追查主角过去

房产要闻

效果图曝光!三亚超级万象城,长这样!

无障碍浏览 进入关怀版