网易首页 > 网易号 > 正文 申请入驻

刚刚,华为AI推理大招开源,时延降90%,吞吐提22倍,上下文10倍级扩展

0
分享至

智东西11月5日消息,刚刚,华为正式开源了UCM(Unified Cache Manager)推理记忆数据管理,这是一项针对AI推理加速的关键技术。

▲GitCode项目页面

今年8月12日,华为正式发布了UCM技术,发布会上华为公布,经大量测试验证,UCM可将首Token时延最高降低90%,系统吞吐最大提升22倍,实现10倍级上下文窗口扩展,AI推理性能显著提升。

▲8月12日UCM技术发布,图源:智东西

时隔近3个月,这一技术正式开源,比发布会上预计的9月稍晚。目前UCM在ModelEngine社区开放了基础框架和工具链,开发者可以在社区获取UCM源代码和技术文档。

▲Github项目页面

GitCode开源地址:
https://gitcode.com/ModelEngine/unified-cache-management

Github开源地址:
https://github.com/ModelEngine-Group/unified-cache-management

总体来看,UCM是以KV Cache和记忆管理为中心的推理加速套件,可以提供全场景系列化推理加速方案,通过推理框架、算力、存储三层协同,优化Tokens在各业务环节中流转的效率,破解长序列推理效率低、成本高的难题,以实现AI推理的更优体验、更低成本。其主要服务对象是企业用户。

Agentic AI时代,AI推理的KV Cache容量增长已超出HBM的承载能力。通过一系列算法,UCM可根据记忆热度在HBM、DRAM、SSD等存储介质中自动分级缓存,提升整个系统的效率,一定程度上降低对HBM的需求。

UCM融合了多类型缓存加速算法工具,可分级管理在推理过程中产生的KV Cache记忆数据。

UCM架构包含多个协同工作的关键功能模块,具体如下:

·UCM稀疏化模块 (UcmSparseBase):兼容多种稀疏算法的统一基类,负责稀疏KV Cache Block的卸载、加载与计算,实现“零感知”插拔式稀疏化。在不影响整体推理流程的前提下,能够灵活适配不同稀疏算法以提升推理效率。

·稀疏化KV管理器 (SparseKVManager):面向算法级定制的KV Cache Block分配总控器,各稀疏算法以多态子类形式将自身分配逻辑注入框架,实现不同稀疏算法策略与推理引擎解耦,满足差异化推理场景需求。

·KV Cache存储组件 (UcmKVStoreBase):负责提供与外部存储通信的通用接口。该组件支持稀疏算法与存储后端解耦,可无缝对接任意存储系统,同时支持前缀缓存,为数据存储提供了灵活多样的选择。

·UCM连接器(UC Connector):桥接KV Cache存储组件与推理引擎,保障数据在不同组件之间的高效传输,实现高可靠的前缀缓存能力。

▲UCM产品架构

图中所有灰色框代表vLLM 0.9.2版本中的现有类,绿色框则代表UCM新增组件。浅绿色框展示了基于此框架未来规划扩展的子类。

基于以上架构,UCM目前具备四个关键能力:稀疏注意力、前缀缓存、预填充卸载、异构PD解耦。

做UCM的动机是什么?

根据GitCode官方信息,当前随着模型尺寸的不断增长,KV缓存也变得越来越大,且越来越稀疏,对于长序列请求来说尤为明显。为了减小GPU显存的使用,主流的方向是将全量的KV数据卸载到外部存储中,而在GPU显存中只保留部分或者被压缩的KV数据。这同时可以减小GPU的运算量,在解码时增加最大生成序列长度和批大小。

有许多种不同的稀疏KV缓存的实现。最新的论文指出,能够最好地适配所有场景和所有模型的方法是不存在的。因此,更好的做法是搭建一套公共的框架,并在此之上接入不同的稀疏化算法,就像KV连接器和PC一样。

根据GitCode官方信息,UCM的核心原理是持久化LLM的KVCache,并通过多种检索机制替代冗余计算。UCM支持前缀缓存(prefix cache,PC),同时提供了多种无需训练的稀疏注意力检索方法,在处理极长序列推理任务时达到更高性能;此外,UCM基于存算分离架构提供了PD分离方案,使得异构计算资源的管理更简单灵活。

结语:应对性能挑战,缓解资源瓶颈,UCM开源或加速AI推理落地

随着边缘和端侧AI的快速发展,AI推理需求快速增长,在Agentic AI时代,AI推理任务愈发复杂,对算力、内存访问效率等方面都提出了更多挑战。

UCM的开源,可以进一步缓解AI推理复杂任务产生的资源瓶颈和性能挑战,给行业提供新的技术路径,加速优秀商用AI推理方案的落地。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
什么是黎曼猜想?为什么它的解决如此意义重大?

什么是黎曼猜想?为什么它的解决如此意义重大?

林子说事
2026-11-22 03:14:16
不理解,为什么馒头是小麦做的,可山东河南等地到了80后才吃上?

不理解,为什么馒头是小麦做的,可山东河南等地到了80后才吃上?

抽象派大师
2026-11-22 02:00:30
深度长文:黎曼猜想,统治数学界160年的无冕之王,到底有多恐怖?

深度长文:黎曼猜想,统治数学界160年的无冕之王,到底有多恐怖?

宇宙时空
2026-10-12 11:58:16
U17世界杯疯狂一夜!国足惨败却等来出线希望

U17世界杯疯狂一夜!国足惨败却等来出线希望

林子说事
2026-11-22 15:25:36
横店迎来三十年最为惨烈的一次断臂求生!130多座摄影棚,合计50万平方米,全部免租金向剧组开放

横店迎来三十年最为惨烈的一次断臂求生!130多座摄影棚,合计50万平方米,全部免租金向剧组开放

扶苏聊历史
2026-10-28 15:47:11
女子网购206块羊骨头,8岁儿子拼着玩:妈妈,这个好像个真人啊

女子网购206块羊骨头,8岁儿子拼着玩:妈妈,这个好像个真人啊

悬案解密档案
2025-06-13 10:44:43
果然面相是不会骗人的,王诗龄就是个例子

果然面相是不会骗人的,王诗龄就是个例子

阿废冷眼观察所
2026-11-21 15:06:48
真相扎心:同样是内裤,差距怎么这么大?

真相扎心:同样是内裤,差距怎么这么大?

果壳
2026-11-22 12:17:04
吃他汀一滴茶都不能喝?提醒:吃他汀还喝茶,5个后果或承担不起

吃他汀一滴茶都不能喝?提醒:吃他汀还喝茶,5个后果或承担不起

华庭讲美食
2026-11-22 14:02:23
网传电诈园区的办公室标语是:不忘初心砥砺前行感恩奋进,真荒诞啊!

网传电诈园区的办公室标语是:不忘初心砥砺前行感恩奋进,真荒诞啊!

黯泉
2026-11-21 17:27:58
荷兰向乌提供巡航导弹,助其重创克里米亚大桥后,俄方重拳回击!据俄国防部消息,11月20日凌晨,俄军动用陆基、空基力量发起惩戒打击

荷兰向乌提供巡航导弹,助其重创克里米亚大桥后,俄方重拳回击!据俄国防部消息,11月20日凌晨,俄军动用陆基、空基力量发起惩戒打击

林杰论事
2026-11-22 02:39:25
中国球员五大联赛戴帽第一人!

中国球员五大联赛戴帽第一人!

五星体育
2026-11-22 11:17:02
环球体育:博卡2-0米内罗竞技,三夺南美杯

环球体育:博卡2-0米内罗竞技,三夺南美杯

懂球帝
2026-11-22 09:08:03
钱再多有什么用?结婚不到2年,萧敬腾就尝到了“姐弟恋”的苦涩

钱再多有什么用?结婚不到2年,萧敬腾就尝到了“姐弟恋”的苦涩

悦君兮君不知
2026-11-21 16:13:45
全国“第一大”地级市,抵得上0.73个四川

全国“第一大”地级市,抵得上0.73个四川

辉哥说动漫
2026-11-22 00:37:49
安徽一女子晒出婆婆带娃一年半的前后对比,此前精致得体,带娃后变得不修边幅,看着老了十几岁,婆婆感慨:再也不羡慕别人当奶奶带孙子了

安徽一女子晒出婆婆带娃一年半的前后对比,此前精致得体,带娃后变得不修边幅,看着老了十几岁,婆婆感慨:再也不羡慕别人当奶奶带孙子了

极目新闻
2026-11-21 22:17:27
女教师带出5届状元班,优秀教师却落选,转身去私立,全年级挽留

女教师带出5届状元班,优秀教师却落选,转身去私立,全年级挽留

第四思维
2025-09-03 09:30:25
恭喜国乒,27岁美女国手回归,助孙颖莎备战张本美和,已抵达成都

恭喜国乒,27岁美女国手回归,助孙颖莎备战张本美和,已抵达成都

懂球社
2026-11-21 11:20:36
沪媒不忍了!点名拉塞尔不适合上海战术体系,卢伟表态,拉塞尔发声

沪媒不忍了!点名拉塞尔不适合上海战术体系,卢伟表态,拉塞尔发声

萌兰聊个球
2026-11-22 10:51:49
中国银行原行长被判13年

中国银行原行长被判13年

地产微资讯
2026-11-22 15:39:43
2026-11-22 17:27:00
智东西 incentive-icons
智东西
智东西,AI产业新媒体,专注报道人工智能的前沿技术发展,和技术应用带来的千行百业产业变革。
12993文章数 117197关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

教育
艺术
家居
游戏
军事航空

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

艺术要闻

世界十大著名宫殿盘点:中国独占两席

家居要闻

2026建博会(广州) 公装联探展交流活动

PC Gamer试玩GTA6百小时:双主角出色但任务重复

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版