华为发布AI推理新技术 将于今年9月正式开源

《科创板日报》8月12日讯（记者 黄心怡）华为今日发布AI推理创新技术UCM（推理记忆数据管理器）。作为一款以KV Cache为中心的推理加速套件，其融合了多类型缓存加速算法工具，分级管理推理过程中产生的KV Cache记忆数据，扩大推理上下文窗口，以实现高吞吐、低时延的推理体验，降低每Token推理成本。

据悉，华为计划于2025年9月正式开源UCM，届时将在魔擎社区首发，后续逐步贡献给业界主流推理引擎社区，并共享给业内所有Share Everything(共享架构)存储厂商和生态伙伴。

IDC预测，到2027年中国智能算力中，推理算力占比将从2023年的41%左右上升到72.6%左右。中国信息通信研究院人工智能研究所平台与工程化部主任曹峰表示，大模型推理需求爆发。一方面大模型服务调用量、推理计算量将翻倍，另一方面大模型推理算力供给将超过训练，基础设施重心将逐步向推理偏移。

不过，当前AI推理应用落地过程中存在推不动、推得慢、推得贵等问题。华为数据存储产品线总裁周跃峰举例：中国互联网大模型的首Token时延普遍慢于海外互联网头部的首Token时延，海外头部大模型的推理吞吐率也要远高于中国。因此，如何改进推理系统的效率和体验是重要课题。这也是华为此次推出UCM推理记忆数据管理器的原因。

据介绍，UCM推理记忆数据管理器已经在中国银联的客户服务、营销策划、办公会议等业务场景中，开展AI推理加速应用试点。

华为数据存储产品线副总裁、闪存领域总裁谢黎明表示，从银行业来看，不管是生产环境的投研分析，还是舆情分析也好，都会涉及到非常多的长序列输入。“比如一份投研报告就是上兆级别，精准营销所需要输入的上下文也是长序列，所以推不动这个问题经常出现。其次是推得慢的问题，核心就是并发上不去，上去之后每Token时延特别长。另外推得贵，原因是需要耗费大量的算力。”

华为数据存储产品线AI存储首席架构师李国杰进一步解释，不管是行业调研报告、公司财务信息以及其他公开信息，都是超长上下文的多源信息汇聚。随着迈向Agentic AI（代理式AI），这些信息会拆成很多步，逐步地深度挖掘，最终给出一个专业的趋势判断和报告。这对显存、计算量都会有很大的压力。

推理体验和推理成本，将成为未来AI行业化落地的一大阻碍。“到了Agentic AI时代，Token消费相比以前是百万级的，成本过高意味着落地就没有了一个基本的前提，没有人用得起。”谢黎明称。

谈及AI的发展趋势，李国杰认为，模型智能转向数据智能，这在专业领域已基本成为共识。未来，华为会基于UCM构筑更多的Agentic AI能力，以及多模检索和数据湖的能力等等。

“从GPT5的发布可以看到，传统的Scaling Law模式已经遇到瓶颈。从应用需求的角度来讲，客户开始关注AI的商业循环和商业变现，更关注体验。从技术驱动的角度，当模型的智能水平遇到瓶颈，会系统化地转向数据智能。因为其本质原因是缺少高质量数据，大量用AI合成数据、数据荒以及数据质量的问题，都会成为新的产业研究焦点。”

华为计划于今年9月份开源UCM，目前已有讯飞等生态伙伴加入。李国杰透露，“很多政府行业、金融行业、制造行业等客户，已经使用起来。我们会与更多的基础设施和生态伙伴一起共建，也会与更多具有非常典型性或者行业性的客户，一起共建。”