HBM价格暴涨之际，华为开源AI推理加速关键技术

（文/观察者网 吕栋 编辑/张广凯）

高带宽内存（HBM）的价格又要大涨了。

当地时间11月5日，熟悉韩国存储巨头SK海力士的人士确认，该公司明年向英伟达供应的HBM4单价约为560美元（约合人民币3991元），比目前供应的HBM3E（约合370美元）价格高出50%以上。

高端的HBM这么贵，并且中国还遭受出口管制，有没有办法减轻对这种产品的依赖？

华为刚开源的技术或许能成为其中一个解决之道。11月5日，华为宣布针对AI推理加速的关键技术——UCM（Unified Cache Manager）推理记忆数据管理正式开源。

这种技术的关键之处在于，可以根据记忆热度，在不同存储介质中分级缓存数据。比如在HBM中存储“实时记忆数据”，在DRAM中存储“短期记忆数据”，在SSD中存储“长期记忆数据与外部知识”。

这么做的好处是，可以分级管理推理过程中产生的KV Cache记忆数据（优化计算效率、减少重复运算），充分利用不同存储介质的特性，提高HBM的利用率，还能平衡成本。

华为透露，UCM架构包含了多个协同工作的关键功能模块，比如UCM稀疏化模块（UcmSparseBase）、稀疏化KV管理器（SparseKVManager）、KV Cache存储组件 （UcmKVStoreBase）和UCM连接器（UC Connector）等。基于该架构，UCM目前具备四大关键能力：稀疏注意力、前缀缓存、预填充卸载和异构PD解耦，可实现首Token时延最高降低90%，系统吞吐最大提升22倍，并达到10倍级上下文窗口扩展。

图源：华为数据存储

配合UCM技术，华为今年8月曾经推出多款高性能AI SSD。比如，Huawei OceanDisk EX 560的随机写性能最高可达1500K IOPS，适用于AI一体机训练场景；Huawei OceanDisk LC 560最大单盘物理容量245TB，读带宽可达14.7GB/s，适用于集群训练场景等。

“AI SSD聚焦提升训练效率和推理体验, 存储器领域不会仅有HBM一枝独秀，有望形成百花齐放的竞争态势。华为计划与一体机厂商合作，改变现有局面，为AI存储器市场注入新活力，带来更多可能性。”有知情人士对观察者网说道。

当下，国外厂商在HBM领域仍然拥有技术和价格的主导权。Counterpoint Research的报告显示，SK海力士在二季度的全球HBM市场上以62%的出货量占据首位，美光科技（21%）和三星电子（17%）紧随其后。按照SK海力士的产品计划表，HBM4已于9月完成开发并投入量产，将于今年第四季度开始出货，并计划于明年全面扩大销售。

HBM4是HBM第六代产品，其2048位接口和最高16层的堆叠将带来带宽和容量的巨大提升，带宽目标超过2 TB/s，容量可达64GB。业界特别是三星和SK海力士正在探索将HBM堆栈更直接地连接到处理器（如GPU）芯片上，甚至研究在中间层使用光子技术以追求极致的传输速度和能效。这种深度融合可能会模糊逻辑芯片和存储芯片之间的界限，让两者更紧密地集成在一起。

在出口管制和技术追赶下，中国企业难以获得充足的高端HBM。而UCM作为一种记忆数据分级管理技术，开源的关键意义，在于能让更多开发者和企业通过记忆数据分级管理，降低对高端HBM的依赖。但它不是为了取代，也无法取代HBM，而更像是华为的另一种“系统补单点”，把HBM的优势发挥在更合适的地方，实现降本增效。

除了推出UCM，华为在今年的全连接大会上还公布了自研HBM。

华为轮值董事长徐直军当时表示，华为自研了两种HBM，分别是：HiBL 1.0和HiZQ 2.0。不同的自研HBM与Ascend 950 Die合封，分别构成芯片Ascend 950PR：面向Prefill和推荐场景，以及Ascend 950DT：面向Decode和训练场景。其中Ascend 950PR采用了华为自研的低成本HBM，HiBL 1.0，相比高性能、高价格的HBM3e/4e，能够大大降低推理Prefill阶段和推荐业务的投资。

本文系观察者网独家稿件，未经授权，不得转载。