HBF首份OCP技术规范落地，AI推理走向Tiered Memory：九天睿芯构建多层级存算融合架构

围绕基于HBF的AI推理芯片架构与多层级内存/存储系统同步布局，九天睿芯正在把“存储”从AI系统的后端资源，变成与模型、处理器协同设计的核心系统要素。

在刚刚结束的FMS 2026峰会上，SK海力士与闪迪发布了首份HBF（High Bandwidth Flash，高带宽闪存）OCP技术规范，Google与Tenstorrent也参与了HBF标准化工作。按照公开规范，HBF被定位为HBM与SSD之间的新型内存层级，支持8-high和16-high NAND die堆叠，单个HBF堆叠容量最高512GB，带宽分为约0.4TB/s至3.0TB/s三个等级，并采用UCIe作为HBF与CPU、GPU等处理器之间的互连接口。HBF从概念走向开放规范，也让“Tiered Memory（多层级内存/存储）”成为AI推理基础设施中更清晰的产业方向。

对于九天睿芯而言，这一变化与公司长期技术路线高度一致。早在HBF统一规范尚未形成时，九天睿芯已将HBF纳入在研云边端AI推理芯片的关键存储层级，并围绕公司提出的Model-Processor-Memory（MPM）协同设计，探索HBF与SRAM存算一体相结合的多层级存算融合架构。与此同时，公司同步利用SSD等成熟介质搭建系统验证环境，提前验证跨层级的数据放置、供数与调度能力。芯片架构研发与工程验证沿着同一条Tiered Memory路线并行推进。

目前外界看到的“单卡+4 SSD运行超大MoE模型”，并不是一款孤立产品，而是九天睿芯在推进基于HBF的AI推理芯片架构研发同时，用于验证Tiered Memory系统逻辑的工程平台之一。它所证明的不是“SSD替代显存”，而是超大模型能否通过分层存储与统一调度，把更大的模型容量转化为持续、稳定的推理吞吐。

一、AI推理的瓶颈正在从“算力不够”扩展到“模型数据放在哪里、怎么高效供给”

过去几年，AI芯片竞争长期围绕峰值算力、内存带宽和互联能力展开。但进入大模型推理尤其是MoE时代之后，模型总参数量和上下文长度持续增长，系统要面对的不再只是“算得快不快”，还包括“装不装得下、数据能不能持续喂给计算、搬运效率够不够高”。

典型MoE模型尤其放大了这一变化：模型总参数量可以达到万亿级，但每个token通常只激活其中少量专家。大量权重并不参与当前token的计算，却需要在被路由命中时及时供给。继续简单依靠堆叠更多计算卡和扩大HBM容量当然可以提升承载能力，但也会引入更复杂的多卡通信、专家并行、拓扑与系统管理问题。

因此，九天睿芯的判断是，下一代AI推理系统除了峰值算力，还需要关注单位系统资源能够承载多大的模型、能够为计算持续提供多大的有效数据带宽，以及模型权重、KV cache等数据能否按照访问特征被更合理地组织。换句话说，AI基础设施正在从单纯“Compute-centric”的优化，转向Compute、Memory与Model的协同。

这也是Tiered Memory（多层级内存/存储）受到产业关注的原因。不同内存与存储介质不再简单相互替代，而是承担不同角色：靠近计算的层级强调低时延与高带宽，更大容量的近计算层级承载更多模型数据，系统级存储则提供进一步的容量扩展。真正决定效率的，是各层之间能否围绕模型访问行为形成统一的数据放置与调度。

二、九天睿芯的答案：不是做一种“更大的显存”，而是构建面向AI推理的Tiered Memory

围绕这一趋势，九天睿芯提出并持续实践MPM（Model-Processor-Memory）协同设计。其核心并不是让某一种存储介质承担全部数据，而是根据模型结构和推理行为，把不同数据放到更合适的存储层级，并通过软硬件协同，在合适的时间把数据送到计算附近。

在九天睿芯的多层级存算架构中，SRAM存算一体承担最靠近计算的数据处理与局部计算；HBF面向模型权重等大容量数据提供高容量、高带宽的近计算承载，并探索其在KV cache等容量敏感数据分层中的作用；3D DRAM堆叠主要承担对时延和带宽更敏感的活跃工作集。各层级的边界并非完全静态，而是围绕模型路由、访问特征和运行状态进行协同。

这套架构背后的关键，是九天睿芯希望把AI芯片设计从“处理器先定、存储再配、模型最后适配”的传统方式，转变为模型结构、处理器架构和存储层级从一开始就联合设计。对于MoE模型而言，专家路由形成了天然的稀疏访问模式；对于长上下文推理而言，KV cache又带来显著的容量压力。只有把这些模型特征直接纳入芯片和系统设计，Tiered Memory才能真正转化为token吞吐，而不是停留在容量数字上。

九天睿芯认为，HBF的价值也正在于此。它并不是简单“替代HBM”，而是作为HBM与SSD之间的新型内存层级，与3D DRAM等高速内存协同存在，为AI推理提供更大的近计算容量和更灵活的内存层级设计。这样，部分受制于DRAM容量的数据就有机会被放到更大容量、同时保持较高带宽的近计算层级中。随着HBF标准化推进，AI系统的内存层级将更加丰富，模型容量与计算资源之间的配置关系也有望被重新定义。

三、芯片架构研发与工程验证并行：先把Tiered Memory跑起来

九天睿芯对HBF的布局并不是从标准发布之后开始。早在HBF尚未形成统一规范时，公司已将其纳入在研AI推理芯片的存储层级设计，并围绕HBF与SRAM存算一体的组合探索超大模型推理架构。与此同时，在HBF产业化仍处早期阶段的背景下，九天睿芯同步使用成熟可获得的SSD介质搭建验证环境，用真实系统提前验证多层级数据放置与调度逻辑。

因此，“单卡+4 SSD”方案的角色非常清晰：它不是最终产品形态，也不是用SSD去替代HBF或HBM，而是一个工程验证载体。九天睿芯通过这一平台验证模型数据能否按访问特征分层放置、不同存储层级能否协同供数，以及整套机制能否在真实MoE推理中稳定运行。

在公司现有工程验证环境中，DeepSeek-V4模型已在“单卡+4 SSD”配置下实现decode阶段约20 TPS。这个结果更重要的意义，是为多层级存储架构提供工程证据：在不依赖大规模多卡堆叠的情况下，超大MoE模型可以通过存储分层与调度获得持续的推理能力。相关系统经验将与基于HBF的芯片架构形成协同，而不是一条从SSD再“升级”到HBF的串行路线。

四、基于HBF的AI推理芯片架构：Tiered Memory的关键硬件层级

HBF首份OCP技术规范正式发布，对九天睿芯而言，更像是产业侧对既有技术判断的一次确认。在全球统一规范尚未形成时，公司已在在研AI推理芯片中将HBF定位为重要的大容量近计算层级，并围绕其与SRAM-CIM计算单元的协同进行架构设计。随着规范落地，这一路线开始获得更明确的产业接口与生态基础。

九天睿芯在研方案围绕HBF与SRAM存算一体结合的多层级存算融合架构，将HBF定位为模型权重等大容量数据的重要近计算承载层，并探索其在KV cache等容量敏感数据分层中的作用。公司规划目标为单卡近计算存储容量最高可达4TB、聚合带宽达到数TB/s，并以较当前SSD工程验证平台带宽和TPS提升10倍以上为设计目标。HBF负责提供大容量、高带宽的数据承载能力，SRAM存算一体则进一步把高频计算推到数据附近，两者共同构成九天睿芯下一代AI推理芯片的重要架构基础。

与基于HBF的AI推理芯片架构研发同步推进的SSD平台，承担的是工程验证和软件闭环角色。介质不同，但底层逻辑一致：让模型特征参与数据分层，让调度决定数据何时移动，让处理器与存储共同围绕token吞吐优化。这样，九天睿芯可以在HBF生态逐步成熟的同时持续迭代系统能力，并在新的近计算存储层级进入产品化阶段时复用已有的软件与调度基础。

从这个角度看，HBF并不是九天睿芯在规范发布后临时追逐的行业热点，而是公司多层级存算融合路线中较早确定的关键层级。FMS 2026之后，全球产业开始通过开放技术规范进一步定义HBF；而九天睿芯此前已经在AI推理芯片架构、系统软件与推理调度三个层面围绕同一方向展开布局。

五、从“算力卡”到“模型承载平台”，AI推理的交付单位正在变化

当模型参数规模持续增长，AI基础设施真正稀缺的不只是峰值算力，还包括在有限功耗、空间和系统资源下承载更大模型并持续输出token的能力。对于云侧大模型推理、企业私有化部署、边缘智能和机器人等场景，这种能力决定了模型能否从“可以运行”走向“可以高效使用”。

九天睿芯希望提供的，也不只是某一块卡或某一台服务器，而是一套围绕超大模型推理构建的多层级存算架构：在模型层识别稀疏性和访问规律，在存储层建立从近计算高速层到大容量扩展层的Tiered Memory，在处理器层通过SRAM存算一体和专用架构提升有效数据处理效率，最终把不同层级的容量和带宽转化为更高的token产出。

如果说过去AI硬件的核心问题更多是“需要多少算力才能跑这个模型”，那么在万亿参数与MoE时代，新的问题正在变成“在同样的系统资源下，能不能承载更大的模型，并让每一层内存与存储都为推理服务”。HBF首份OCP技术规范的落地，让这一方向从技术探索进一步走向产业协同；而九天睿芯正在把Tiered Memory从一个存储概念，变成面向下一代AI推理的完整系统架构。

九天睿芯简介

九天睿芯是一家面向云、边、端大模型推理的新一代AI计算架构公司，致力于构建AI从数字世界走向物理世界的推理大脑底座。公司提出并实践MPM（Memory-Processor-Model）协同设计理念，将模型结构、存储层级和处理器架构统一设计，把大模型推理的新范式概括为“容量≥带宽>算力”：算力决定瞬时速度，容量和带宽决定更大的模型能否真正运行。公司现有股东兼具头部AI应用场景、产业上下游、国资平台和市场化资本优势。九天睿芯是长存资本目前唯一布局的AI芯片企业，并已获得某互联网大厂、豪威集团、共达电声等上市公司及产业方支持，同时汇聚韦豪创芯、元禾璞华、小鹏汽车旗下星航资本、奇绩创坛、浦东科创旗下海望资本等专业机构和政府平台股东，为技术研发、产业协同、客户导入、供应链整合和资本市场发展提供持续支撑。

*免责声明：本文由作者原创。文章内容系作者个人观点，半导体行业观察转载仅为了传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持，如果有任何异议，欢迎联系半导体行业观察。