中科曙光AI推理原生存储FN Neo：Token吞吐可提高150%

来源：环球网

【环球网科技报道 记者 李文瑶】智能体时代加速到来，AI推理业务规模快速扩张，推理占比持续走高。在大模型与Agent业务场景下，KV Cache已经成为推理环节的核心生产数据，传统节点本地缓存模式资源割裂，难以实现跨会话、跨节点复用，制约大模型推理整体效能。

针对上述行业痛点，9月21日，中科曙光在2026年CCF全国信息存储技术学术会议上正式发布全新迭代升级的AI推理原生存储FN Neo，依托池化共享架构，实现集群级KV Cache资源调度，为AI推理规模化落地提供全新存力底座。

行业内长期存在“集中式存储不适合AI推理”的固有认知，不少从业者认为推理业务更依赖本地盘的性能表现。事实上，集中式存储的池化共享架构，早已在金融、通信等对稳定性要求严苛的关键业务中经过大规模实践验证，这套成熟能力同样可以迁移到AI推理领域。

随着大模型上下文越来越长、并发用户数量激增，本地缓存受单卡、单机硬件边界束缚，极易出现GPU显存溢出、资源浪费的问题。FN Neo立足集中式全闪架构，跳出单节点硬件局限，用统一存储池承接推理业务各类数据诉求，证明集中式存储完全可以胜任高并发、低时延的AI推理复杂负载。

中科曙光集中式存储产品部总经理郭照斌在采访中表示，智能体出现后，推动推理应用需求激增，智能体连续任务带来持续连续的上下文，KV Cache卸载的需求必须落地。“持续的上下文的短缺会导致GPU重复的计算……即使整个算力再强，Token的输出效率也会非常低。”他同时表示，除KV Cache外，智能体模型参数、容器环境、共享数据等也对存储提出新要求，中科曙光希望通过存力解决算力的重复计算，并以极致性价比和融合存储解决AI推理全流程。

面对“集中式存储不适用于AI推理”的认知差，郭照斌认为，用户关注点往往在集群规模、弹性扩容和存储能力，后端硬件是服务器还是双控阵列并非关键。无论大规模超算中心还是AI存储，集中式硬件叠加横向扩展、纵向扩展和协议处理能力，可以支撑超大规模集群。“它并不需要说我们去纠正用户一些使用习惯，因为它本来就是并行存在的。”

在传统推理部署方案中，KV Cache属于计算节点的私有资源，不同会话之间无法互通，大量宝贵缓存数据被闲置，算力资源难以充分释放。FN Neo核心突破在于集群级KV Cache池化共享能力，将原本绑定在各个计算节点内部的私有缓存，转变为整个推理集群可调度的共享资源。这意味着推理缓存不再依附于单台服务器，不同模型会话、不同计算节点之间能够灵活读取、复用KV Cache数据。集中式存储的价值也由此拓展，从过去主要承载模型权重、业务文件等传统数据，进一步延伸到推理运行时缓存这一动态高频场景，打通大模型推理性能优化的关键一环。

FN Neo延续了中科曙光高端集中式存储的高性能基因，实测数据显示，其单阵列带宽可达160GB/s、亚毫秒级时延，延迟表现、吞吐量和多请求并发数相比传统本地NVMe方案均有约2倍提升。作为专为AI推理打造的集中式全闪存储，这套方案更可实现模型首Token响应时间缩减73%，整体Token吞吐能力提升150%，显著改善用户交互体验。

面向生产级AI业务，仅有性能突破远远不够，稳定可靠与生态适配同样不可或缺。FN Neo具备99.999%高可靠运行保障，通过慢盘自动隔离、故障无损重构等机制，保障推理业务7×24小时不间断运行。同时，产品打造SAN/NAS/KV三重协议一体化开放生态，可无缝对接vLLM、LMCache、Mooncake等主流推理框架，企业无需大规模改造现有推理环境即可完成接入。通过存力资源池化，减少多节点重复存储开销，提升GPU等昂贵计算硬件的整体利用率。

据介绍，FN Neo基础款为2U 25盘位双控阵列，搭载两颗国产高主频CPU，支持标准IB卡及NVMe over IB，并支持曙光基于IB协议自研的原生RDMA协议和RoCE协议；单阵列25盘位可出160GB/s带宽、300万综合业务IOPS。其通过“超级隧道”技术解决硬件资源竞争和软件锁竞争，去除不可控操作系统，以自定义内存操作、协程操作、无锁原生语义等实现软件路无锁竞争；三级负载均衡让用户只需定义一个卷，即可发挥整个阵列的极致性能。

扩展与成本方面，郭照斌表示，FN Neo控制器可扩展到1024个，支持数据中心级大规模推理；纵向扩展硬盘框满足低成本容量需求，横向扩展控制框实现性能和容量同步扩展，并在全局统一命名空间下完成，用户无需感知扩容过程。成本方面，一台基础版2U 25盘即可满足核心KV Cache卸载，同时原生直出NAS、块协议，超节点集群配置一台外置存储即可满足推理全流程需求，成本降低显而易见。

FN Neo的推出，补齐了AI推理场景下集中式存储的能力拼图，为Agent、长上下文大模型等业务的大规模落地，提供了一套经过工程验证的存力新选择。郭照斌认为，存储能力提升和发展方向仍围绕计算和应用变化，当前存储尚不具备颠覆算力行业的能力，但FN Neo已能很好满足当前AI推理对存储的需求，应会成为用户较好的选择方向。