山东
分享至
IT之家 12 月 23 日消息，华为数据存储与中科弘云今日发布了 AI 推理加速联合解决方案。
该方案以华为 OceanStor A 系列存储为数据底座，结合中科弘云智算互联网云服务平台 HyperCN 平台，优化长序列推理体验。
该方案深度融合华为 OceanStor A 系列存储、华为 UCM 推理记忆数据管理技术以及中科弘云 HyperCN 平台能力，通过 KV Cache 多级缓存管理、秒级算力调度、分钟级推理大模型部署及全流程 AI 工具链，将智能算力输送至业务一线。该联合方案的核心优势如下：
- 异构管理：支持平台、计算与存储的协同联动，适配英伟达、华为昇腾、寒武纪等多元 AI 算力，兼容 MindSpore / vLLM/SGLang 等主流框架，并通过 Kubernetes 与华为 OceanStor A 系列存储实现无缝对接。
- 算力调度：对算力资源进行细粒度切分与池化处理，按需灵活调度，实现资源利用率最大化；具备集群作业调度、运维监控、故障恢复等功能，支持分钟级任务恢复与系统健康监测。
- 推理加速：依托华为 UCM 技术，将 KV Cache 持久化至华为 OceanStor A 系列存储，实现推理记忆全量保存，减少重复计算；此外，融合 Prefix Cache、GSA 稀疏加速等算法，显著降低首 Token 时延（TTFT），使长序列推理吞吐与体验实现倍数级提升。
- 端到端 AI 工具链：覆盖数据管理标注、算法开发、大小模型训练推理、智能体开发等全流程，支持传统机器学习与深度学习开发，实现 AI 资产的统一建设与集中管理。
经实测，在智能问答的典型推理场景中，该方案实现首 Token 时延（TTFT）降低 57.5%，且序列长度越长，优化效果越显著；在长文档推理场景中，结合 GSA 稀疏加速算法，当序列长度为 39K 时，并发能力提升 86%，推理吞吐提升 36%，提升推理效率与体验。
IT之家从合作公告获悉，该联合方案目前已在能源电力、智能制造、国家实验室等关键行业启动试点应用。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
