河南
快科技9月8日消息，近日，云原生分布式推理开源项目llm-d正式纳入沐曦曦云C系列GPU支持，这是llm-d官方支持的加速器名单中首次出现国产GPU。
llm-d由Red Hat发起，构建于vLLM、SGLang等推理引擎与Kubernetes之上，目前已交由CNCF（云原生计算基金会）托管。
该项目聚焦前缀缓存感知路由、负载感知调度与Prefill/Decode分离等关键能力，GitHub已获超4400 Star。英伟达GPU、谷歌TPU、AMD GPU、英特尔XPU等主流算力平台均已在该社区形成部署指南。
沐曦股份此次与密瓜智能（Dynamia AI）合作，率先完成曦云C系列GPU在llm-d社区的完整适配，实现了基于曦云C系列GPU硬件环境下的单卡、多卡及Prefill/Decode分离推理部署验证。
大模型从可运行到可规模化服务，算力芯片本身只是起点。芯片能否顺畅接入云原生推理调度体系，才是决定落地效率的关键。
此前，此类国际开源项目的默认配置多以国外芯片为假设前提，国产GPU即便已能运行主流推理引擎，用户仍需自行摸索大量隐性适配细节。
本次适配打通了从芯片到生产级推理系统的最后一公里，为曦云C系列GPU提供了三条开箱即用的部署路径：
优化基线单卡路径：以Qwen3-14B、张量并行TP=1为配置，验证曦云C系列在llm-d标准模型服务栈下的基础推理能力。
优化基线八卡路径：以DeepSeek-R1-Distill-Llama-70B、张量并行TP=8为配置，验证单机八卡下的大参数量模型服务能力。
Prefill/Decode分离路径：以Prefill+1 Decode拓扑运行Qwen3-14B，基于vLLM NixlConnector与llm-d路由Sidecar打通KV缓存跨实例传输链路。
性能标定方面，团队在曦云C系列GPU上完成了llm-d推理路由器的实测：Qwen3-14B单卡配置下测得峰值Prefill吞吐5773 tokens/s，DeepSeek-R1-Distill-Llama-70B八卡配置下测得5468 tokens/s。
两组数据已并入llm-d社区公开标定矩阵，国内用户在沐曦平台部署时可直接引用来自真实硬件的性能基线。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
