上海
分享至
7月23日，阿里云灵骏真武M890超节点实例已成功适配Qwen3.8，并上线阿里云百炼平台提供模型推理服务，这是国内首个成功运行超2万亿参数大模型的超节点。
Qwen3.8是阿里最新旗舰模型，参数规模高达2.4万亿，跑通这一规模的模型需要将参数分散到几十张甚至上百张高速互联的GPU卡，让万亿参数“跑得又稳又快”。然而，普通AI集群因通信带宽的局限，无法满足高吞吐、低延迟、高并发的需求。
真武M890是平头哥新一代训推一体AI芯片，原生支持FP32到FP4等多种数据精度，可应用于高精度训练、低精度和超低精度推理的全场景。灵骏真武M890超节点实例通过ICN Switch 1.0互联芯片，让64张真武M890实现了800GB/s的高速互联，显存规模达到9TB，单实例即可支撑大规模2万亿参数MoE模型的专家并行需求。
此外，阿里还从芯片到云平台层面实现了与Qwen模型的全链路优化，不仅可以丝滑跑通Qwen3.8，还能显著提升推理效率、降低推理成本。实测数据显示，通过算子优化和软硬件架构协同，该超节点实例在Agentic推理场景中最多可实现1.5倍的推理性能提升。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
