北京
8月8日消息，浪潮信息发布面向万亿参数大模型的超节点AI服务器“元脑SD200”。据悉，该产品基于浪潮信息研发的多主机低延迟内存语义通信架构，向上扩展支持64路本土GPU芯片。
元脑SD200可实现单机内运行超万亿参数大模型，并支持多个大模型机内同时运行及多智能体实时协作与按需调用，目前已实现商用。
据介绍，在实际评测中，元脑SD200运行DeepSeek R1和Kimi K2等全参模型的64卡整机推理性能实现超线性扩展。
具体来看，在架构层面，元脑SD200基于自主研发的开放总线交换技术首创多主机三维网格系统架构，实现64路本土GPU芯片高速互连；通过创新远端GPU虚拟映射技术，突破多主机交换域统一编址难题，实现显存统一地址空间扩增8倍，单机可以提供最大4TB显存和64TB内存，为万亿参数、超长序列大模型提供充足键值缓存空间。同时，依托百纳秒级超低延迟链路，构建64卡大高速互连域统一原生内存语义通信，实测结果表明，在推理过程常见的小数据包通信场景中，全规约(All Reduce)性能表现优异，显著提升计算与通信效率。
在系统层面，根据万亿参数大模型计算、通信需求特征，浪潮信息开发智能总线管理系统，实现超节点64卡全局最优路由的自动创建，支持不同拓扑切换，资源按需切分。对于全规约、全聚集(All Gather)等典型通信算子，开展不同数据量大小的细粒度通信策略设计，如多层级通信机制等，实现通信延时进一步降低。同时依托开放的PD分离框架，支持异步KV Cache高效传输与差异化并行策略，在提升业务服务级别目标的同时保持对多元算力的兼容性，实现计算与通信架构的深度协同优化。
据了解，元脑SD200超节点AI服务器通过软硬协同系统创新，向上扩展突破芯片性能边界，在大模型场景中展示出优异的性能表现。结合优化的PD分离框架，SD200超节点满机运行DeepSeek R1全参模型推理性能超线性提升比为3.7倍，满机运行Kimi K2全参模型推理性能超线性提升比为1.7倍。（定西）
本文来源：网易科技报道
责任编辑：
刘钰滢_NBJS31010
