北京
分享至
10月19日消息，近日，在第十届CSDI Summit中国软件研发智能创新科技峰会上，商汤大装置副总裁、CTO宣善明表示，随着AI应用从对话式问答向多Agent协作和长任务执行演进，Token需求呈千倍级增长，AI基础设施竞争正从算力规模转向高质量Token产能。
据宣善明介绍，商汤大装置已在临港AIDC构建万卡级异构推理集群，通过PD分离技术，将大模型推理中的Prefill（预填充）与Decode（解码）阶段解耦，利用不同类型算力承担相应任务，并通过KV Cache传输实现协同。在特定测试配置下，相较于基准方案，采用相同数量高端旗舰卡时，整体Token吞吐量可提升至原来的5倍。
在此基础上，商汤大装置还在探索跨域PD分离和AF分离技术。其中，跨域PD分离可实现跨集群、跨机房及跨地域的推理任务编排；AF分离则将Attention与FFN计算任务部署至不同硬件，以提升资源利用效率。
据介绍，AF分离未来有望实现单卡吞吐量提升150%至200%、运营成本降低30%至40%，整体能效提升至原来的两倍以上。
业务规模方面，商汤大装置平台目前日均Token服务量已达到6万亿，预计2026年全年Token服务规模将实现25倍增长，并计划在第四季度达到日均10万亿Token。
宣善明表示，Agentic时代AI基础设施的核心竞争力，将体现在以更低成本、更高效率和更稳定的服务质量持续产出Token的能力上。（定西）
