日均6万亿Token服务背后，商汤大装置如何提升推理效能？

10月16日，第十届CSDI Summit中国软件研发智能创新科技峰会在深圳举行。商汤大装置副总裁、CTO宣善明在主论坛发表题为《Agentic时代AI基础设施实践与趋势》的主题演讲，围绕Agentic时代Token增长趋势、异构推理集群实践及AI基础设施新技术探索等话题，分享了商汤大装置在大规模推理服务领域的技术探索与实践。

商汤大装置副总裁、CTO 宣善明

宣善明指出，随着AI应用从对话式问答逐步走向多Agent协作和长任务执行，Token需求呈千倍级增长，AI基础设施正面临需求爆发与算力供给约束并存的新局面。未来，行业竞争的关键不仅是拥有多少算力，而是如何通过架构创新、异构协同和资源调度等，以更低成本、更高效率、更稳定地持续产出高质量Token。

从算力规模到Token产能，AI基础设施迎来效率之变

相较于传统对话式问答，单Agent工具调用、多Agent协作以及长任务、无人值守执行，涉及更多模型调用、推理轮次和上下文处理，Token消耗呈现千倍级增长。与此同时，高端芯片供给受限、存量算力与推理任务的资源需求不匹配等问题，使算力供给难以同步扩张。行业数据显示，2026年推理支出预计占AI IaaS总支出的比重将达55%，预计2027年将升至59%。

与此同时，不同应用对Token的需求也存在明显差异。基础问答更关注单位成本和并发能力，办公Agent、客服等场景则对响应延迟和生成速度有更高要求，而科学探索、金融量化等高价值场景则更加重视结果准确性、可审计性与可追溯性等。首Token延迟（TTFT）、生成速度（OTPS）、长上下文缓存、并发能力、调用成功率等指标，共同决定了Token服务的质量与成本。

宣善明讲到：“这意味着，AI基础设施不能再依赖单一硬件配置满足所有任务，而需要根据不同场景的服务要求，对算力资源进行分层组织和精准调度。从规模扩张转向效率优化，从单点硬件替代转向异构协同，成为Agentic时代AI基础设施的重要发展方向。”

以PD分离为核心，构建万卡级异构推理集群

面对高端算力供给约束与推理需求增长之间的矛盾，商汤大装置探索分离式推理架构，通过PD分离与异构混合调度，让不同类型的算力承担各自更适合的任务。

在大模型推理过程中，Prefill负责处理输入Token，具有较强的计算密集型特征；Decode负责逐步生成输出Token，需要持续读取上下文缓存，对显存带宽有较高要求。PD分离将二者解耦：由适配的国产算力集中承担Prefill任务，由高带宽的高阶GPU承担Decode任务，再通过KV Cache传输连接两个阶段。这一方案并非简单地将不同芯片组合在一起，而是围绕计算特征、显存带宽和任务需求重新组织算力资源。国产算力由此从承担基础推理任务，进一步参与更高层级的推理服务，在满足不同场景服务质量要求的同时，提升混合集群的整体效率与性价比。

基于这一思路，商汤大装置在临港AIDC持续开展异构推理实践，构建起万卡级异构推理集群。实现这一架构，需要解决不同代际、不同类型算力之间的互联问题，在同一集群中融合800G、400G、200G等不同规格的网络，保障Prefill节点与Decode节点之间KV Cache的高效传输。

但是随着集群规模扩大，节点故障和资源闲置也成为新的工程挑战。例如，在部分异构配置中，可能需要30至50个中低阶Prefill节点，才能匹配一个Decode节点的处理能力。一旦Decode节点发生故障，大量Prefill资源也可能随之闲置，影响整体服务效率。

对此，商汤大装置实践了两种优化方式。一种是在Prefill资源池中预留少量高端算力，当Decode节点出现故障时，可以快速调配高端节点进行补位；另一种是让集群中的节点具备Prefill与Decode角色的动态切换能力，根据实时负载和资源压力，灵活调整节点分工，实现算力资源的动态流动与弹性调度。通过这两种方式，可以在降低成本的同时，保障大规模异构集群持续、稳定地输出高质量Token。

围绕这些实践，商汤大装置进一步构建起覆盖能源设施、资源互联、KV数据面、推理运行时、服务调度和交付层的六层架构体系，将异构硬件组织为可统一调度、弹性运行的推理服务体系。

据宣善明介绍，在特定测试配置下，相较于基准方案，在相同数量的高端旗舰卡条件下，通过异构推理与资源协同，整体Token吞吐量可提升至原来的5倍。

从跨域PD分离到AF分离，持续拓展推理架构边界

在大规模异构推理的基础上，商汤大装置还在探索跨域PD分离、AF分离等技术方向，进一步释放分散算力资源的协同潜力。

跨域PD分离旨在打破单个数据中心的资源边界。宣善明讲到，在单个数据中心实现PD分离之后，下一步探索的是跨域PD分离，进一步盘活不同地区的算力资源。商汤大装置在全国与各地政府合作，通过跨域协同，可以由本地中低阶算力承担Prefill，将KV Cache传输至其他地区的高阶算力集群完成Decode，实现跨集群、跨机房乃至跨地域的推理编排。

这一方向的可行性，也与模型架构演进密切相关，1M上下文的KV Cache规模在部分模型中已从近100GB降至约1GB，大幅降低了跨域传输的压力。商汤大装置还探索引入主体Decode节点（MD）和中继Decode节点（RLD），以支持异地场景下的推理编排，这样即使区域不具备完整的高阶算力能力，也可以通过整合不同规模、不同性能的算力资源，推动一体化算力网从资源连接走向任务协同，实现更高吞吐、更高质量的Token服务。

AF分离则进一步将推理过程中的不同计算任务解耦。在Decode阶段，Attention主要负责处理上下文、提取关键信息，对显存容量和带宽要求较高；FFN承担大量矩阵乘法运算，对计算能力要求更高。传统架构将二者绑定在同一套GPU资源上，可能造成资源争抢。AF分离通过将Attention与FFN部署到更适合各自任务特点的硬件上，实现独立扩展与资源优化。

未来，AF分离有望带来单卡吞吐提升150%至200%、运营成本降低30%至40%，整体能效提升至原来的两倍以上。相关收益仍取决于具体模型架构、硬件配置和系统实现，但其技术思路是一致的：持续识别推理过程中的性能瓶颈，通过更细粒度的任务拆分与资源配置，提升整体系统效率。

从PD分离到跨域PD分离，再到AF分离，未来推理架构的持续演进有望进一步释放推理基础设施的性能与成本优势。

从调参艺术走向系统工程，以SLA和成本衡量推理价值

宣善明认为，推理基础设施的优化需要回到两个核心指标：一是端到端的服务质量，即系统能否满足约定的响应速度、生成效率、并发能力和调用成功率；二是成本，即在满足相应服务质量要求的前提下，单位投入能够产生多少有效Token。

这也对基础设施提出了更高要求。国产算力、先进算力与不同模型之间需要持续适配，模型和应用的快速迭代又进一步增加了优化复杂度。只有将硬件配置、模型特征、任务需求与调度策略纳入统一体系，才能在多维组合中持续寻找更优解。

目前，商汤大装置正通过Token工厂模式提升大规模推理服务能力。商汤大装置平台日均Token服务量已达到6万亿，预计2026年全年Token服务规模将实现25倍增长，并在第四季度达到日均10万亿Token规模。

宣善明表示，Agentic 时代稀缺的不是芯片，而是稳定、低成本、高等级持续产出 Token 的系统能力，这涵盖了系统效率、架构创新与产业交付能力的完整体系。从技术实践到业务交付，商汤大装置希望推动推理基础设施从依赖经验的调参过程，走向可度量、可优化、可验收的系统工程，让算力投入最终转化为稳定的Token服务产能。

本文由商汤科技提供，量子位获授权转载，观点归原作者所有。