日均6万亿Token，商汤把国产算力塞进了推理主链路

日均6万亿Token是什么概念？这是商汤大装置平台当前对外提供的Token服务量。在高端芯片供给受限、推理需求却成倍上涨的背景下，这个数字背后是一套围绕异构算力重新组织的推理架构。

10月16日，第十届CSDI Summit中国软件研发智能创新科技峰会在深圳举行。商汤大装置副总裁、CTO宣善明在主论坛发表题为《Agentic时代AI基础设施实践与趋势》的演讲，话题集中在三件事：Token需求的增长趋势、异构推理集群的实践，以及AI基础设施的新技术探索。

宣善明给出的判断是，随着AI应用从对话式问答走向多Agent协作和长任务执行，Token需求呈千倍级增长，AI基础设施正处在需求爆发与算力供给约束并存的新局面。行业竞争的关键不再只是拥有多少算力，而是如何通过架构创新、异构协同和资源调度，以更低成本、更高效率、更稳定地持续产出高质量Token。

推理支出占比正在抬升

单Agent工具调用、多Agent协作以及长任务、无人值守执行，涉及更多模型调用、推理轮次和上下文处理，Token消耗随之呈现千倍级增长。与此同时，高端芯片供给受限、存量算力与推理任务的资源需求不匹配，算力供给难以同步扩张。

行业数据显示，2026年推理支出预计占AI IaaS总支出的比重将达55%，预计2027年将升至59%。不同应用对Token的需求差异也很明显：基础问答更关注单位成本和并发能力，办公Agent、客服等场景对响应延迟和生成速度要求更高，科学探索、金融量化等高价值场景则更重视结果准确性、可审计性与可追溯性。首Token延迟（TTFT）、生成速度（OTPS）、长上下文缓存、并发能力、调用成功率等指标，共同决定了Token服务的质量与成本。

宣善明表示，AI基础设施不能再依赖单一硬件配置满足所有任务，而需要根据不同场景的服务要求，对算力资源进行分层组织和精准调度。从规模扩张转向效率优化，从单点硬件替代转向异构协同，成为Agentic时代AI基础设施的重要发展方向。

PD分离：让国产算力承担Prefill

面对高端算力供给约束与推理需求增长之间的矛盾，商汤大装置探索分离式推理架构，通过PD分离与异构混合调度，让不同类型的算力承担各自更适合的任务。

在大模型推理过程中，Prefill负责处理输入Token，计算密集型特征较强；Decode负责逐步生成输出Token，需要持续读取上下文缓存，对显存带宽要求较高。PD分离将二者解耦：由适配的国产算力集中承担Prefill任务，由高带宽的高阶GPU承担Decode任务，再通过KV Cache传输连接两个阶段。

这一方案并非简单地把不同芯片组合在一起，而是围绕计算特征、显存带宽和任务需求重新组织算力资源。国产算力由此从承担基础推理任务，进一步参与更高层级的推理服务，在满足不同场景服务质量要求的同时，提升混合集群的整体效率与性价比。

基于这一思路，商汤大装置在临港AIDC持续开展异构推理实践，构建起万卡级异构推理集群。实现这一架构，需要解决不同代际、不同类型算力之间的互联问题，在同一集群中融合800G、400G、200G等不同规格的网络，保障Prefill节点与Decode节点之间KV Cache的高效传输。

集群规模扩大后，节点故障和资源闲置成为新的工程挑战。在部分异构配置中，可能需要30至50个中低阶Prefill节点，才能匹配一个Decode节点的处理能力。一旦Decode节点发生故障，大量Prefill资源也可能随之闲置，影响整体服务效率。

对此，商汤大装置实践了两种优化方式：

• 在Prefill资源池中预留少量高端算力，当Decode节点出现故障时，快速调配高端节点进行补位；
• 让集群中的节点具备Prefill与Decode角色的动态切换能力，根据实时负载和资源压力灵活调整节点分工，实现算力资源的动态流动与弹性调度。

围绕这些实践，商汤大装置构建起覆盖能源设施、资源互联、KV数据面、推理运行时、服务调度和交付层的六层架构体系，将异构硬件组织为可统一调度、弹性运行的推理服务体系。据宣善明介绍，在特定测试配置下，相较于基准方案，在相同数量的高端旗舰卡条件下，通过异构推理与资源协同，整体Token吞吐量可提升至原来的5倍。

跨域PD分离与AF分离

在大规模异构推理的基础上，商汤大装置还在探索跨域PD分离、AF分离等技术方向。跨域PD分离旨在打破单个数据中心的资源边界。宣善明讲到，在单个数据中心实现PD分离之后，下一步探索的是跨域PD分离，进一步盘活不同地区的算力资源。商汤大装置在全国与各地政府合作，通过跨域协同，可以由本地中低阶算力承担Prefill，将KV Cache传输至其他地区的高阶算力集群完成Decode，实现跨集群、跨机房乃至跨地域的推理编排。

这一方向的可行性也与模型架构演进密切相关，1M上下文的KV Cache规模在部分模型中已从近100GB降至约1GB，大幅降低了跨域传输的压力。商汤大装置还探索引入主体Decode节点（MD）和中继Decode节点（RLD），以支持异地场景下的推理编排，这样即使区域不具备完整的高阶算力能力，也可以通过整合不同规模、不同性能的算力资源，推动一体化算力网从资源连接走向任务协同。

AF分离则进一步将推理过程中的不同计算任务解耦。在Decode阶段，Attention主要负责处理上下文、提取关键信息，对显存容量和带宽要求较高；FFN承担大量矩阵乘法运算，对计算能力要求更高。传统架构将二者绑定在同一套GPU资源上，可能造成资源争抢。AF分离通过将Attention与FFN部署到更适合各自任务特点的硬件上，实现独立扩展与资源优化。

未来，AF分离有望带来单卡吞吐提升150%至200%、运营成本降低30%至40%，整体能效提升至原来的两倍以上。相关收益仍取决于具体模型架构、硬件配置和系统实现，但其技术思路是一致的：持续识别推理过程中的性能瓶颈，通过更细粒度的任务拆分与资源配置，提升整体系统效率。

宣善明认为，推理基础设施的优化需要回到两个核心指标：一是端到端的服务质量，即系统能否满足约定的响应速度、生成效率、并发能力和调用成功率；二是成本，即在满足相应服务质量要求的前提下，单位投入能够产生多少有效Token。国产算力、先进算力与不同模型之间需要持续适配，模型和应用的快速迭代又进一步增加了优化复杂度。

目前，商汤大装置正通过Token工厂模式提升大规模推理服务能力，平台日均Token服务量已达到6万亿，预计2026年全年Token服务规模将实现25倍增长，并在第四季度达到日均10万亿Token规模。宣善明表示，Agentic时代稀缺的不是芯片，而是稳定、低成本、高等级持续产出Token的系统能力，这涵盖了系统效率、架构创新与产业交付能力的完整体系。