大模型进入 Agent 时代，海光信息聚焦 Token 产出效率

来源：环球网

【环球网科技综合报道】随着人工智能从单一的对话问答走向具备自主规划与执行能力的 Agent（智能体）时代，AI 应用对底层算力的需求正在发生根本性转变。

在近日举行的 2026 中国计算机大会上，海光信息智算量化设计专家孙建鹏发表了题为《依托系统层级推进 Token 高效吞吐》的主题演讲，分析了 Agent 时代下大模型算力面临的新挑战。随着任务链条不断变长、上下文窗口急剧扩大，大模型需要处理的 Token 数量正呈指数级增长。在这一背景下，算力系统能否稳定、高效地产出 Token，已成为制约行业发展的新关注点。

Agent 时代：算力需求从“峰值”转向“有效产出”

过去，业界在评价算力基础设施时，往往习惯于看单台设备的峰值算力参数。但在 Agent 应用大规模落地的今天，这种评价标准正在逐步失效。孙建鹏在演讲中给出了一组引人深思的数据：当前全球 Token 消耗已达到 650 万亿/日，中国 Token 消耗也达到了 140 万亿/日，且仍在高速增长。伴随主流大模型参数规模向 10T 突破，上下文窗口扩大至 10M 级别，单纯堆叠硬件峰值已经无法满足实际需求。

深入大模型的实际运行场景，便能更加清晰地看到当前算力系统面临的真实痛点。

当大模型处理数十万字的长文本，或 Agent 进行持续数小时的记忆与推理时，庞大的 KV Cache（键值缓存）会快速吞噬显存。受限于高带宽显存（HBM）的容量瓶颈，数据被迫在显存、DRAM 甚至 SSD 之间频繁交换。这种被动的“数据搬运”不仅大幅拉高了访存延迟，更严重拖慢了生成速度。面对 KV Cache 容量随上下文与留存时间线性增长的挑战，业界正通过分层存储与动态冷热调度来破局——让热数据常驻 HBM，冷数据按需下沉，从而减少无效迁移与访存等待。只有打破“存储墙”，算力才不至于在“等数据”中白白空转。

而在分布式集群中，大模型的训练与推理往往需要成百上千张加速卡协同。不同并行策略（如 TP、EP、CP 等）交织下，节点间会产生巨大的通信量。如果在协同过程中数据传输拥堵，即便单卡计算单元跑得再快，也会因等待同步而陷入停滞。这就要求系统具备通信计算重叠、拓扑感知等能力，打破“通信墙”。通过优化通信域规划与链路亲和，海光信息正致力于让网络成为算力系统的“第二算力”，以系统级的通信协同，确保集群整体有效吞吐的稳定输出。

“用户感受到的响应速度，不仅仅取决于单颗芯片的峰值参数，更取决于整套系统能否顺畅配合。”孙建鹏表示，从推理走向 Agent 任务后，应用链路越来越长，系统需要面对的是超大的参数规模、超长的上下文以及超大的 Token 消耗。如果只关注单点设备的峰值，往往会导致“算力空转”，即实际有效吞吐远低于理论峰值。

对此，海光信息总裁助理兼智能计算产品部总经理杜夏威强调，随着 Agent 应用从单次问答向连续推理、自主执行演进，Token 需求持续增长。提升算力价值不能只看芯片峰值性能，更要关注有效 Token 吞吐与系统整体效率。

破墙之道：系统分层与算传存调协同

面对这一挑战，海光提出，从系统层级推进 Token 高效吞吐。孙建鹏将阻碍 Token 高效产出的瓶颈形象地概括为“四堵墙”：算力墙、通信墙、存储墙和调度墙。这四类瓶颈相互叠加，任何一处受限，都会拖慢 Token 的整体产出效率。

如何打破这四堵墙？海光给出了系统级解法——打通软硬件全栈优化链路，并在“算、传、存、调”四个维度上实现全局协同。

在具体实践中，海光提出从应用层、框架层、算子层、运行时、系统层到芯片层进行分层优化。例如，在算子层采用 GroupGEMM 与算子融合，在系统层实现 CPU-GPU 异构协同，在通信领域推进 RCCL 拓扑感知和通信计算重叠。这些局部优化必须通过跨层协同，才能真正转化为端到端的收益。

“协同的本质是匹配，目标是减少等待与无效搬运。”孙建鹏表示。海光通过构建四象限协同优化模型（调×算、算×传、传×存、存×调），实现资源编排协同、计算通信协同、数据搬运协同与容量调度协同。比如，在“存×调”维度，通过缓存感知调度和冷热分层，解决反复重算与排队问题；在“算×传”维度，通过通信重叠和拓扑感知，解决通信拖慢计算的问题。

为了精准定位瓶颈，海光提出了“产出瓶颈四步分析法”：先看端到端现象（是慢还是贵），再拆解分域指标（算力利用率、通信占比、KV 命中率等），进而提出假设，最后用 Roofline 模型、通信量化等证据进行验证。海光正是依托这种基于 3D Roofline 诊断和全栈性能归因的量化分析系统，帮助客户实现从硬件实测、模型解析到架构寻优的科学决策，告别经验主义的盲目试错。

CPU+DCU 双芯协同，夯实国产算力底座

在 Agent 时代，Token 的持续高效产出不仅是技术演进的方向，更是 AI 基础设施建设的核心价值所在。从“以 Token 产出衡量算力价值”出发，海光信息的系统级优化理念正逐步落地。

杜夏威介绍，海光依托 CPU+DCU 双芯协同，围绕任务处理、数据传输、存储访问与资源调度开展系统级优化，减少计算等待和无效数据搬运，并通过量化分析定位系统瓶颈，推动芯片性能转化为更高的 Token 产出效率，为智能应用高效、稳定运行提供支撑。

面向未来，海光信息将继续发挥 CPU+DCU 双芯协同的异构计算优势，让 CPU 负责复杂的逻辑调度与任务编排，DCU 专注高效并行计算，实现算力资源的精细匹配。同时，在金融、政务、医疗等对数据敏感的行业 AI 场景中，海光将安全可信计算理念深度融入系统架构之中，确保从硬件底层到上层应用的全链路安全。

孙建鹏说道，希望以系统量化驱动AI Infra建设与Token高效吞吐。通过全场景覆盖、全链路协同与全周期演进，海光希望推动国产算力持续高效运行，以坚实的系统底座，满足千行百业对稳定、安全、高效 AI 算力的严苛要求，助力中国大模型在 Agent 时代跑出“加速度”。（勃潺）