大模型竞争升级：不止拼参数规模，更得看系统效率

作者：何新

这两年，大模型行业绕不开的一个词是：参数量。

从百亿到千亿，从千亿到万亿，参数规模一度成了衡量模型技术实力的重要标尺，仿佛只要数字够大，一切问题都会迎刃而解。

但随着AI发展迈入深水区，行业的风向已经开始变了——

模型不仅要足够强，还要跑得足够快。

大家开始不再单单死磕参数，而是在卷规模的同时也更加注重“速度”（Token/s），即每秒能吐多少Token、单Token时延能压到几毫秒、一个Agent任务能不能在秒级完成。

Token速度，正成为观察AI系统推理效率的一个重要窗口。行业正在从不同方向挖掘大模型推理的速度潜力——

比如，近期国内智谱GLM新模型GLM-5.3-Highspeed，单用户跑出了惊人的490tokens/s；知名产业分析机构SemiAnalysis下场，用Kimi K3测算NVIDIA集群的极限推理吞吐与成本曲线；硅谷团队Inferact开源了针对Kimi K3的谷歌TPU算子优化框架，跑出了将NV GB200远远甩在身后的极致速度；浪潮信息发布的元脑SD200 Ultra超节点更是直接把全球最大开源模型Kimi K3的单Token生成速度压到了5.85ms，跑出了国内超节点最快速度170tokens/s……

从国内到国外，从大模型厂商到基础设施厂商，都在把Token生成速度往上拽。

这不是巧合，而是大模型从“能聊天”走向“能干活”之后，整个产业都开始不止卷参数规模，同时也卷速度了。

为什么模型越来越聪明

推理速度却快不起来？

要理解这场速度竞赛，得先看清一个反直觉的事实：大模型推理慢，往往不是因为算力不够，而是因为生成阶段（Decode）的访存受限（Memory-bound），芯片的计算单元大部分时间在空转，等待数据搬运。

简单来说就是，单纯增加芯片，并不一定能让模型按比例跑得更快。真正卡住速度的，是数据搬运效率。

那么，具体卡在哪了呢？主要有两点。

一方面，算子执行之间有着“访存空泡”。

传统推理框架生成一个Token，要发射几百个算子（kernel）。

每个算子大致都是从HBM加载权重、计算、写回结果、再启动下一个，当算子间进行高频切换时，每次切换都会存在启动延迟。

这对于显存带宽而言，便是许多被浪费的“空泡（bubble）”，就像一趟公交车，每站都停，起步、刹车、开门、关门，真正在路上的时间反而少得可怜。

另一方面，跨卡通信存在“等待墙”。

目前，像Kimi K3之类的2.8万亿参数级别的超大模型必须跨卡分布，但在传统松耦合集群中，每解码一个Token，被路由激活的专家都需要在芯片间高频通信。

而这样的跨节点通信，需要经过数据包封装、路由仲裁与排队等环节，导致长尾延迟，从而将整个集群陷入同步阻塞（Barrier），让大量算力在等待中白白流失。

因此，这两个瓶颈的叠加，让“快”从体验问题变成了生存问题——

第一，智能体（Agent）等不起。

当前，大模型已经进化为Agent，角色更像一个能独立推进任务的执行者：拆解目标、制定计划、调用搜索和代码等工具、观察返回结果，发现偏差再回头修正。一个复杂任务跑下来，几十轮循环是家常便饭。

在这样的情况下，如果出词速度只有20~30 tokens/s，一次深层思考链就要几分钟，整个自动化链路将直接被拖到卡死。只有出词速度跑到几百tokens/s，AI才能在秒级完成多轮思考和推理，真正像人一样实时反应，具备可落地的响应能力。

这意味着，Agent要可用，速度是第一道门槛。

第二，成本扛不住。

众所周知，算力基础设施是名副其实的“吞金兽”。

当大模型推理的显存利用率长期偏低，单字生成越慢，昂贵的GPU/加速卡在等待数据时的空转电费和机器折旧就越高，每生成一个Token，背后都有一大笔固定成本在分摊。

更麻烦的是，如果单个Token的生成速度上不去，单位成本就压不下来。

在API价格战越打越激烈的环境中，厂商一边需要降价抢市场，一边还得承担高昂的推理成本，等于在持续失血，恐将难以为继。

所以，行业追求“快”其实是在追求“算力利用率（MFU）最大化”，从而将单Token成本压到商业盈利线以内。

第三，投机解码（Speculative Decoding）难放大。

值得注意的是，现代高性能推理广泛依赖“投机解码”，即让小模型先猜多个候选词，再让大模型一步批量验证。

这样的路径意味着，如果底层大模型的每一步裸验证速度（Base Decode Latency）不够快，即使算法接受率成倍增加，整体吞吐量也难以增加。

如果吞吐量卡住了，那么体验、效率、收益、发展都将受阻。

可见，速度不再是锦上添花的体验指标，而是决定AI能否从“可用”走向“好用”、从“技术演示”走向“产业落地”的底层门槛。只有在卷参数规模的同时把Token生成速度也提上去，才算拿到了Agent规模化落地和商业闭环的入场券。

为了实现“快”

中国算力的破局之路

问题来了，如何才能让AI跑出极限速度呢？

目前大家比较熟知答案是，精进芯片制程，制程越先进自然越有优势，但我们也不能光指望芯片制程的突破，深入芯片内部、主板总线乃至整个系统也是重要的突破方向。

基于此，以浪潮信息的元脑SD200 Ultra为代表的基础设施团队，展示了一条贯穿算力系统跑出一流性能的实战路线——

一方面，针对细粒度算子的“访存空泡”问题，超级算子把“走走停停”变成“一站直达”。

浪潮信息的元脑SD200 Ultra通过使用Kimi K3构建超级算子智能体，将KDA、Gated MLA、MoE中的众多基础算子融合为计算与通信协同执行的大算子。

结果是，浪潮信息不仅做到了通算融合和Tile级细粒度流水线设计，将原本独立的通信耗时，放到了矩阵计算的过程中，实现了数据还在传输、算力已经开始预热的高效调度，消灭了流水线停顿，还把算子数量降低了10倍，大幅减少了算子的启动次数和HBM访问开销，提升了GPU整体执行效率。

这和Inferact把92层MoE全部装进单个Megakernel的思路异曲同工，本质都是在拆掉算子边界，挤干显存带宽切换的浪费，让装卸货和行驶同步进行，把“公交车”变成了“高铁”。

值得一提的是，超级算子还能让AI自己搓代码。

随着AI的飞速发展，手写极致性能的跨卡融合算子对工程师来说已经逼近人力极限，国内外工程团队都在探索用大模型自身来编写优化底层算子。

因此，浪潮信息用“K3优化K3”，实现了Kimi K3在元脑SD200 Ultra上的推理性能提升3倍以上，让大模型自动推演硬件资源分配，实现系统软件栈自我进化，不断推进AI的极限速度。

另一方面，对于跨卡通信的等待问题， 紧致扩展、统一寻址与对称内存让跨卡访问像隔壁串门。

浪潮信息将数据中心网络（Scale-out）整体降维进单机柜内部（Scale-up）创新Co-Fabric互连架构，把计算域总线范式从xPU域扩展到覆盖全部系统资源（计算、存储、网络与管理），纳入单一互连网络。

简单来说，就是通过提供跨主机域的统一寻址、具备Load/Store语义的原生P2P通信以及精简的协议栈，Co-Fabric旨在建立一个统一的数据搬运平面，打破主机域边界，最大化整个超级节点端到端的数据搬运效率。

以元脑SD200 Ultra为例，基于128芯本土AI芯片，构建3D Hyper-Mesh紧耦合拓扑，并通过提供统一编址，再结合原生内存语义通信，直接减少了跨芯片访问中的中转和数据搬移，实现了系统内0.69微秒的极低延迟通信

与此同时，通过全局统一编址、虚拟影子设备映射、跨域地址翻译与路由，元脑SD200 Ultra实现了GPU跨主机域的统一寻址访问，大幅降低了通信开销

更关键的是，对称内存技术直接减少了地址转换、避免了缓冲区中转，从而缩短了数据交换路径，做到了远端显存访问也能像读本地显存一样自然，将集合通信耗时硬生生压缩了3.5倍。

可见，浪潮信息将跨卡通信变成了从“跨城寄快递”变成了“同一栋楼里串门”，极大程度上减少了等待时间和成本。

不难看出，浪潮信息其实是在芯片制程受限的现实下，把芯片、互联、算子、软件栈全栈拉通，用系统级协同去逼近速度极限，让前沿模型的能力真正转化为千行百业可负担、可获取的智能供给。

“快”字背后

AI行业从提供算力走向生产智能

总而言之，从GLM的极速展示，到SemiAnalysis聚焦的软硬架构解法，再到Inferact与浪潮信息在 Kimi K3上交出的系统答卷，这些信号都在表明同一个趋势：大模型推理的下半场竞争，主战场已经开始转移到系统级工程。

也就是说，在单芯片摩尔定律放缓、先进制程受限的客观现实下，参数规模不再是衡量技术实力的唯一标尺，单纯比拼算力的时代正在画上句号：继续只盯着一颗芯片的峰值性能，边际收益越来越小；真正的增量，藏在芯片之间、系统之内。

这背后，是Agent时代，AI算力行业的竞争逻辑正在升级：从“提供算力”走向“生产智能”从单点硬件性能的比拼，转向全栈系统能力与开放生态的协同。

这意味着，谁能把智能变成像水电一样可负担、可持续供给的社会基础设施，谁才能在下一轮智能化浪潮中定义行业格局。