当所有人都在说万卡，真正的差距才刚刚出现

1、万卡，并不是一个数字。 过去一年，国内算力行业频繁出现一个词：万卡。它常常被写进新闻标题，被放在发布会的第一页，被当作某种阶段性胜利的标志。但在行业内部，真正参与过大模型训练的人都清楚：万卡不是规模的炫耀，而是一道门槛。越过它，意味着一种能力；没越过，它只是堆叠。

在多数场合，国内的“万卡”更多服务于推理，或者是低并发、低耦合的计算任务。它们对系统的要求，更多在部署与成本，而不在持续协同。

真正的分水岭在训练。AI大模型的训练要求长时间、高同步、强通信。模型不会等待某一张卡恢复状态，参数也不会为网络抖动停下来。一旦进入万卡规模，问题不再是“单卡算力够不够”，而是系统是否还能像一台机器那样工作。这正是摩尔线程 S5000 万卡集群被反复提及的原因。不是因为它“做到了万卡”，而是因为它把万卡真正用在了训练上。

2、训练型万卡，是一个系统工程

如果我们往回看大模型的发展路径，很容易发现一个被忽略的事实：算力瓶颈从来不只存在于芯片上。在千卡以内，问题往往是单卡性能、显存容量、算子效率。而一旦进入万卡，决定效率的因素迅速转移：

• 芯片之间能否高速、稳定通信

• 通信是否会侵占计算资源

• 系统是否能在数周训练周期中保持一致性

• 出现“慢节点”“静默错误”时，是否能被感知与隔离

这些问题，无法通过堆更多卡解决。

这也是为什么全球范围内，真正能交付训练型万卡集群的企业屈指可数。英伟达是一个；云厂商依赖它的生态是另一个；而在国产体系内，能走到这一层的路径并不多。

摩尔线程选择了一条相对“重”的路线。如果只看参数，摩尔线程的S5000并不是一张“追逐峰值”的卡。它的意义，在于设计之初就假设自己要进入集群。这体现在三个层面：

第一，通信不再是附属能力。在大规模训练中，通信不是配角，而是节拍器。

S5000在架构层面引入了通信卸载机制，把All-Reduce等高频通信任务从计算核心中分离出来，使计算与通信可以并行进行。这不是为了某一个benchmark，而是为了长期训练过程中算力利用率的稳定性。

结果是，在Dense模型训练中，万卡规模下仍能维持较高的 MFU；在通信压力更大的 MoE 模型中，也没有出现系统性塌陷。

这类指标的价值，不在于“好看”，而在于“可持续”。

第二，Scale-up 与 Scale-out 同时成立许多集群在scale-out（跨节点）时依赖专有网络，成本高、风险集中。

S5000 在保持高带宽片间互联的同时，选择兼容标准以太网与 RoCE 协议，构建大规模无阻塞拓扑。这不是技术上的“退而求其次”，而是工程上的现实选择。

当集群规模进入万卡，供应链、部署周期、运维复杂度都会成为系统的一部分。可扩展性，本身就是算力的一部分。

第三，训练结果而非单项性能

在一些联合训练验证中，S5000 万卡集群的 Loss 曲线与国际主流训练集群高度重合，误差控制在可接受范围内。这一点往往被外界低估。实验结果显示，在全程训练中，S5000集群与英伟达H100平台的训练曲线几乎重合，最终训练损失（loss）差异仅为0.62%。甚至在CrossPoint、Q-Spatial、VABench-V任务上，算法效果表现更优。

在行业内部，对一套训练系统是否“站得住”，有一个比性能更苛刻的标准：结果是否一致。

2026年1月，北京智源研究院基于MTT S5000 千卡集群完成RoboBrain 2.5的完整端到端训练与对齐验证。公开数据显示，在全程训练中，S5000集群与H100集群的训练曲线几乎重合，最终损失差异控制在0.62%以内。

这意味着模型从预训练到收敛的全过程没有出现大规模偏移或异常震荡。在大模型训练中，这种一致性往往比峰值算力更难获得。

如果说损失曲线是“是否能跑对”的答案，那么算力利用率则是“是否跑得有效”。

基于S5000 构建的万卡集群，在Dense 模型训练中模型算力利用率达到60%，在通信压力更大的MoE模型中维持在40%左右；从64卡扩展至1024卡，系统仍保持90%以上的线性扩展效率。这组数据意味着，规模扩大时，并没有因为通信或调度瓶颈而让算力被大量浪费。

来自互联网厂商场景的另一组反馈，则更接近真实业务。在端到端训练与推理任务中，单卡1000 TFLOPS 的计算能力与1.6TB/s 的显存带宽为高密度算子提供了底层支撑。但更关键的差异，并不体现在某一次峰值测试上，而是在长时间高负载运行时——系统更少进入等待状态，通信与计算可以并行推进。

它没有试图在某一个指标上“跑得最快”。而是在真实工作负载下，让更多算力被真正用上。

因为对训练而言，“能跑”和“跑对”之间，隔着系统稳定性、精度一致性与调度能力的鸿沟。万卡训练不是展示性能的舞台，而是验证工程能力的压力测试。

如果说 RoboBrain 2.5的0.62% 训练差异证明了“能跑对”，那么最近的一次适配节奏，则体现了“能跟上”。

2月12日，智谱发布GLM-5。当天，基于SGLang推理框架，MTT S5000完成了对 GLM-5 的全流程适配与验证。业内通常把这种同步响应称为 Day-0适配——模型发布当天即可完成运行与验证。

在大模型快速迭代的当下，训练能力只是第一道门槛。真正的挑战在于，架构是否足够通用，软件栈是否足够成熟，使得新模型的计算图、算子组合与精度策略可以被快速吸收，而无需大规模重构。

S5000之所以能够在GLM-5发布当天完成适配，一方面得益于其原生FP8 精度与全功能GPU架构；另一方面，则来自MUSA 软件栈与主流框架的兼容能力。此前在RoboBrain 2.5千卡训练中，其Loss曲线与H100集群高度重合，最终差异控制在0.62%以内，这种工程稳定性，为后续模型迁移提供了基础。

换句话说，万卡训练解决的是“是否具备底层能力”，Day-0 适配解决的是“是否进入主流节奏”。这两者叠加，才构成真正的产业能力。

3、为什么是“全功能 GPU”路线

摩尔线程坚持全功能GPU，而非专用训练ASIC，这一选择在早期并不讨巧。

专用芯片更容易在单一指标上做得极致，也更容易在短期内交付。但训练范式并不稳定，从 CNN 到Transformer，从Dense到MoE，再到多模态与世界模型，算子形态持续变化。

在这种背景下，通用性是一种风险对冲。全功能GPU并不保证在每一次迭代中都领先，但它保证了系统可以被持续改造。

MUSA架构的统一性，使得软件栈、通信机制、调度系统可以围绕同一底座演进，而不是在不同产品线上反复重建。

这是一种偏长期主义的选择。

4、万卡之后，问题并未结束

万卡不是终点。当训练规模继续扩大，功耗、能效、低精度计算、系统级可靠性都会成为新的瓶颈。摩尔线程已经公开讨论下一代架构对十万卡级别的支持，但这条路仍然充满不确定性。

更重要的是，算力的竞争最终不在发布会上完成。它发生在开发者是否愿意迁移，模型是否愿意适配，系统是否在真实训练任务中被反复使用。

万卡集群的意义，不在于“证明可以”，而在于“是否有人愿意长期依赖”。这一点，对所有国产GPU厂商都是未完成的问题。

至少摩尔线程已经跨出了第一步。