英伟达仍是王者！GB200贵一倍却暴省15倍，AMD输得彻底

　　新智元报道

　　编辑：桃子

　　【新智元导读】AI推理游戏规则，正悄然改变。一份最新报告揭示了关键转折：如今决定胜负的，不再是单纯的芯片性能或GPU数量，而是 「每一美元能输出多少智能」。

　　AI推理，现已不只看算力硬指标了！

　　Signal65一份最新报告中，英伟达GB200 NVL72是AMD MI350X吞吐量28倍。

　　而且，在高交互场景在，DeepSeek R1每Token成本还能低到15倍。

　　GB200每小时单价大概是贵一倍左右，但这根本不重要。因为机柜级NVLink互联+软件调度能力，彻底改变了成本结构。

　　顶级投资人Ben Pouladian称，「目前的关键不再是算力或GPU数量，而是每一美元能买到多少智能输出」。

　　如今，英伟达仍是王者。其他竞争对手根本做不到这种交互水平，这就是护城河。

　　最关键的是，这还没有集成200亿刀买入Groq的推理能力。

　　这里，再mark下老黄至理名言——The more you buy, the more you save！

　　AI推理重心：一美元输出多少智能？

　　这篇万字报告，探索了从稠密模型（Dense）到混合专家模型（MoE）推理背后的一些本质现象。

　　传统的「稠密模型」架构要求：在生成每个Token时都激活模型里的全部参数。

　　这就意味着：模型越大，运行越慢、成本越高，同时还会带来相应的内存需求增长等问题。

　　MoE架构，正是为了释放更高水平的智能而生——在每个Token上只激活最相关的「专家」。

　　搂一眼Artificial Analysis排行榜即可发现，全球TOP 10开源LLM，全部都是MoE推理模型。

　　它们会在推理阶段额外「加算力」来提高准确性：

　　LLM不会立刻吐出答案，而是先生成中间的推理Token，再输出，相当于先把请求和解法「想一遍」。

　　前16名里有12个是MoE模型

　　这些推理Token往往远多于最终回复，而且可能完全不会展示出来。能否既快又便宜地生成Token，对推理部署来说就变得至关重要。

　　那么，MoE方法的主要约束在哪里？

　　一个核心限制在于「通信瓶颈」。

　　当不同专家分布在多块GPU上时，任何GPU之间通信的延迟，都会让GPU空闲等待数据。

　　OpenRouter一份近期报告，超50%的Token会被路由到推理模型上

　　这些「空转时间」（idle time）代表着被浪费的、低效的算力，并且会直接体现在服务提供商的成本底线上。

　　当评估AI基础设施的「经济性」时，一般会聚焦在三个方面：

　　性能（吞吐量与交互性）

　　能效（在既定功耗预算下，可生成的Token数）

　　总体拥有成本（通常以Token/每百万的成本衡量）

　　基于公开可用的基准测试数据，Signal65对不同LLM架构下AI基础设施方案进行了对比分析。

　　分析中，团队采用第三方基准测试所提供的性能数据，来估算相对的Token经济性。

　　具体来说，他们选取了B200、GB200 NVL72，以及AMD MI355X部分结果，用以对比它们在不同模型场景下的真实性能表现及相应的TCO估算。

　　结果显示，在稠密架构以及较小规模的MoE中，B200性能优于AMD MI355X。

　　当模型扩展到像DeepSeek-R1这样需跨越单节点的前沿级规模时，GB200 NVL72性能最高可达到MI355X的28倍。

　　在高交互性的推理工作负载中，NVL72的单位Token成本最低，可降至其他方案的约1/15。

　　尽管GB200 NVL72的单GPU小时价格几乎是这些竞争平台的2倍，但其机架级能力——从NVLink高速互连，到覆盖72块GPU的软件编排——共同推动了这种显著更优的单位经济性。

　　价值评估的重心，正在从单纯的原始FLOPs，转向「每一美元所获得的总体智能」。

　　这一结论非常明确：

　　随着MoE模型和推理工作负载带来的复杂性与规模持续上升，行业已无法仅依赖芯片层面的性能提升。

　　能够在系统层面实现峰值性能的端到端平台设计，已经成为实现低成本、高响应AI服务的关键杠杆。

　　「稠密模型」推理，英伟达领先

　　Signal65选择了Llama 3.3 70B作为稠密模型的性能基准，结果如下所示：

　　帕累托曲线清晰显示出，HGX B200-TRT方案在整个吞吐量与交互性区间内，都具备持续的性能优势。

　　具体到基线交互性水平，B200的性能大约是MI355X的1.8倍，这为交互式应用部署，以及更高的单GPU并发密度提供了显著余量。

　　再来看，当交互性提升至110 tokens/sec/user时，这一优势进一步被放大：B200吞吐量超过MI355X的6倍。

　　整体上，在Llama 3.3 70B测试中，AMD MI355X在单位成本性能方面确实具备一定吸引力。

　　但这种优势并不能代表更现代的推理技术栈，尤其是以MoE架构和高强度推理工作负载构建的系统。

　　MoE推理，英伟达领先

　　那么，在MoE架构上，英伟达和AMD表现又如何？

　　中等规模推理：gpt-oss-120B

　　Signal65认为，OpenAI gpt-oss-120B是理解MoE部署特性的一个理想「桥梁案例」。

　　它足够大，可以把MoE的复杂性暴露出来；

　　但规模又没有大到离谱，仍然是很多团队能现实部署并调优的范围。

　　它处在一个很有用的中间地带：介于稠密的70B级模型，与市场正在快速转向的、更前沿的推理型MoE架构之间。

　　在10月下旬数据里，当目标是100 tokens/sec/user时，B200大约比MI355X快1.4倍；

　　但当目标提高到250 tokens/sec/user时，差距会扩大到约3.5倍，说明越追求「更快的交互」，平台差异越容易被放大。

　　不过，12月上旬的数据则呈现出不同局面。

　　得益于软件优化，两边平台的绝对性能都明显提升：英伟达单GPU峰值吞吐从大约7,000 tokens/sec提升到超过14,000；AMD也从约6,000提升到大约8,500。

　　前沿推理：DeepSeek-R1

　　在DeepSeek-R1推理上，测试结果正如开篇所介绍那样，英伟达GB200 NVL72大幅领先。

　　更多数据如下图所示：

　　基准测试数据展示了一个被重塑的格局：

　　GB200 NVL72让「超过8块GPU的张量并行配置」也能进入帕累托前沿，达到单节点平台根本无法匹敌的性能。

　　在25 tokens/sec/user交互性目标下，GB200 NVL72单GPU性能大约是H200的10倍，并且超过MI325X单GPU性能的16倍。

　　这类性能差距，正是能为AI服务提供商带来「断崖式」TCO改善的那种差距。

　　当交互性目标提高到60 tokens/sec/user时，GB200 NVL72相比H200带来了超24倍的代际提升，同时也接近MI355X的11.5倍性能。

　　在同样25 tokens/sec/user下，GB200 NVL72单GPU性能大约是B200的2倍、是MI355X的5.9倍；

　　而到60 tokens/sec/user时，这些优势进一步扩大：相对单节点B200达到5.3倍、相对MI355X达到11.5倍。

　　GPU越贵，token成本越低

　　英伟达从Hopper过渡到Blackwell，并推出GB200 NVL72时，不仅提升了每GPU算力、内存带宽以及NVLink互连带宽，还对底层系统架构做了重新设计。

　　从8-GPU风冷HGX服务器转向全液冷的机架级系统，并把72块GPU连接在同一个域内，系统成本和复杂度显然都上升了。

　　据CoreWeave公布的目录价，按单GPU口径，GB200 NVL72价格大约比H200贵1.7倍。

　　不过，每一代新技术的目标之一，就是压低「每Token成本」。

　　对推理而言，具体就是：实际交付的Token吞吐提升幅度，要超过底层基础设施成本的提升幅度。

　　而从公开的性能数据来看，这正是GB200 NVL72相比Hopper所呈现出的结果。

　　Signal65把本次的tokenomics（Token经济学）分析，锚定在前文建立的DeepSeek-R1性能差距上：

　　在25 tokens/sec/user时，GB200 NVL72单GPU性能大约是H200的10倍；

　　在更高的交互点位上，这个差距会更大（24倍）。

　　下表总结了成本归一化，以及由此得到的「每美元性能」计算：

　　这些结果一开始可能有点反直觉：更「贵」的GPU反而更省钱——因为它带来的性能提升远大于价格差异，使得它能以更低成本生成Token。

　　与AMD相比，英伟达系统在推理token成本上的一些数据对比：

　　按单GPU口径，MI355X价格大约只有GB200 NVL72配置的一半；

　　但由于GB200 NVL72单GPU性能优势从低端接近6倍，到高交互性时高达28倍不等，英伟达仍然能提供最高15倍的每美元性能优势。

　　换句话说，英伟达能实现相对每Token成本仅为竞争对手的1/15。

　　结论

　　前沿AI模型的未来，会是更大、更复杂的MoE。

　　随着模型更深地走向MoE与推理架构，最终效果将不再只取决于原始GPU性能或内存容量。

　　平台级设计会成为决定性因素——包括互连与通信效率、多节点扩展特性、软件栈成熟度、生态支持与编排能力，以及在并发与混合负载下维持高利用率的能力。

　　从当前趋势看，来自OpenAI、Meta、Anthropic等前沿公司的旗舰模型，很可能会继续沿着MoE与推理方向演进。

　　如果这一轨迹成立，英伟达将维持关键的性能与经济性优势。

　　谷歌TPU这类架构也提供机架级方案，但它们对非自家模型的适用性与性能表现仍不明确。

　　本文记录的性能差异，能够直接转化为可量化的商业结果：

　　在既定交互性阈值下，每部署一块GPU能服务更多用户，就能降低每个「有用Token」的生成成本，提高每机架的收入潜力（通过规模化交付更高价值的体验），最终AI企业和部署AI的企业获得更好的TCO。

　　一个具体例子足以说明量级：当一个平台在某个交互性目标下，能提供28倍的单GPU吞吐提升时，它可以在不需要线性扩大硬件规模的情况下，解锁新的产品档位以及更复杂的功能。

　　这就是AI推理「经济学」，而它会更偏向那些从底层就为MoE与推理时代而设计的平台。

　　参考资料：

　　https://x.com/kimmonismus/status/2005753458188771768

　　https://signal65.com/research/ai/from-dense-to-mixture-of-experts-the-new-economics-of-ai-inference/