一台H100用了三年，出租价反而比上线时更贵

旧芯片没有按预期贬值

在AI芯片快速迭代的今天，上一代GPU并没有像传统硬件一样迅速贬值。云服务商Lambda联合创始人兼CTO Stephen Balaban近日在播客节目The MAD Podcast中表示，他们2023年部署的那批H100芯片，如今出租价格甚至高于最初上线时。

过去，人们曾期待GPU算力最终会像传统云计算资源一样，随着供应增加和硬件迭代逐渐标准化、商品化：性能越来越高，价格越来越低，不同供应商之间的差异也越来越小。但AI算力并没有完全沿着这条路径发展。

一张GPU能够提供多少价值，越来越取决于它被放进怎样的系统、如何与其他GPU协同，以及这些昂贵设备能否持续被利用。芯片性能仍然重要，但它已经很难单独解释一套AI基础设施能够交付多少算力。

Token在标准化，算力系统没有

前沿大模型正在改变的，并不是算力如何计价，而是算力在什么层级上被商品化。在最上层，AI服务正在把模型输出逐渐标准化为Token，并按Token计费。客户最终购买的计算结果，已经具备越来越明显的商品属性。

但在这些Token背后，生产它们的算力系统却远没有实现同样程度的标准化。原因之一是，前沿AI任务已经很难由一张GPU独立完成。模型参数、计算任务和数据需要被拆分到多张GPU甚至多台服务器上，一次训练或推理能否顺利向前，不再只取决于单张芯片算得有多快，还取决于这些GPU之间能否快速交换数据。

这让AI算力出现了一个和传统标准化计算资源不同的问题：同样数量、同样型号的GPU，并不一定能够交付同样的计算能力。如果GPU之间通信效率不足，芯片就可能花更多时间等待数据；网络拓扑、内存、存储以及软件组织方式的差异，也都会影响最终能够发挥出的算力。新增一张GPU，因此并不意味着系统就能获得一张GPU标称性能对应的新增产出。

超节点把多颗GPU拧成一台机器

也正是在这种背景下，超节点开始成为AI Infra的重要形态。所谓超节点，并不是简单增加GPU数量，而是通过高速互联，把多颗GPU组织成一个紧密协同的计算单元，尽量降低GPU之间交换数据的成本，让它们像一台更大的机器一样工作。

Balaban以英伟达GB300 NVL72为例，一个机架内的72颗GPU通过NVLink高速互联；多个机架进一步扩展时，则通过InfiniBand或高速以太网连接。Lambda建设的大型GPU集群还会采用尽量减少网络阻塞的架构，让不同GPU之间获得足够的通信带宽。

这种系统能力首先服务于大规模训练，但前沿推理也越来越依赖多GPU协同。Balaban提到，小型、经过压缩的模型可以放进单张GPU；更大的模型则可能需要跨多颗GPU、服务器甚至机架运行。因此，GPU型号和数量仍然决定了一套系统拥有多少计算资源，却越来越难单独代表这些资源最终能够交付多少算力。

折旧、经济寿命与三套时间尺度

如果AI算力系统不是一种标准商品，那么“一张GPU值多少钱”，也很难只由芯片型号决定。Balaban称，在一个GPU小时的成本中，占比最大的是设备折旧。GPU、服务器和网络设备采购后会使用多年，最初的投入需要被分摊到后续每一个实际使用小时中。

这背后是一门典型的重资产生意。按照Balaban的估算，一座千兆瓦级AI工厂中，发电设施需要约20亿至30亿美元，数据中心本体约100亿至150亿美元，而服务器和计算设备的投入可达350亿至450亿美元，其中GPU又占据最大的一部分。

因此，判断一张GPU的价值，不能只看它是不是最新一代，更要看它在整个使用周期里还能持续承担多少计算任务、产生多少收入。这也是Balaban判断旧一代GPU仍有较长经济寿命的原因：只要设备仍然能够承担计算任务，并且有持续需求，它就不会因为新一代芯片上市而立刻失去经济价值。

Balaban还提到，不少公司采用约六年的会计折旧周期，但账面折旧年限不等于设备实际能使用多久，更不等于它还能产生收入多久。只要H100仍能承担计算任务，又有人愿意租用，它的经济寿命就可能比市场早期预想得更长。

换句话说，GPU存在至少三套不同的“时间尺度”计量系统：产品迭代决定它是不是最新一代，会计折旧决定账面成本如何分摊，而经济寿命决定它究竟还能产生多久的收入。

Neocloud不是GPU出租商

这也是AI算力系统没有迅速商品化的另一个原因。客户真正需要的，不只是GPU，还包括高速网络、存储、CPU服务器，以及把这些设备组织成集群的软件。训练和推理任务能否运行，取决于整套系统是否能够共同交付计算能力。

这种系统复杂性，也解释了为什么Neocloud不能被简单理解为GPU出租商。Balaban认为，GPU算力并不是一种简单的标准商品，它背后是一项纵向整合的服务，范围从土地、电力许可、数据中心建设，一直延伸到高性能计算设计、虚拟化和云软件。

当算力变成这样一门重资产、强运营的生意，决定成本的下一个问题也随之出现：这些昂贵设备，到底有多少时间真正处于工作状态？一张GPU能工作多久，决定了它还能创造多少价值；而一整套GPU系统能以多高效率工作，则决定了算力最终有多贵。

利用率决定每个Token的真实成本

对客户而言，Token可以按统一单位计价；但在数据中心内部，每一个Token背后的生产成本却千差万别。Balaban给出了一条从能源到Token的链条：最开头是阳光、天然气等能源，它们经过发电设施转化为电力；电力进入数据中心后，一部分用于驱动服务器运行，一部分消耗在制冷、配电等基础设施中；GPU、网络和存储再共同完成计算，最终由模型生成Token并交付给用户。

沿着这条链路，同样一座数据中心、同样数量的GPU，并不意味着同样的Token产出。电力利用效率、GPU之间的通信效率、模型和软件优化，都会影响能源和设备最终能够转化成多少计算结果。

而在Balaban看来，其中一个极其现实的变量就是利用率。GPU、服务器和网络设备不会因为没有任务就停止折旧。如果一张GPU只有一半时间真正用于计算，那么它的设备成本就只能由更少的实际使用小时来承担。Balaban举例称，在50%的利用率下，每个实际GPU小时需要承担的折旧成本相当于翻倍。

因此，AI基础设施面临的问题并不只是“有没有GPU”，而是昂贵的GPU能不能尽可能少地闲置。但到了大型集群，这已经不是找到一张空闲GPU那么简单。Balaban介绍，一个万卡级GPU集群除了GPU本身，还包括负责组织任务的CPU服务器、存储系统，以及承担不同功能的多套网络。

当客户申请其中一部分算力时，供应商实际上需要同时为这项任务划分计算、存储和网络资源，并保证这些资源能够共同工作。这也是调度和集群软件的价值。它们决定一批昂贵的物理设备能否被拆分、组合，再持续交付给不同客户。如果没有这层软件能力，一座拥有大量GPU的数据中心，也很难真正把这些设备变成可以按需使用的算力。