AI数据中心的电力囤积困境

要点提示：

电路设计能降低能耗，但IP需要特别关注，因为集成商并未参与其设计。

单个芯片可以根据当下情况在优化电压下运行，使部分芯片以低于其他芯片的功耗运行。

数据中心可以通过使用可用的备用电力来提高电力利用率，同时在电力供应中断时缩减规模。

数据中心是出了名的能源消耗大户。一方面，业界持续努力降低电子设备功耗，以控制整体电力增长；另一方面，数据中心获得的电力供应通常超出其名义所需，以提供冗余保障。

这两个问题正汇聚成当前数据中心电力领域的核心关注点——在最大化利用率的同时最小化组件功耗。

Cadence设计IP产品营销副总裁阿里夫·汗（Arif Khan）表示："空闲功耗是系统中迄今为止最大的电力消耗源。"这是因为部分服务器可能以高于必要水平的电压运行，且电力被预留而未使用。

其他业内人士也认同这一观点，并指出空闲功耗（也称为搁浅电力）日益凸显的重要性。Rambus高级研究员兼杰出发明人史蒂文·伍（Steven Woo）表示："客户现在更公开地讨论这个问题，尤其是在大型数据中心，微小的低效率会迅速累积。工作负载在资源使用方式上各不相同，有时资源被过度配置，有时又配置不足。如果数据中心规划所有资源都达到或接近满负荷利用率，过度配置的资源就会导致电力搁浅；配置不足的资源则可能导致部分资源被充分利用，而其他资源未被利用，同样会造成电力搁浅。"

降低功耗可以通过智能电源架构实现，也可以通过监控性能并调整电压，确保在满足所需性能的前提下使用最低电压来实现。降低功耗能提高效率，但这会增加闲置不用的额外预留电力，从而损害电力利用率。新技术旨在让这些多余的电力得到有效利用。

从节能架构开始

任何未提供实际功能却仍被时钟驱动并消耗能量的闲置电路，都会损害电力效率。大多数定制设计都会考虑节能措施来解决这个问题。

空闲功耗的一个较大来源可能是IP及其接口，这些细节并不在集成商的控制范围内。由于IP是直接购买的，集成商必须了解特定IP包含哪些节能机会，并加以利用。

汗表示："从IP角度来看，这在很大程度上涉及哪些接口进入休眠状态、哪些被唤醒，以及使用哪些通道。随着速度的提升，这些接口变得更加耗电，因此业界做了大量工作来使用功耗优化状态和功耗感知事务。现在我们有了多个层级的待机状态，可供权衡的选项更多了，但这需要操作系统和编排逻辑熟悉这些选项。举例来说，如果你在系统上运行多个任务，即使某个任务未使用某接口，其他任务可能正在使用，因此你只能将功耗降低到最小公分母的水平。"

某些IP可能具有可编译移除的功能，例如比实际所需更宽的接口。在这种情况下，该功能永远不会体现在芯片上。但其他功能确实会体现在芯片中，IP通常会提供在不同功耗状态之间切换、调整时钟频率或调整供电电压的能力。

以AMBA总线为例，它提供了低功耗接口（LPI）端口来管理接口功耗。它有一个所谓的Q通道，用于简单的时钟门控和电源域控制，以及一个P通道，用于在使用多个电源状态时进行更高级的电源管理。它们的粒度决定了控制多少电路。

时钟门控可以有效关闭电路，同时保持电力供应完整。电源门控则需要更多时间，重新上电也是如此。

汗表示："需要尽可能降低功耗。但反过来，也需要考虑将设备重新唤醒所需的时间，并在恢复时间与希望权衡的功耗之间取得平衡。"

动态电压/频率调节（DVFS）是另一种被广泛接受的调整工作状态的方式，系统会根据温度或其他条件选择不同的频率和电压设置。芯片也可能具有外部信号，允许包括软件在内的外部组件根据芯片外部的条件来设置工作状态。

然而，没有哪种IP的影响力能超过片上网络（NoC）。SignatureIP销售与业务开发高级副总裁埃瓦尔德·利斯（Ewald Liess）表示："由于NoC是SoC的骨干，我们必须实施稳健的电源管理方案，为整个芯片节省电力。"该公司在AMBA接口上广泛使用时钟门控和电源状态。"时钟在每个集群内部被主动驱动。在典型的5+5节点配置中，有十个独立门控的时钟。此外，NoC的每个节点都有电源状态，静默/运行事件通过P通道进行协商。"

每颗芯片都是独一无二的

理想情况下，电源架构及其应用方式应对给定芯片的所有单元产生均等影响。但实际上，不同芯片具有不同的运行特性，同一颗芯片在使用数年后的运行状态也可能与出厂时不同。上述架构和电路设计技术必须留有充分裕量，以确保无论芯片处于生命周期的哪个阶段，都能按承诺运行。

proteanTecs系统副总裁诺姆·布鲁萨德（Noam Brousard）表示："功耗与电压的平方成正比。但施加于设备的电压是基于其可能运行的最坏情况来确定的。其理念是，更具挑战性的工作负载、系统和环境条件，以及随时间推移产生的固有老化，都将需要更高的电压来维持性能。然而，所有这些情况同时发生、且一直发生的情况很少见。"

一个例子是芯片老化。硅器件磨损是一种业界多年来一直忽视的现象，但如今已成为重要的性能考量因素。芯片必须留有足够裕量，既要能开箱即用，也要能在预期服务期的最后一天正常运行。因此，供电电压必须设定在芯片老化后仍能正常工作的水平，而这一电压通常高于新芯片所需的电压。

布鲁萨德表示："例如，虽然老化可能需要提高电压进行补偿，但在芯片出厂第一天、老化尚未产生影响时，这种补偿是不需要的。而且，即使设备运行温度较高，当时实际运行的工作负载压力可能反而较小。"

为解决这个问题，电路内监测提供了更大的电路运行灵活性。在测试过程中，可以对单个芯片进行表征，以确定其所需的电压。这使得实时监测系统能够在判断芯片仍可满足性能要求的情况下降低电压。布鲁萨德表示："我们有能力实时测量整个设备中逻辑电路的实际失效裕量。这些裕量直接受到所有可能最终需要更高电压才能使设备满足其规格要求的各种影响因素的累积效应影响。这种可视性使系统能够即时优化电压，以满足设备在任何时刻的需求。通过在不需要这些裕量时回收利用，芯片能以显著更低的电压运行，同时仍满足其运行要求。当出现需要更高电压的情况时——且仅在此时——这一能力才允许电压提升以满足新的需求。"

正如降低功耗有其助益，有时也需要提高功耗。布鲁萨德表示："由于以较低裕量运行，存在这样的风险：运行或环境条件的突然变化可能导致立即需要更高的工作电压。例如，工作负载的突然变化可能导致动态电压跌落（Ldi/dt），从而威胁数字逻辑的时序完整性。"

proteanTecs针对这些场景提供了一种"安全网"，即一种内置的基于硬件的保护机制，使主机系统能够在几个周期内识别并缓解裕量的突然下降。这可能涉及时钟分频或限速，同时将电压重新调整至安全水平，然后再将时钟恢复至正常值。

更重要的是能够持续监测老化情况，从而可以在初期降低电压以节省电力，然后随着芯片老化，在其使用寿命内偶尔提升电压。

数据中心获得的电力有意超出其实际使用量

所有这些节能技术都能降低数据中心的整体能耗，这固然是好事，但接下来呢？数据中心被配置了一定量的电力，而效率的反面就是利用率。如果没有用完所有电力，那么增加更多设备就能利用这些电力。虽然增加设备意味着额外投资，但这远比新建数据中心，甚至在现有数据中心获取更多电力要便宜得多。

Utilidata首席技术官玛丽莎·休蒙（Marissa Hummon）表示："获取电力供应是数据中心运营商业务中最大的时间制约因素之一。如果你只是想从变电站到你的设施新建一条输电线路，这既昂贵又耗时，通常还涉及大量的许可审批和监管规定。即便是在现场新建发电设施，获批也需要一段时间。"

尽管节能可以降低利用率，但这并非电力闲置未用的主要原因。数据中心必须保证可靠性，避免任何停机。电力馈线可能发生故障，因此数据中心通常会超额配置，以防某条馈线中断时，能够从正常工作的馈线重新分配电力。

一种常见方法称为"3-4"配置（常被称为"三变四"），即需要三条100%负荷的馈线，但会额外增加第四条作为备用。所有四条馈线均以75%的负荷运行，这样当其中一条中断时，剩余三条就能提供所需的100%电力。其他配置方式还包括"4+2"（一种"2n"系统的示例），以及"n+1"（意味着比所需数量多一条馈线）。

休蒙表示："英伟达推荐使用三变四系统或n+1系统，但大多数常见的老式数据中心采用的是完全的2n系统。这意味着有两条线路接入，它们各自以50%的负荷运行，这样如果失去其中一条线路，就可以切换到另一条线路以50%的负荷继续供电。"

尽管如此，如今冗余电力仍处于闲置状态。休蒙表示："数据中心为这一容量付了费，公用事业公司也为交付这一容量投入了资本成本，但他们并没有就未使用的容量出售相应的千瓦时电量。一个站点可能被配置了2吉瓦的容量，但站点管理者（考虑到2n配置）实际上只将其视为1吉瓦。而在这1吉瓦范围内，他们通常追求70%到80%的利用率。综合来看，实际输送到计算基础设施的电力大约只占2吉瓦的三分之一。"

如果在故障发生时使用额外的可用电力，那么正在运行的任务总和所需的电力将超过一条馈线中断后可用的电力。在3+1的场景中，如果所有馈线都以比如90%的负荷运行，一旦一条馈线中断，其余三条就必须提供已配置容量的120%——这意味着必然有任务会"断粮"。然而，在保证故障切换能力的同时，利用这部分额外可用电力的诱惑依然存在。

监测系统电力

为解决这一问题，一种合乎逻辑的方法是监测电力，一旦某条馈线发生故障，就缩减运行规模以匹配剩余可用电力。但这是一项艰巨的任务。正在进行的任务必须被取消调度或建立检查点，以确保在可用电力下降时不会出现任何故障。在较短时间内，降低电压和时钟频率可以将总利用率降至馈线缺失情况下可持续的水平。但这需要实时监测和响应能力，而这正是Utilidata所要解决的任务。

休蒙解释道："在停电之前，你确实能在系统中看到预示停电即将来临的瞬态信号。如果我们知道即将发生什么，我们会向那些具有一定灵活性的任务发出信号，让它们降低负荷。如果你原本以总容量的70%运行，在2n系统下，你只需削减20%就能恢复到50%。"

该公司运行两个控制回路。其一是工作负载调度器。休蒙表示："AI工作负载非常动态，调度它们需要对电力、内存和计算可用性有全局把握。我们向调度器提供信号，使其能够改变在GPU间分配任务的方式。"

由于调度和取消调度可能相当复杂，取决于当时的计算状态，这是一个较长时间尺度的控制回路。休蒙指出："我们不进行任务的调度或取消调度。我们可以通过为每个机架/机排/数据大厅提供电力容量预测来影响调度器。调度器以秒为单位运行，因为迁移推理任务意味着要先排空正在处理的请求，然后再将模型权重加载到另一个副本上。"

第二个控制回路速度更快，负责控制本地电力。该系统还可以驱动处理器芯片内部的电力变化。休蒙表示："另一个控制回路直接连接到服务器。我们与DVFS信号（也称为功率上限控制）对接，因此我们是在毫秒级的时间范围内改变电力。"

同样，DVFS控制并非直接进行的。休蒙解释道："我们的技术通过标准服务器接口读取和执行操作。英伟达的管理库为我们提供GPU的电力行为数据，而BMC（基板管理控制器）则为我们提供服务器级别的电力和遥测数据。这些控制接口最终连接到执行DVFS的固件。我们将该接口及其行为纳入机架级电力优化中。仅依靠服务器自身的控制机制，必须估算所有这些服务器加总后在机架上的交流电耗，而我们则以每秒一百万次采样的频率直接测量，从而消除了估算的不确定性。"

这样的技术使得在正常条件下能够使用多余配置的电力，并在必要时留有时间以有序方式回退。休蒙表示："我们的意思是，如果拥有这样的动态系统，你可以让所有四条线路都运行到接近95%甚至98%的负荷。"

有了这样的机会，数据中心或许能够容纳更多服务器。理想情况下，电力不足的时间应该短暂且不频繁，从而能腾出相当可观的新增电力可供使用。在2n配置下，可用电力实际上可以翻倍。

安全成为电力控制的一部分

如果安全措施不到位，这种能力也可能成为入侵系统的一种新方式。休蒙表示："安全从一开始就是设计要求之一。我们维持SOC 2（服务组织控制2）认证，并正在将Karman（监测系统）按照IEC 62443-4-2工业控制系统安全标准进行认证。AI数据中心中的每台服务器都已配备可限制其功率的BMC，每个GPU主机都会向任何拥有足够权限的进程暴露功率限制接口。大规模调节电力的能力本就已经存在，且已经接入网络。我们的技术在这些接口之间进行协调，因此它将目前分散的能力加以集中，我们相应地将该控制单元视为高价值目标加以保护。安全启动和硬件信任根将其限制为仅执行我们已签名的固件，而每个离开设备的接口上的双向身份验证，则杜绝了任何未经身份验证即可执行电力操作的路径。而且，控制回路完全在本地运行，不依赖于互联网连接。"

效率与利用率的交汇点

人们很容易认为，通过在每个单元上节省电力，我们就能整体减少能源消耗。但事实并非如此运作。节省电力意味着更低的利用率，而更低的利用率则意味着有电力被闲置浪费，这部分电力本可以完成更多工作、创造更多收益。

设计人员在不断寻找用更少能源做更多事情的方法。如今，数据中心运营商或许也找到了一种方法，能在现有可用能源的基础上做更多事情——当然，这仍受限于场地空间。这一发展趋势很可能会持续下去，直到数据中心没有更多额外工作可做为止，而这种情况在短期内不会发生。

Q&A

Q1：数据中心为什么会出现电力囤积的问题？

A：数据中心为保证可靠性、避免停机，通常会超额配置电力，以应对电力馈线故障的情况。这种冗余设计导致大量电力被预留却未被实际使用，形成所谓的"搁浅电力"现象。

Q2：如何提高数据中心的电力利用率？

A：可以通过实时监测系统电力状态，在正常情况下使用更多可用的备用电力，一旦检测到馈线故障迹象，就及时缩减运行规模以匹配剩余电力，例如Utilidata公司开发的监测和控制技术就能实现这一目标。

Q3：芯片老化会对数据中心电力管理产生什么影响？

A：芯片老化会导致其需要更高的电压才能维持性能，因此传统做法是从一开始就按最坏情况设定较高电压。而通过电路内实时监测技术，可以根据芯片实际状态动态调整电压，在不需要高电压时降低电压以节省电力。