微软发布2nm芯片，加速抛弃英伟达！

在多年依赖英伟达（Nvidia）图形处理单元（GPU）之后，这家软件巨头正试图强化其人工智能技术栈，并将加大对其自研人工智能芯片的使用力度。

微软表示，将以周一发布的第三代 Maia AI 加速器为起点，主要依靠自研芯片来处理各类请求。

微软在人工智能领域最大的优势在于其 Azure 云平台，该平台为客户运行着一系列模型。其 Microsoft 365 Copilot 和 GitHub Copilot 为软件工程师及其他办公人员提供人工智能驱动的服务。此外，该公司也开发自有模型，尽管在由 OpenAI、Anthropic 和谷歌（Google）主导的市场中，这些模型尚未引起巨大反响。

芯片领域涌现出的机遇，源于市场对高性能处理器持续不断的需求，以及对多样化选择的渴望。英伟达的 GPU 一直是人工智能工作负载和模型的行业标杆，不仅广泛应用于微软现有的数据中心，还用于训练 OpenAI 和 Anthropic 的模型。

然而，随着需求不断增长，处于行业领先地位的模型开发商已开始采用来自亚马逊（Amazon）、AMD、Cerebras、谷歌以及（近几个月加入行列的）微软等公司的各类芯片。

在通用计算方面，微软已在使用自研中央处理器（CPU）以及英特尔（Intel）和 AMD 的芯片。微软首席财务官艾米·胡德（Amy Hood）上个月在高盛（Goldman Sachs）的一次会议上表示，使用自研芯片有助于“在过去十年间改善利润率”。

微软于 2023 年推出了首款人工智能芯片 Maia 100。今年 1 月，该公司大力推介了 Maia 200；首席执行官萨提亚·纳德拉（Satya Nadella）在 7 月向分析师表示，Maia 200 的“性价比（每美元性能）比我们现有硬件中的最新一代产品高出 30%”，并透露该芯片正用于处理 OpenAI 的模型。

Maia 300 芯片将于 2027 年投产。据微软执行副总裁斯科特·格思里（Scott Guthrie）在博客文章中透露，微软计划部署总功率达数吉瓦（gigawatt）规模的 Maia 系列芯片。不过，总经理阿利斯泰尔·斯皮尔斯（Alistair Speirs）拒绝透露具体的时间表。 “我们在这一方面保留了一定的灵活性，因为这是一个瞬息万变的行业，我们希望在合适的时机，为所使用的合适模型部署合适的芯片，”Speirs 说道。

微软计划在每个数据中心机架中部署 96 颗 Maia 300 芯片，这一数量是 Maia 200 的两倍。与 GPU 相比，新版本每个机架可处理的 AI Token数量最高可达原来的七倍，且每兆瓦功率下的 Token 处理量增加了 40%。

“我们需要新的架构，以便从根本上获得更佳的性能，并更有效地利用现有电力，”Speirs 说道，“对于数据中心而言，电力消耗往往会直接转化为运营成本。”

微软技术院士 Jim Kleewein 表示，借助 Maia 300，Microsoft 365 Copilot 的部分功能运行速度有望提升。

Evercore ISI 的分析师在周三发布给客户的报告中预测，到 2027 年第一季度，Maia 芯片将占微软 AI 芯片总支出的约 10%。这些分析师建议买入微软股票。

英伟达（Nvidia）仍将发挥重要作用。在上周微软宣布推出搭载英伟达处理器的 Surface 笔记本电脑的活动上，英伟达首席执行官黄仁勋（Jensen Huang）也发表了讲话。Speirs 提到，在模型训练方面，微软与英伟达及 AMD 均有合作。

与谷歌的张量处理单元（TPU）或亚马逊的 Inferentia 和 Trainium 芯片不同，微软的这些加速器无法按小时出租给其他公司使用。

咨询公司 Moor Insights and Strategy 的首席执行官 Patrick Moorhead 表示：“目前还没有任何微软以外的机构对这些芯片进行过测试。”

微软发布 Maia 300 AI 芯片

自诞生之初，Azure Maia 就秉持着一个核心架构理念：优化整个系统以支持 LLM 推理，从而最大限度地利用每一瓦特和每一美元的资源，提升智能水平。

如今， 第 Maia 300 正是这一理念的完美体现。Maia 300 被构建为一个完整的系统，其软件、芯片、物理机架基础设施、网络和数据中心均经过协同设计，作为一个统一的平台运行，以满足云规模智能推理的需求。

随着包括多步骤执行、长上下文解码和工具使用在内的智能体工作负载不断改变推理的计算特性和运算强度，这种系统级方法变得日益必要。满足这些需求需要维持局部性，为计算提供足够的内存容量和带宽，最大限度地减少数据传输，高效地扩展通信，并在数据中心有限的电力和冷却能力范围内实现最大的计算能力。

在微软，我们通过客户每天使用的产品和平台（从Microsoft Copilot和GitHub Copilot到 Microsoft Foundry）亲身见证了这种变革。大规模运行这些工作负载让我们能够以独特的视角了解人工智能在各行各业的普及情况，以及支持下一代人工智能应用和代理所需的基础设施。Maia 300 旨在最大限度地提高每瓦和每美元的可用token数，从而为这些产品以及微软更广泛的人工智能产品组合带来更高的容量、功能和性能，最终惠及我们的客户。

通过软件定义数据流实现节能推理

Maia 200 引入了一种名为“软件定义本地访问数据流架构”（Software Defined Locally Accessed Dataflow Architecture，简称 SDLA）的新型加速器架构。该架构基于这样的观察：高效的数据管理，包括数据的存储、移动和转换，是现代人工智能系统面临的核心挑战之一。Maia 可编程数据流架构将控制路径编程与数据路径执行分离，并允许软件显式地协调数据在专用本地存储器、DMA 引擎、计算引擎和网络之间的放置、移动、转换和同步。

Maia 300 针对长上下文、推理密集型和解码密集型推理任务，对该架构进行了改进。首先，内存从 SoC 的统一内存访问 (UMA) 组织结构迁移到跨芯片的局部性感知非统一 (NUMA)组织结构，从而使软件能够将数据放置在靠近使用它的计算单元的位置。其次，采用硬件加速数据类型转换的新型窄精度格式减少了每个标记移动的字节数。第三，机架上的加速器数量翻倍至 96 个，扩展域扩展到包含 12,288 个加速器的超级扩展舱，使更多加速器能够作为一个整体系统高效运行。

Maia 300 并非仅仅通过增加功率和硅面积来提升性能，而是通过一系列架构创新来提高每瓦性能，从而优化整个系统的数据传输、局部性、精度和内存效率：

1、多芯片架构通过将计算功能置于台积电N2P芯片上来提升性能，该先进工艺可实现最高的每瓦性能优势；同时，将内存控制器和I/O功能分离到针对带宽、连接性和成本优化的芯片上。这增加了用于计算性能的硅片面积，并使每个功能都能使用最适合其角色的技术，而SDLA则负责管理封装内的局部性和数据传输。该策略使系统的计算浮点运算能力提高了36%，HBM带宽提高了2.5倍，并且提供了14%的扩展带宽。

2、优化了低精度推理，引入了增强型 MXFP4 和 3 位以下存储格式。更窄的表示形式减少了内存占用和数据移动，使系统能够在相同的功耗范围内支持更大的模型、更长的上下文和更多的并发会话。

3、通过 ISA 增强优化推理内核：向量引擎为关键推理内核添加了优化，包括 softmax、低精度数据转换和其他操作。

Maia 300采用高效的片上数据传输方式，将内存组织从统一结构改为跨芯片的非统一（NUMA）结构。每个计算区域都拥有相邻的内存，SDLA 对 DMA 引擎、本地 SRAM、HBM 和片上网络的显式控制，将数据放置在使用它的计算区域附近。数据传输距离更短，从而降低了数据传输所需的能量。

该内存层次结构针对每瓦带宽进行了优化，结合了软件管理的片上SRAM和八个HBM4堆栈，每个加速器可提供288GB的容量和18TB/s的带宽。

与Maia 200相比，其内存带宽提升了2.5倍，容量提升了33%，HBM每瓦带宽提升了约2倍，从而使更多的模型和键值状态更接近计算节点。

与 Maia 200 相比，Maia 300 的内存带宽提高了 2.5 倍，容量增加了 33%，每瓦 HBM 带宽也提高了约 2 倍。

一种scale-up fabric： 从Pod到Super Pod

Maia 300 将网络原生扩展为软件定义数据流架构的一部分。Maia 的 AI 网络控制器实现了基于以太网的定制化 AI 传输。双层网络构建了一个高性能超级集群，最多可容纳 12,288 个加速器。Maia 向软件提供统一的通信模型——相同的语义即可将数据直接传输到超级集群内的任何加速器。

1、半交换式机架内拓扑结构：

每个加速器将其扩展连接分为直接链路和交换路径两部分。直接链路连接托盘中的两个加速器，而交换结构连接机架中的所有 96 个加速器，形成一个加速器组。所有机架内连接均采用电气链路，以降低功耗和成本。

2、跨机架的光纤二层

交换机将多达 128 个机架连接在一起，形成一个超级集群。光纤提供了跨集群扩展网络所需的传输距离。

3、采用单一架构而非独立的纵向扩展和横向扩展域。

集成的网络控制器和专用AI传输在Pod内部以及整个SuperPod中使用相同的通信语义。Maia加速器可以直接与SuperPod中的任何加速器发起通信，而无需主机或独立的横向扩展网卡。

4、低跳通信路径

存在三个延迟域：直接连接的加速器对延迟最低；同一 pod 内的加速器之间相隔一个交换机跳；跨 pod 的加速器之间相隔三个交换机跳。软件可以将对延迟敏感的张量并行流量限制在最低延迟域内。

5、分配给工作负载的带宽：

每个加速器的机架内带宽和跨机架带宽分配并非在系统设计时固定，而是一个根据作业打包情况而设定的参数。当只有一部分加速器进行跨机架作业时，单个加速器可以向超级机架内的任何对等节点提供高达 750 GB/s 的带宽。请参阅下面的备用托架示例。

6、灵活的作业放置方式：

张量并行可以保留在96加速器机架内，而更广泛的专家并行和流水线并行则可以跨机架运行。作业可以跨机架边界使用容量，从而减少工作负载大小与物理机架配置不匹配时加速器的闲置情况。

7、在扩展域内进行解耦推理：

预填充和解码工作节点可以独立调整大小和部署。预填充计算完成后，键值状态会通过同一扩展架构直接传输到选定的解码工作节点，而无需通过单独的主机介导的横向扩展路径离开域。

8、跨机架弹性：

当加速器不可用时，调度器可以透明地使用超级节点内其他机架中的热备容量，这对软件内核完全无害。工作负载仍然运行在可扩展架构上，以增加路径延迟为代价，换取更高的可用性和资源利用率。

机架级架构，提升部署效率

在数据中心规模下，效率取决于在固定的电力和冷却条件下能够部署和运行多少有效的基础设施。Maia 300 机架基于 Maia SoC 架构的基础能效，在服务器布局和密度、网络拓扑和交换、电源和冷却设计以及高级遥测技术方面进行了协同设计，与 Maia 200 相比，每瓦性能提升高达 2.5 倍。

Maia 300是一款 167 kW 的超级计算机，它将 96 个加速器集成在 24 个四槽托架中，安装在一个 167 kW 的机架内，加速器密度是 Maia 200 的两倍。每个托架包含四个加速器及其主机处理器、内存、存储和冷却系统。省去了单独的主机托架，释放了机架空间，并将电源和散热资源整合到一个系统中进行管理，从而提高了每个机架的推理能力。

六个高基数交换机ASIC集成到三个液冷交换机托架中，为所有96个加速器提供所需的机架本地连接，同时最大限度地减少交换所占用的空间和功耗。

双电源输入、大容量电源架和 50V 母线架构可高效地将电力分配至加速器和交换机托架，同时提供运行冗余。集成的机架自动转换开关即使在单个电源输入因维护而离线时，也能保持高可用性。

液冷可去除机架中超过 80% 的热负荷，这些热负荷主要来自加速器、电压调节器和交换机 ASIC；而风冷则用于内存、存储和其他辅助组件。Maia 300 可以直接连接到现有数据中心的供水系统（如有），或者在风冷数据中心环境中使用热交换器来散热。这使得系统能够更灵活地大规模部署。

我们已将部署经验融入其中，以增强可靠性、可用性和可维护性 (RAS)、可观测性、可调试性、故障处理和冗余性，从而在部署更多容量时提升系统的稳健性。机架级和行级电源遥测技术与数据中心运维相连接，使用户能够根据可用电力和冷却能力来管理运行点。这些数据为动态分配电力、优化工作负载放置和部署密度的算法提供信息，从而提高每瓦的利用率和交付的token数。

Maia 300 的功能

Maia 300 是旨在大规模部署高效人工智能系统的多代计划中的下一步。该设计从软件、芯片、物理机架基础设施、网络到数据中心等各个方面都进行了端到端优化，从而显著提升了云规模智能推理的性能和效率。

与 Maia 200 相比，Maia 300 在满配 96 加速器配置下，机架级token吞吐量提升高达 7 倍，每瓦性能提升超过 2.5 倍。它拥有更高的每瓦内存带宽和两倍的机架加速器数量，并基于我们的软件定义数据流架构 SDLA 和双层纵向扩展网络，支持从内核到数据中心规模的单一编程模型。这些进步使我们能够更高效地为更多用户和组织提供更有用的智能信息。

与 Maia 200 相比，Maia 300 的机架级令牌吞吐量最高可提升 7 倍，每瓦性能提升超过 2.5 倍。

未来的机遇不仅仅在于构建更强大的计算能力，更在于让先进的人工智能技术更加普及、经济实惠且实用。Maia 300 是朝着这个目标迈出的重要一步。