为了构建GPT-4，微软这次下了血本

本月13日，微软推出了ND H100 v5 VM，该VM使用英伟达目前最先进的GPU芯片的H100-80G，性能比采用A100-80G的 ND A100 v4 虚拟机提高数倍。

以下是ND H100 v5 VM的配置：

• 8x NVIDIA H100 Tensor Core GPU 通过下一代 NVSwitch 和 NVLink 4.0 互联
• 每个虚拟机带宽 3.2Tb/s，每个 GPU 400 Gb/s，使用 NVIDIA Quantum-2 CX7 InfiniBand 构建的非阻塞胖树网络。（NVIDIA Quantum-2 CX7 InfiniBand，指的是利用英伟达的Quantum-2交换机、ConnectX-7网络适配器、BlueField-3数据处理单元(DPU)以及所有支持新架构的软件构建的非阻塞胖树网络。每个 GPU 400 Gb/s，这里有8个GPU，因为是无阻塞，所以是400 Gb/s x 8 =3200Gb/s（3.2Tb/s）,也就是前面说的“每个虚拟机带宽 3.2Tb/s“的由来）
• NVSwitch 和 NVLink 4.0 在每个虚拟机中的 8 个本地 GPU 之间具有 3.6TB/s 的分割带宽
• 第四代英特尔至强可扩展处理器
• PCIE Gen5 主机到 GPU 互连，每个 GPU 带宽为 64GB/s
• 16 通道 4800MHz DDR5 内存

AI深度学习主要考验是GPU计算能力和数据传输带宽，从上面ND H100 v5 VM的特点看出已经全部性能拉满，而这一切正是为了适应GPT-4和以后版本的超算需求。

2019 年，微软和 OpenAI 建立了合作伙伴关系，并于今年延长，以合作开发新的 Azure AI 超级计算技术，加速 AI 的突破，兑现大型语言模型的承诺，并帮助确保 AI 的优势得到广泛分享。

两家公司开始密切合作，在Azure中构建超级计算资源，这些资源旨在使OpenAI能够训练一套不断扩展的日益强大的AI模型。该基础设施包括数千个 NVIDIA AI 优化的 GPU，这些 GPU 在基于NVIDIA Quantum-2 CX7 InfiniBand的高吞吐量、低延迟网络中连接在一起，以实现高性能计算。

GPT-4是OpenAI正在开发的一种新的语言模型，可以生成类似于人类语言的文本。它将进一步提升ChatGPT的技术，后者目前基于GPT-3.5。GPT是生成式预训练变换器（Generative Pre-trained Transformer）的缩写，是一种使用人工神经网络来模仿人类写作的深度学习技术。GPT-4的多模态运行能力可以同时处理文本、图像、语音和视频等多种输入和输出类型 。这意味着它可以从文本生成图像或视频，也可以从图像或视频生成文本或语音。

为了满足OpenAI的超算需求，可以说这次微软下了血本，动用上亿美元构建升级超算平台，迎接人工智能的革命。

参考资料：
微软对Azure的押注如何开启了一场人工智能革命 - 来源 (microsoft.com)