微软为ChatGPT打造的超级计算机

ChatGPT背后的超级计算机：微软如何用数亿美元打造AI算力基石

ChatGPT能够成为火遍全球的顶流模型，离不开背后超强的算力支持。数据显示，ChatGPT的总算力消耗约为3640 PF-days（即假如每秒计算一千万亿次，需要计算3640天）。那么，支撑它的那台微软专为OpenAI打造的超级计算机，究竟是如何诞生的？本文将从硬件配置、合作历程、技术挑战等方面，为你全面揭秘这台超级昂贵的超级计算机，以及Azure的重磅升级。

一、超级计算机的诞生背景：从大胆构想到数亿美元投入

1. 一个改变人机交互方式的大胆想法

大约五年前，OpenAI向微软提出了一个大胆的想法——建立一个可以永远改变人机交互方式的人工智能系统。当时，没人能想到，这将意味着AI可以用纯语言创造出人类所描述的任何图片，人类可以用聊天机器人来写诗、写歌词、写论文、写邮件、写菜单……

2. 微软面临的难题：硬件与系统双重挑战

为了建立这个系统，OpenAI需要大量算力——可以真正支撑起超大规模计算的那种。但问题是，当时既没有能满足OpenAI需要的硬件，也无法确定在Azure云服务中构建这样庞大的超级计算机会不会直接把系统搞崩。微软随后开启了一段艰难的摸索。

3. 数亿美元的投资回报

微软斥资数亿美元，在Azure云计算平台上将几万个Nvidia A100芯片连接在一起，并改造了服务器机架。为了给OpenAI量身打造这个超算平台，微软十分尽心，一直在密切关注着OpenAI的需求。微软负责云计算和人工智能的执行副总裁Scott Guthrie透露，成本「可能不止」几亿美元。如今来看，这笔投资显然没白花——ChatGPT由此诞生，微软在1月初又向OpenAI狂砸100亿美元。

二、OpenAI出的难题：前所未有的基础设施规模

微软负责战略合作伙伴关系的高管Phil Waymouth指出，OpenAI训练模型所需要的云计算基础设施规模，是业内前所未有的。呈指数级增长的网络GPU集群规模，超过了业内任何人试图构建的程度。微软之所以下定决心与OpenAI合作，是因为坚信，这种前所未有的基础设施规模将改变历史，造出全新的AI和全新的编程平台。

在这台超算上，OpenAI能够训练的模型越来越强大，解锁了AI工具令人惊叹的功能。目前，微软的办公软件帝国已经初具规模：ChatGPT版必应可以帮我们搜索假期安排；Viva Sales中的聊天机器人可以帮营销人员写邮件；GitHub Copilot可以帮开发者续写代码；Azure OpenAI 服务可以让我们访问OpenAI的大语言模型。

三、与英伟达联手：打造世界最强AI超级计算机之一

在去年11月，微软就曾官宣，要与Nvidia联手构建「世界上最强大的AI超级计算机之一」，来处理训练和扩展AI所需的巨大计算负载。这台超级计算机基于微软的Azure云基础设施，使用了数以万计个Nvidia H100和A100 Tensor Core GPU，以及其Quantum-2 InfiniBand网络平台。Nvidia表示，这台超级计算机可用于研究和加速DALL-E和Stable Diffusion等生成式AI模型。

技术细节：ND H100 v5虚拟机规格

基于此，微软官宣了最新的ND H100 v5虚拟机，具体规格如下：

• 8个NVIDIA H100 Tensor Core GPU通过下一代NVSwitch和NVLink 4.0互联
• 每个GPU有400 Gb/s的NVIDIA Quantum-2 CX7 InfiniBand，每个虚拟机有3.2Tb/s的无阻塞胖树型网络
• NVSwitch和NVLink 4.0在每个虚拟机的8个本地GPU之间具有3.6TB/s的双向带宽
• 第四代英特尔至强可扩展处理器
• PCIE Gen5到GPU互连，每个GPU有64GB/s带宽
• 16通道4800MHz DDR5 DIMM

四、大规模AI训练的关键：构建、操作与优化

1. 核心难题

完成这些突破的关键在于：如何构建、操作和维护数万个在高吞吐量、低延迟InfiniBand网络上互连的共置GPU。这个规模远远超出了GPU和网络设备供应商测试的范围，完全是一片未知领域。微软Azure高性能计算和人工智能产品负责人Nidhi Chappell解释道，在LLM的训练过程中，大规模计算通常会被划分到一个集群中的数千个GPU上。在被称为allreduce的阶段，GPU之间会互相交换信息，此时需要通过InfiniBand网络进行加速，从而让GPU在下一块计算开始之前完成。

2. 系统级优化

由于这些工作跨越数千个GPU，除了要确保基础设施的可靠外，还需要大量系统级优化才能实现最佳性能。所谓系统级优化，包括能够有效利用GPU和网络设备的软件。在过去的几年里，微软已经开发出了这种技术，使训练具有几十万亿个参数的模型的能力得到增长，同时降低了训练和在生产中提供这些模型的资源要求和时间。

3. 基础设施保障

微软必须确保能够冷却所有机器和芯片。例如，在较凉爽的气候下使用外部空气，在炎热的气候下使用高科技蒸发冷却器。此外，由于所有机器同时启动，微软还不得不考虑它们和电源的摆放位置，就像厨房里同时打开微波炉、烤面包机和吸尘器时可能发生的情况——只不过这是数据中心的版本。

微软Azure全球基础设施总监Alistair Speirs表示，微软与合作伙伴一直在逐步增加GPU集群的容量，发展InfiniBand网络，看看他们能在多大程度上推动保持GPU集群运行所需的数据中心基础设施，包括冷却系统、不间断电源系统和备用发电机。

五、全新虚拟机：ND H100 v5 带来更强算力

在上面这个基础架构上，微软一直在继续改进。今天，微软官宣了全新的可大规模扩展虚拟机，这些虚拟机集成了最新的NVIDIA H100 Tensor Core GPU 和 NVIDIA Quantum-2 InfiniBand 网络。通过虚拟机，微软可以向客户提供基础设施，根据任何AI任务的规模进行扩展。据微软称，Azure的新ND H100 v5 虚拟机为开发者提供卓越的性能，同时调用数千个GPU。微软AI平台公司副总裁Eric Boyd表示，这种为大型语言模型训练和下一波AI创新而优化的超算能力，已经可以在Azure云服务中直接获得。并且微软通过与OpenAI的合作，积累了大量经验，当其他合作方找来、想要同样的基础设施时，微软也可以提供。现在，微软的Azure数据中心已经覆盖了全球60多个地区。

小提示：如果你计划在Azure上使用ND H100 v5虚拟机进行大规模AI训练，建议提前与微软技术支持沟通，了解数据中心所在地区的冷却和电力保障措施，确保长时间稳定运行。

常见问题 (FAQ)

Q1: 为什么微软要花数亿美元为OpenAI造超级计算机？

A: 因为训练ChatGPT这样的超大规模语言模型需要前所未有的算力。传统数据中心无法满足要求，微软必须从零开始设计一套可扩展、高可靠的基础设施。这笔投资最终获得了回报——ChatGPT的成功不仅改变了AI行业，也推动了微软整个办公软件帝国的升级。

Q2: 这台超级计算机使用了多少颗GPU？

A: 微软使用了数万颗Nvidia A100芯片（早期），后来升级到包含H100和A100 Tensor Core GPU的组合。具体数量微软未公开，但据估算，用于训练GPT-3等模型的GPU集群规模达到数万个。

Q3: 什么是InfiniBand网络？为什么它重要？

A: InfiniBand是一种高带宽、低延迟的网络互连技术，专门用于高性能计算和AI训练场景。在训练过程中，GPU之间需要频繁交换数据（allreduce阶段），InfiniBand可以确保这些通信快速完成，避免GPU因等待数据而空闲，从而大幅提升训练效率。ND H100 v5虚拟机中每个GPU配备400 Gb/s的InfiniBand带宽。

Q4: 普通开发者能使用这台超级计算机吗？

A: 可以。微软通过Azure云服务提供ND H100 v5虚拟机，开发者可以按需租用这些虚拟机来训练自己的大型AI模型。虽然单台虚拟机只有8个GPU，但通过Azure的集群编排能力，你可以调用数千个GPU来训练超大规模模型。微软还提供了Azure OpenAI服务，让你直接访问大语言模型而无需自己搭建基础设施。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：微软为ChatGPT打造的超级计算机要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题