ChatGPT背后的超级计算机技术解析

揭秘ChatGPT背后的超级算力：微软为OpenAI打造的超级计算机与ND H100 v5虚拟机

ChatGPT能成为如今火遍全球的顶流模型，离不开背后超强的算力。数据显示，ChatGPT的总算力消耗约为3640 PF-days（即假如每秒计算一千万亿次，需要计算3640天）。那么，作为依托的那台微软专为OpenAI打造的超级计算机，又是如何诞生的呢？本文将为你详细拆解这台超级计算机的诞生过程、关键技术以及微软最新发布的ND H100 v5虚拟机规格。

超级计算机的诞生：数亿美元撑起来的算力

大约五年前，OpenAI向微软提出了一个大胆的想法——建立一个可以永远改变人机交互方式的人工智能系统。当时，没人能想到，这将意味着AI可以用纯语言创造出人类所描述的任何图片，人类可以用聊天机器人来写诗、写歌词、写论文、写邮件、写菜单……

为了建立这个系统，OpenAI需要很多算力——可以真正支撑起超大规模计算的那种。但问题是，微软能做到吗？毕竟，当时既没有能满足OpenAI需要的硬件，也无法确定在Azure云服务中构建这样庞大的超级计算机，会不会直接把系统搞崩。随后，微软便开启了一段艰难的摸索。

为了构建支持OpenAI项目的超级计算机，它斥资数亿美元，在Azure云计算平台上将几万个Nvidia A100芯片连接在一起，并改造了服务器机架。此外，为了给OpenAI量身打造这个超算平台，微软十分尽心，一直在密切关注着OpenAI的需求，随时了解他们在训练AI时最关键的需要。这么一个大工程，成本究竟是多少呢？微软负责云计算和人工智能的执行副总裁Scott Guthrie不愿透露具体数目，但他表示，「可能不止几亿美元」。

OpenAI出的难题：前所未有的基础设施规模

微软负责战略合作伙伴关系的高管Phil Waymouth指出，OpenAI训练模型所需要的云计算基础设施规模，是业内前所未有的。呈指数级增长的网络GPU集群规模，超过了业内任何人试图构建的程度。微软之所以下定决心与OpenAI合作，是因为坚信，这种前所未有的基础设施规模将改变历史，造出全新的AI和全新的编程平台，为客户提供切实符合他们利益的产品和服务。

现在看来，这几亿美元显然没白花——宝押对了。在这台超算上，OpenAI能够训练的模型越来越强大，并且解锁了AI工具令人惊叹的功能，几乎开启人类第四次工业革命的ChatGPT，由此诞生。非常满意的微软，在1月初又向OpenAI狂砸100亿美元。

可以说，微软突破AI超算界限的雄心，已经得到了回报。而这背后体现的，是从实验室研究到AI产业化的转变。目前，微软的办公软件帝国已经初具规模：ChatGPT版必应可以帮我们搜索假期安排；Viva Sales中的聊天机器人可以帮营销人员写邮件；GitHub Copilot可以帮开发者续写代码；Azure OpenAI服务可以让我们访问OpenAI的大语言模型，还能访问Azure的企业级功能。

与英伟达联手：打造最强AI超算

其实，在去年11月，微软就曾官宣，要与Nvidia联手构建「世界上最强大的AI超级计算机之一」，来处理训练和扩展AI所需的巨大计算负载。这台超级计算机基于微软的Azure云基础设施，使用了数以万计个Nvidia H100和A100 Tensor Core GPU及其Quantum-2 InfiniBand网络平台。Nvidia在一份声明中表示，这台超级计算机可用于研究和加速DALL-E和Stable Diffusion等生成式AI模型。

随着AI研究人员开始使用更强大的GPU来处理更复杂的AI工作负载，他们看到了AI模型更大的潜力——这些模型可以很好地理解细微差别，从而能够同时处理许多不同的语言任务。简单来说，模型越大，数据越多，训练时间越长，模型的准确性就越好。但是这些更大的模型很快就会到达现有计算资源的边界。微软明白，OpenAI需要的超级计算机是什么样子，需要多大的规模。这显然不是说，单纯地购买一大堆GPU并将它们连接在一起之后，就可以开始协同工作的东西。

微软Azure高性能计算和人工智能产品负责人Nidhi Chappell表示：「我们需要让更大的模型训练更长的时间，这意味着你不仅需要拥有最大的基础设施，你还必须让它长期可靠地运行。」Azure全球基础设施总监Alistair Speirs表示，微软必须确保它能够冷却所有这些机器和芯片。比如，在较凉爽的气候下使用外部空气，在炎热的气候下使用高科技蒸发冷却器等。此外，由于所有的机器都是同时启动的，所以微软还不得不考虑它们和电源的摆放位置——就像你在厨房里同时打开微波炉、烤面包机和吸尘器时可能会发生的情况，只不过是数据中心的版本。

小提示：超大规模GPU集群的冷却与供电

超大规模计算不仅需要GPU，还需要配套的冷却和供电方案。微软通过**外部空气冷却**（适合寒冷地区）和**蒸发冷却器**（适合炎热地区）来保障GPU集群的稳定运行，同时优化机柜电源布局，避免电力过载。

大规模AI训练的关键：InfiniBand网络与系统级优化

完成这些突破，关键在哪里？难题就是，如何构建、操作和维护数万个在高吞吐量、低延迟InfiniBand网络上互连的共置GPU。这个规模，已经远远超出了GPU和网络设备供应商测试的范围，完全是一片未知的领域。没有任何人知道，在这种规模下，硬件会不会崩。

微软Azure高性能计算和人工智能产品负责人Nidhi Chappell解释道，在LLM的训练过程中，涉及到的大规模计算通常会被划分到一个集群中的数千个GPU上。在被称为allreduce的阶段，GPU之间会互相交换它们所做工作的信息。此时就需要通过InfiniBand网络进行加速，从而让GPU在下一块计算开始之前完成。

Nidhi Chappell表示，由于这些工作跨越了数千个GPU，因此除了要确保基础设施的可靠外，还需要大量系统级优化才能实现最佳的性能，而这是经过许多代人的经验总结出来的。所谓系统级优化，其中就包括能够有效利用GPU和网络设备的软件。在过去的几年里，微软已经开发出了这种技术，在使训练具有几十万亿个参数的模型的能力得到增长的同时，降低了训练和在生产中提供这些模型的资源要求和时间。

Waymouth指出，微软和合作伙伴也一直在逐步增加GPU集群的容量，发展InfiniBand网络，看看他们能在多大程度上推动保持GPU集群运行所需的数据中心基础设施，包括冷却系统、不间断电源系统和备用发电机。

微软AI平台公司副总裁Eric Boyd表示，这种为大型语言模型训练和下一波AI创新而优化的超算能力，已经可以在Azure云服务中直接获得。并且微软通过与OpenAI的合作，积累了大量经验，当其他合作方找来、想要同样的基础设施时，微软也可以提供。现在，微软的Azure数据中心已经覆盖了全球60多个地区。

常见问题：为什么InfiniBand网络如此重要？

问题：在训练大型语言模型时，为什么一定要用InfiniBand？用普通以太网不行吗？
答案：训练过程需要数千个GPU同时工作，它们之间需要频繁交换中间计算结果（allreduce操作）。InfiniBand提供了极高吞吐量和极低延迟（微秒级），而以太网延迟较高且容易拥塞。如果没有InfiniBand，GPU会长时间等待网络同步，导致算力浪费，训练时间可能延长数倍。

全新虚拟机：ND H100 v5规格详解

在上面这个基础架构上，微软一直在继续改进。今天，微软就官宣了全新的可大规模扩展虚拟机——Azure ND H100 v5，这些虚拟机集成了最新的NVIDIA H100 Tensor Core GPU和NVIDIA Quantum-2 InfiniBand网络。通过虚拟机，微软可以向客户提供基础设施，根据任何AI任务的规模进行扩展。据微软称，Azure的新ND H100 v5虚拟机为开发者提供卓越的性能，同时调用数千个GPU。

具体规格如下：

• GPU：8个NVIDIA H100 Tensor Core GPU，通过下一代NVSwitch和NVLink 4.0互联
• 网络：每个GPU有400 Gb/s的NVIDIA Quantum-2 CX7 InfiniBand，每个虚拟机有3.2Tb/s的无阻塞胖树型网络
• 本地GPU互连带宽：NVSwitch和NVLink 4.0在每个虚拟机的8个本地GPU之间具有3.6TB/s的双向带宽
• CPU：第四代英特尔至强可扩展处理器
• GPU到CPU互连：PCIE Gen5到GPU互连，每个GPU有64GB/s带宽
• 内存：16通道4800MHz DDR5 DIMM

小提示：ND H100 v5适用场景

这款虚拟机特别适合大型语言模型训练（如GPT、LLaMA）、生成式AI模型推理（如Stable Diffusion、DALL-E）以及科学计算（如分子动力学模拟）。每个虚拟机提供3.6TB/s的本地GPU带宽，几乎消除了多卡通信瓶颈。

常见问题：ND H100 v5与之前版本（ND A100）有何区别？

问题：ND H100 v5相比以前的ND A100系列虚拟机，性能提升多少？
答案：主要提升来自三方面：1. H100 GPU本身比A100在FP8训练上快约6倍；2. NVLink 4.0带宽翻倍（从600GB/s到3.6TB/s）；3. 网络从200Gb/s InfiniBand升级到400Gb/s Quantum-2，集群规模可以轻松扩展到数千个GPU。实际训练速度提升可达4~8倍，具体取决于模型架构和优化程度。

总结：从超级计算机到云虚拟机，微软打通AI算力全链路

微软为OpenAI打造超级计算机的过程，不仅催生了ChatGPT这一革命性产品，也为自己的Azure云平台积累了大量超大规模GPU集群运维经验。如今，随着ND H100 v5虚拟机的发布，任何企业和开发者都可以通过Azure直接获取与OpenAI同等级的超级算力，加速AI模型的训练与部署。这一转变标志着AI从尖端实验室走向产业化的关键一步。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：ChatGPT背后的超级计算机技术解析要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题