ChatGPT算力需求计算方法

ChatGPT发布之后，在全球范围内掀起了一阵AI热潮。国内各大厂商纷纷跟进，陆续公布了各自的GPT模型开发计划。不过，这类大模型的训练可不是一件轻松的事，背后需要消耗海量的算力资源。具体来说，主要需求场景来自三个方向：预训练、日常运营和Finetune。以预训练为例，进行一次ChatGPT级别的模型预训练，大约需要消耗27.5PFlop/s-day的算力。随着国产大模型陆续进入预训练阶段，算力需求的持续释放，很可能带动整个算力基础设施产业进入一个新的增长周期。相关产业链上的公司主要包括算力芯片厂商（如景嘉微、寒武纪、海光信息、龙芯中科、中国长城等）、服务器厂商（浪潮信息、中科曙光）以及IDC服务商（宝信软件等）。

ChatGPT：大模型训练带来高算力需求

训练ChatGPT这样的模型，对算力的消耗是惊人的。据微软官网透露，Azure为OpenAI开发的超级计算机，拥有超过28.5万个CPU核心、1万个GPU，以及400GB/s的GPU服务器网络传输带宽。而英伟达的数据更直观：如果使用单个Tesla架构的V100 GPU去训练1746亿参数的GPT-3模型，大约需要288年。算力成本同样不菲，据Lambda测算，训练一次1746亿参数的GPT-3模型，算力成本就超过460万美元。这意味着，未来谁的算力资源更丰富，谁就可能训练出更强大的模型，算力霸权时代或将开启。

先来看核心的逻辑。AI大模型对算力的消耗，主要落在三个关键环节：

1、模型预训练带来的算力需求

模型预训练是消耗算力最主要的场景。根据OpenAI在2020年发布的论文《Language Models are Few-Shot Learners》，训练一次13亿参数的GPT-3 XL模型，需要约27.5PFlop/s-day的算力；而训练1746亿参数的GPT-3模型，则需要3640 PFlop/s-day。考虑到ChatGPT是基于13亿参数的GPT-3.5模型微调而来，参数量与GPT-3 XL模型接近，因此预计训练一次所需的算力大约是27.5PFlop/s-day——也就是说，用1万亿次每秒的速度计算，也得连续跑27.5天。

此外，预训练过程还面临几个额外算力需求：一是模型开发很难一次成功，往往需要多次预训练；二是随着国内外厂商纷纷入局，参与者增多也会带来训练算力需求；三是从基础大模型向特定场景迁移，比如基于ChatGPT构建医疗AI大模型，需要使用特定领域数据进行二次训练。

2、日常运营带来的算力需求

模型训练完成之后，算力需求并未结束。日常运营过程中，用户交互带来的数据处理同样是一笔不小的开支。据SimilarWeb数据，2023年1月ChatGPT官网总访问量达6.16亿次。据Fortune杂志统计，每次用户与ChatGPT互动，产生的算力云服务成本约0.01美元。据此测算，2023年1月OpenAI为ChatGPT支付的运营算力成本约616万美元。换算成算力需求，ChatGPT单月运营需要约4874.4PFlop/s-day。

3、Finetune带来的算力需求

模型调优同样有持续的算力需求。ChatGPT模型并非静态，需要不断进行Finetune，以确保最佳应用状态。一方面要调整参数，确保输出内容不有害、不失真；另一方面要基于用户反馈和PPO策略，对模型进行迭代训练。具体算力需求和成本，取决于模型的迭代速度。业内预计，每月模型调优带来的算力需求约82.5~137.5 PFlop/s-day。

需求场景：预训练+日常运营+Finetune

综合来看，AI大模型对算力的消耗体现在三个场景：一是模型预训练，单次约27.5PFlop/s-day；二是日常运营，单月约4874.4PFlop/s-day，对应成本约616万美元；三是Finetune，每月约82.5~137.5 PFlop/s-day。

算力芯片+服务器+数据中心，核心环节率先受益

随着国内厂商相继布局ChatGPT类似模型，算力需求将持续释放，供给端的核心环节将率先受益：

1）算力芯片：GPU拥有大量计算单元和超长流水线，架构更适合高吞吐量的AI并行计算；

2）服务器：ChatGPT模型训练涉及大量向量及张量运算，AI服务器具备运算效率优势，大模型训练有望带动AI服务器采购需求放量；

3）数据中心：IDC算力服务是承接AI计算需求的直接形式。随着百度、京东等互联网厂商相继布局，核心城市IDC算力缺口或将加大。

算力芯片：AI算力基石，需求有望大规模扩张

GPU架构更适合大规模AI并行计算，需求有望大幅增长。ChatGPT采用Transformer架构，可以一次处理所有输入，实现更大规模的参数计算。而GPU因拥有大量计算单元和超长流水线，非常适合这种大吞吐量的AI并行计算。随着大模型训练需求增长，下游厂商对GPU先进算力及芯片数量的需求都有望提升。

以英伟达V100芯片为例。V100拥有640个Tensor内核，对比单路英特尔金牌6240的CPU服务器，可实现24倍的性能提升。若使用单个V100 GPU（深度学习算力125 TFlops）训练一次ChatGPT模型，需耗时220天；若将计算任务分摊至1万片GPU，则一次训练仅需约32分钟。

GPU市场规模正在快速增长。据VMR数据，2021年全球GPU行业市场规模为334.7亿美元，预计2030年将达到4773.7亿美元，22-30年CAGR达34.4%。2020年中国GPU市场规模47.39亿美元，预计2027年将达345.57亿美元，21-27年CAGR为32.8%。

服务器：AI服务器有望持续放量

ChatGPT主要进行矩阵向量计算，AI服务器处理效率更高。基于Transformer架构，ChatGPT需要进行大量向量及张量运算，而AI服务器集成多个AI GPU，支持多重矩阵运算，计算效率更高。以浪潮的NF5688M6服务器为例，它支持2颗Intel Ice Lake CPU和8颗NVIDIA A800 GPU，单机可提供5PFlops的AI计算性能。若使用单台NF5688M6服务器，训练一次ChatGPT模型需要5.5天。

大模型训练需求正在带动AI服务器放量。据IDC数据，2021年全球AI服务器市场规模为156亿美元，预计2025年将达318亿美元，22-25年CAGR达19.5%。

数据中心：核心城市集中算力缺口或将加剧

IDC算力服务是承接AI计算需求的直接形式。ChatGPT的模型计算基于微软Azure云服务，本质上是借助微软的IDC资源在云端完成计算。从国内数据中心业务形态看，可分为自建机房、租赁机房、承接大客户定制化需求以及轻资产衍生模式四种。

举个例子，如果使用商汤智算中心的全部算力，仅需11分钟就能完成一次ChatGPT模型训练。商汤智算中心峰值算力高达3740 Petaflops，是亚洲最大的AI计算中心之一。

AI训练需求有望带动IDC市场规模快速增长。据中国信通院数据，2021年国内IDC市场规模1500.2亿元，同比增长28.5%，预计2022年将达1900.7亿元，同增26.7%。

互联网厂商布局ChatGPT类似产品，或将加大核心城市IDC算力供给缺口。2021年国内IDC行业下游客户中，互联网厂商占比60%，金融业占比20%，政府机关占比10%。而目前布局ChatGPT类似模型的企业以互联网厂商为主，如百度的“文心一言”、京东的“ChatJD”等。这些互联网厂商大多聚集在北京、上海、深圳、杭州等核心城市，对本地IDC算力需求将进一步加大，核心城市IDC算力供给缺口或将加剧。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：ChatGPT算力需求计算方法要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题