英伟达全球首发HBM3e 专为生成式AI时代设计

NVIDIA 正式发布新一代 GH200 Grace Hopper 超级芯片：专为生成式 AI 时代打造的高性能计算平台

2023年8月8日，NVIDIA创始人兼CEO黄仁勋在计算机图形年会SIGGRAPH上正式发布了搭载HBM3e内存的新一代GH200 Grace Hopper超级芯片。黄仁勋称这款芯片为“加速计算和生成式AI时代的处理器”，其专为处理大型语言模型（LLM）而设计，能够显著降低推理成本，推动生成式AI技术的广泛应用。

一、与上一代产品相比，核心升级在哪里？

与2023年5月发布的原版GH200不同，新版GH200芯片搭载了全球首款HBM3e内存，在内存容量和带宽上均有显著提升。NVIDIA强调，新版GH200使用了与原版相同的Grace CPU和GH100 GPU芯片，因此无需更新软件版本或步进。原版GH200和升级版GH200将共存于市场，后者因具备更先进的内存技术带来的更高性能，将以更高价格销售。

二、新版GH200的详细规格参数有哪些？

• CPU核心：72核Grace CPU
• 系统内存：480GB ECC LPDDR5X内存
• 计算GPU：GH100计算GPU
• HBM3e内存：总容量141GB（实际安装144GB，可用141GB），由6个24GB堆栈组成，采用6,144位内存接口
• 带宽：每秒可达5TB，每个GPU的容量比NVIDIA H100 GPU多出1.7倍，带宽比H100高1.55倍

小提示：HBM3e是目前全球最快的内存技术。新版GH200的HBM3e内存带宽高达5TB/s，相当于每秒可传输超过1000部高清电影的数据量，极大加速了大型语言模型的训练和推理。

三、新版GH200主要应用于哪些场景？

NVIDIA表示，新版GH200旨在处理全球最复杂的生成式AI工作负载，包括但不限于：

• 大型语言模型（LLM）：例如GPT、LLaMA等模型的训练与推理
• 推荐系统：大规模个性化推荐算法的加速
• 矢量数据库：支持高效的高维向量检索与相似度计算

新版GH200将提供多种配置选项，以满足不同应用场景的需求。预计该芯片将于2024年第二季度正式投产。

四、常见问题解答

• 问：新版GH200与H100 GPU相比，优势在哪里？
  答：新版GH200的每个GPU内存容量比H100多出1.7倍，带宽比H100高1.55倍。这意味着在运行大模型时，新版GH200可以处理更大的批次、更复杂的模型，同时推理速度更快，成本更低。
• 问：我已经有原版GH200，需要升级软件吗？
  答：不需要。NVIDIA明确表示，新版GH200使用了与原版相同的Grace CPU和GH100 GPU芯片，因此无需推出新的软件版本或步进。现有软件可以直接兼容，无需额外操作。
• 问：新版GH200的价格会比原版贵多少？
  答：NVIDIA未公布具体价格，但表示升级版GH200将因更先进的内存技术带来的更高性能而定价更高。具体价格需等待官方发布。

五、总结与展望

新一代GH200 Grace Hopper超级芯片凭借全球首款HBM3e内存，在内存容量和带宽上实现了质的飞跃，为生成式AI时代提供了强大的算力基础。无论是大型语言模型、推荐系统还是矢量数据库，新版GH200都能显著降低推理成本，加速AI应用落地。随着2024年第二季度投产的临近，业界将迎来更高效、更经济的AI计算解决方案。

编辑：黄飞

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：英伟达全球首发HBM3e 专为生成式AI时代设计要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题