英伟达GB200对比AMD MI355X：性能领先28倍深度实测

据IT之家1月2日消息，Signal65最新发布了SemiAnalysis InferenceMAX基准测试分析报告。在Deepseek-R1 0528混合专家（MoE）模型的推理场景中，英伟达（NVIDIA）的Blackwell GB200 NVL72机架系统性能表现远超AMD的Instinct MI355X。

IT之家指出，混合专家模型是一种高效的AI模型架构，Deepseek-R1 0528便是其中的典型代表之一，已成为诸多基准测试中常用的模型。

图源：Signal65

不同于传统模型每次任务都需动用整个“大脑”，混合专家模型拥有一组“专家”。系统会根据问题类型，只激活最擅长处理该类问题的几位“专家”来协同工作。然而，当模型规模大幅扩展时，节点间巨大的通信延迟和带宽压力会成为瓶颈，形成计算瓶颈。

对此，英伟达采用了名为“极致协同设计”的策略。GB200 NVL72通过紧密互连72颗芯片，并配备高达30TB的高速共享内存，极大地优化了全对全通信效率，有效解决了大规模数据传输的延迟难题。

图源：英伟达

测试数据显示，在类似的集群配置下，英伟达方案中每个GPU的吞吐量高达每秒75个tokens，其性能达到了AMD Instinct MI355X的28倍。

对于超大规模云计算厂商而言，总体拥有成本始终是其考量的核心指标。Signal65结合甲骨文云的定价数据分析指出，GB200 NVL72机架不仅性能强劲，其经济性也同样令人瞩目。其每个token的相对成本仅为AMD方案的十五分之一，同时还提供了更高的交互速率。

图源：Signal65

尽管英伟达在MoE领域占据主导地位，但这并不意味着AMD已全面落败。报告指出，AMD的MI355X凭借高容量HBM3e内存，在处理密集型模型时，依然是一个极具竞争力的选择。

该媒体指出，AMD目前尚未推出新一代机架级解决方案来应对NVL72的挑战。不过，随着未来AMD Helios平台与英伟达Vera Rubin平台的竞争临近，双方在机架级扩展方案上的角逐将日趋激烈。