智算中心万卡GPU集群落地实践解析

360智算中心正式公开了其万卡GPU集群的完整网络方案，并配合开源的智脑7B模型，原生支持50万字的超长上下文。这一组合在行业内引发了广泛关注。

支撑整个集群训练任务的主力依然是A100和A800系列GPU。不过，360在硬件拓扑设计上确实拥有自己独到的技术体系。

（注：上图中两颗蓝色芯片为CPU，而非GPU）

GPU服务器网络配置详解

2张存储网卡：负责带内管理与存储访问

每台服务器配备2张25Gb/s的存储网卡，通过PCIe直连CPU。这两个网卡主要承担两项任务：一是带内管理，例如SSH登录、监控数据采集；二是访问分布式存储，包括读取训练数据和写入Checkpoint。

在大语言模型训练场景中，文本类数据的读取量级通常不高，而且往往采用异步加载方式，因此25Gb/s的带宽在大多数情况下已经足够。

然而，问题出现在保存Checkpoint的时刻。那一瞬间会产生大量写入流量，25Gb/s的网卡立时成为瓶颈，直接阻塞训练的正常推进。

为了平衡成本与性能，360内部采用了软硬件结合的策略。硬件层面，两张网卡通过bond4绑定，整体带宽提升至50Gb/s。虽然牺牲了一定的容错能力，但网络吞吐量大幅增长。软件层面，训练框架做了两项关键优化：第一，通过分布式方式存储Checkpoint，将整个模型的Checkpoint分散保存于不同节点，缓解单网卡压力；第二，采用多阶段异步保存——第一阶段将模型和优化器参数从显存拷贝到内存，不阻塞训练；第二阶段再将内存中的数据写入分布式存储。第一阶段完成后，训练即可继续，第二阶段则在后台异步执行。

该方案在网卡带宽受限的情况下，通过缩短Checkpoint保存时间，将GPU的有效训练时长发挥到极致。最终验证结果显示，智脑7B模型的保存时间从原来的383秒降至5秒，性能提升约70倍。

4张IB网卡：计算网络的核心

内部采用了4张200Gb/s的Mellanox CX6网卡。选择200Gb/s而非400Gb/s，背后有非常实际的原因：同一主机内GPU与相邻网卡之间通过PCIe Gen4 Switch芯片通信，而PCIe Gen4 x16的单向带宽为32GB/s。200Gb/s网卡的通信性能是25GB/s，已经接近PCIe的理论上限。若采用400Gb/s的CX7网卡，PCIe Gen4的带宽反而会成为瓶颈，性能无法充分发挥。

NVIDIA官方推荐单台A100配备8张CX6网卡。但360经过验证后发现：在32台A100节点上运行7.5B模型时，4张网卡的单次迭代时间仅为2张网卡的一半，而8张网卡相比4张提升微乎其微。既然如此，4张网卡便成为最合理的成本效率平衡点。

在硬件拓扑设计上，每块PCIe Gen4 Switch配备一张网卡，相邻的2块A800可以启用GPU Direct RDMA通信。通过nvidia-smi topo -m可以验证这一点。实际测试表明，开启GDR后，大模型训练速度最高提升50%。

6块NVSwitch芯片：GPU全互联

8块GPU通过6块NVSwitch芯片实现全互联。在A100时代，每块GPU与每块NVSwitch芯片之间由2条双向25GB/s的NVLink3连接，因此每块GPU共有12条双向lane，总带宽达到12×25×2=600GB/s。而A800在NVLink上做了阉割，仅保留8条lane，带宽降为8×25×2=400GB/s。

许多人担心A800的NVLink会成为大规模分布式训练的瓶颈。但经过多次内部验证，至少在千卡级别的训练任务中，NVLink并非那个拖后腿的因素。

后端网络：Scale Out架构

360借鉴了NVIDIA DGX-SuperPod-A100的架构。每个基本单元（Scalable Unit，SU）包含200台A800和4台Leaf交换机。在同一SU内，同号网卡之间的通信可以通过单台Leaf直接完成。

整个200台A800的网络架构，由10组SU组合而成。Leaf层和Spine层采用全互联架构，这种设计的优势在于：即便极端情况下Spine交换机只剩一台存活，整个集群仍然可以正常通信。不过需要注意，一旦Leaf交换机本身，或者Leaf与节点之间的线缆、光模块出现异常，正常训练依然会受到影响。

不同GPU的通信路径大致可分为四类：

• 同一Node内的GPU，通过NVLink通信。
• 同一SU内不同Node、挂在同号网卡下的GPU，通过Leaf交换机实现同轨通信（HCA → Leaf → HCA）。目前大模型训练基本都采用同轨通信。
• 同一SU内不同Node、挂在不同号网卡下的GPU，需要跨Spine进行跨轨通信（HCA → Leaf → Spine → Leaf → HCA），这种场景在大模型训练中非常少见。
• 不同SU之间的GPU，同样需要跨Spine通信。

当前的网络架构上限是200台A800主机。若还需继续扩展GPU规模，就需要将两层架构升级为三层——在Spine层之上再加一层Core Compute Switch。

网络方案：IB与RoCE V2双线落地

360智算中心在RoCE V2和IB这两种主流高性能网络方案上均有实际落地经验。

A800共有6张网卡。其中以太网卡lan0和lan1做bond4，作为主机的管理平面网络，负责南北向通信。IB网卡lan2到lan5作为数据平面网络，负责东西向通信。

主网络插件VPC负责维护整个K8s集群管理平面的网络，对应每个Pod中的eth0接口。第三方网络插件（如multus cni、macvlan等）负责维护数据平面的网络，对应每个Pod中的net1到net4接口。

network-operator是NVIDIA推出的K8s集群RDMA网络解决方案，包含几个核心组件：

• mofed：Mellanox网卡驱动。一个关键建议是：将网卡驱动直接部署到物理机上，而不是通过network-operator的容器化方式部署。这样做能大幅提高系统稳定性——否则一旦network-operator出现异常，宿主机可能直接失联，只能通过BMC方式连入。
• rdma-shared-device-plugin：将服务器上的mlx网卡以K8s扩展资源的形式暴露出来，供业务申请使用。
• Secondary CNI：在K8s集群中建立第二个网络平面，支持分布式训练的多机多卡通信。
• Multus-cni：K8s环境中的容器多网络方案，能够为Pod附加多个网络接口，属于meta类CNI插件，与第三方插件搭配使用时不会产生冲突。
• container-networking-plugins：包含多个CNI插件，主要利用macvlan插件为Pod中申请的mlx资源创建新的MAC地址，以便从新地址转发流量。
• whereabouts：负责在集群范围内，为挂载到Pod中的mlx网卡分配对应的IP地址。

与RoCE V2相比，IB网络有两个显著区别：第一，除了IB网卡外，还需要专门的IB交换机，并通过UFM统一管理；第二，在K8s集群中不需要通过第三方网络组件建立第二网络平面，因此也无需配置Macvlan。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：智算中心万卡GPU集群落地实践解析要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题