蚂蚁集团开源Awex框架：TB级参数交换秒级完成

11月20日，蚂蚁集团正式宣布开源其拥有万亿参数规模的强化学习高性能权重交换框架Awex。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

据介绍，Awex作为专为极致性能设计的训练推理引擎权重同步框架，有效解决了强化学习流程中训练权重参数同步到推理模型的核心难题。该框架能在秒级完成TB级大规模参数交换，显著降低强化学习模型训练延迟，其主要特点包括：

极速同步性能：在千卡集群环境下，万亿参数模型可在6秒内完成全量同步，性能表现领先行业；

统一模型适配层：自动处理训练和推理引擎间的并行策略差异，兼容多种主流模型架构；

零冗余传输与原地更新：仅传输必要的权重分片数据，推理侧实现原地更新显存，避免重复分配与拷贝开销；

多模式传输支持：支持NCCL、RDMA及共享内存等多种传输模式，充分发挥NVLink、NVSwitch和RDMA的带宽优势，有效减少长尾延迟；

异构部署兼容：适配共卡与分卡模式，支持同步和异步强化学习算法训练场景，同时通过RDMA传输模式支持推理实例动态扩缩容；

灵活可插拔架构：支持针对不同模型的定制化权重共享与布局行为，同时兼容新型训练和推理引擎的接入。

Awex权重交换框架整体由三个核心组件构成：

WeightWriter：运行于每个训练进程内部，负责收集并上报当前训练进程的权重分片元数据，执行权重转换、权重重分发计划构建和权重发送等功能；

WeightReader：在每个推理实例的控制进程上运行，会在推理实例管理的每张GPU上启动WorkerWeightsReader，与训练进程的WeightWriter相对应，负责每个推理进程的权重分片元数据收集上报、权重转换、权重接收计划构建和权重接收等功能；

MetaServer：作为任务级别的全局服务组件，用于训练和推理引擎的服务发现与权重元数据交换，以及在共卡场景下的事件通知等功能。

权重交换的核心功能模块主要由五个部分组成：

训练推理权重统一转换：负责将采用不同并行策略和Tensor布局的训练引擎与推理引擎的权重转换为统一格式，为后续的权重元数据计算和权重传输奠定基础；

全局权重元数据计算与交换：将训练推理权重转换为统一格式后，收集每个Worker的所有权重分片元数据，并上报至Meta Server，用于构建后续的权重传输计划；

点对点权重传输执行计划：训练和推理引擎获取全局所有Worker的训练和推理权重分片元数据后，分别构建对应的发送和接收确定性传输计划；

NCCL权重传输：基于构建的传输计划，使用NCCL的send/recv接口完成对等的权重发送与接收；

RDMA权重传输：利用NUMA亲和性优势，面向全局负载均衡的传输计划进行RDMA通信，实现权重的高效更新。

同时，Awex框架还支持对权重进行张量级别的校验，将通过文件系统加载的权重与通过传输模式加载的权重进行精细比对，逐项判断差异，确保传输模式的准确性。

在千卡规模的集群环境中，Awex使用NCCL传输数据时，一秒内即可完成10B规模模型参数交换，二十秒内完成1TB规模的模型权重交换。若采用RDMA进行传输，1TB模型权重交换的耗时更能进一步缩短至六秒。

展望未来，Awex作为蚂蚁ASystem强化学习系统的核心组件之一，而ASystem正是百灵万亿模型训练的坚实基础。我们将在未来陆续开源ASystem的其他核心强化学习组件，进一步完善开源强化学习训练生态。目前Awex开源版已支持Megatron和SGLang等主流引擎。

附开源地址：https://github.com/inclusionAI/asystem-awex