Torch-MUSA v2.7.0发布：1050+专属算子提速摩尔线程

11月28日，摩尔线程正式推出了PyTorch深度学习框架的最新MUSA扩展库——Torch-MUSA v2.7.0。该版本在功能集成、性能优化和硬件支持方面都实现了显著突破。

值得关注的是，在短短一个月内，Torch-MUSA就连续发布了v2.5.0和v2.7.0两个重要版本，更新频率令人印象深刻。

另一个重大变化是，自v2.5.0版本开始，Torch-MUSA的版本号与PyTorch主版本保持同步。这一调整让开发者能够更直观地进行版本识别与管理。

v2.7.0版本进一步集成了muSolver、muFFT等计算加速库，显著提升了复杂计算任务的执行效率；

新增支持统一内存设备（Unified Memory）的UMM功能，有效优化了内存使用效能。

该版本继续保持与最新MUSA SDK的兼容性，支持使用MUSA SDK 4.2.0至4.3.0及更高版本进行编译。

目前，Torch-MUSA专属支持的算子总数已突破1050个，系统在性能与稳定性方面均实现进一步提升，为大模型训练与推理提供了更高效、更可靠的底层支撑。

下一次版本升级将是v2.9.0，将重点优化性能与功能，持续构建和完善基于MUSA架构的国产全功能GPU深度学习生态。

▼ Torch-MUSA开源地址：

https://github.com/MooreThreads/torch_musa

v2.7.0版本主要更新内容

新增特性

▼ 动态双精度转换（Dynamic Double Cast）

用户可通过设置环境变量export TORCH_USE_MUSA_DOUBLE_CAST=1，开启Float64数据类型算子的动态转换功能。启用后，torch_musa将使用float32作为计算数据类型，在保证精度的同时提升运算效率。

▼ 分布式检查点（Distributed Checkpoint）

支持从多个rank并行加载和保存模型，显著加速检查点的保存与加载过程。目前该功能已支持分布式检查点的异步保存。

功能增强

▼ 新增Poisson、binomial、_standard_gamma、_sample_dirichlet、vdot、upsample（1d、2d、3d、with aa）、flash_attention、transformer_encoder_layer等多个实用算子，使得MUSA专属支持的算子总数突破1050个。

▼ 通过升级PyTorch底层支持，torch.compile与AOTInductor功能进一步增强；

▼ 默认启用TF32计算模式，有效提升浮点运算效率；

▼ 优化性能分析工具Kineto的稳定性，并将其适配版本升级至2.7.0；

▼ 继续优化FSDP2流水线并行策略，进一步降低内存占用。

v2.5.0版本主要更新内容

新增特性

▼ 新增muFFT与muSolver库集成，大幅扩展计算能力；

▼ 在面向边缘计算的SoC设备中支持统一内存管理。基于Arm架构的UMA（统一内存寻址）设计，实现了GPU与CPU共享同一物理内存空间，显著降低模型运行过程中的内存开销，具体包括：

消除GPU端重复内存分配；

减少主机与设备间的内存拷贝；

GPU可直接访问由CPU分配器申请的内存空间。

算子扩展与性能优化

▼ 新增支持包括ilshift、irshift、replication_pad1d_bwd、angle、ctcLossTensor、ctcLossTensorBwd、logit、amin/amax/prod.dim_int、glu_bwd等多个算子；

▼ 新增基础Sparse（CSR）操作支持；

▼ 扩充量化算子支持范围；

▼ 修复torch.norm形状错误问题；

▼ 支持reduce_sum的uint8输入与int64输出；

▼ C++扩展新增支持tensor.is_musa()方法；

▼ 修复空输入下argmax/argmin的异常行为；

▼ 优化var/std、pad、convolution3d、layer_norm等操作的执行效率。

系统功能增强

▼ 开放torch.musa.mccl.version()接口；

▼ 支持getCurrentMUSABlasHandle与getCurrentMUSABlasLtHandle；

▼ 优化FSDP2流水线并行策略，降低训练内存占用。