摩尔线程驱动更新：强化AI模型训练与推理支持

11月28日消息，摩尔线程近日正式发布了基于PyTorch深度学习框架的MUSA扩展库——Torch-MUSA v2.7.0。最新版本在功能集成、性能优化与硬件支持等方面均取得显著突破。值得注意的是，Torch-MUSA在一个月内已连续完成v2.5.0和v2.7.0两次重要迭代。

据了解，自v2.5.0版本开始，Torch-Musa已与PyTorch主版本号保持同步，方便开发者进行版本识别与管理。新版本进一步集成muSolver与muFFT等计算加速库，显著提升复杂计算任务的执行效率。同时新增对统一内存设备（Unified Memory）的UMM支持，有效优化了内存使用效率。

新版继续保持与最新MUSA SDK的兼容性，支持使用MUSA SDK 4.2.0至4.3.0及更高版本进行编译。目前Torch-MUSA专属支持的算子总数已突破1050个，系统在性能表现与运行稳定性方面均有明显提升。

v2.7.0版本主要包含以下更新内容：

新增特性

集成muFFT与muSolver计算库，大幅扩展框架计算能力；

面向边缘计算的SoC设备支持统一内存管理，基于Arm架构的UMA（统一内存寻址）设计，实现GPU与CPU共享同一物理内存空间，显著降低模型运行过程中的内存开销。具体优化包括：消除GPU端重复内存分配；减少主机与设备间的内存拷贝；GPU可直接访问由CPU分配器申请的内存空间。

算子扩展与性能优化

新增支持ilshift、irshift、replication_pad1d_bwd、angle、ctcLossTensor、ctcLossTensorBwd、logit、amin/amax/prod.dim_int、glu_bwd等多个核心算子；

新增基础Sparse (CSR) 操作支持；

扩展量化算子支持范围；

修复torch.norm形状参数异常问题；

支持reduce_sum的uint8输入与int64输出；

C++扩展新增支持tensor.is_musa方法；

修复空输入条件下argmax/argmin的异常行为；

优化var/std、pad、convolution3d、layer_norm等关键操作的执行效率。

系统功能增强

开放torch.musa.mccl.version接口；

支持getCurrentMUSABlasHandle与getCurrentMUSABlasLtHandle；

优化FSDP2流水线并行策略，有效降低训练过程中的内存占用。

根据最新消息，Torch-MUSA将持续跟进PyTorch版本更新，计划下一版本支持PyTorch 2.9.0，并进一步优化系统性能与功能特性。

Torch-MUSA开源地址：https://github.com/MooreThreads/torch_musa