英伟达CUDA史上最大版本更新正式发布

先聊聊大家最关心的工具链更新——Nsight Systems。这次CUDA Toolkit 13.1同步发布的Nsight Systems 2025.6.1，在追踪能力上做了几项非常实用的增强。系统级CUDA追踪方面，开启cuda-trace-scope参数后，就能追踪到跨进程甚至整个系统的行为，调试视野一下子开阔了许多。主机函数追踪也补全了，现在cudaGraph里的主机函数节点和cudaLaunchHostFunc()都能被追踪到——这些函数在主机上执行，并且会阻塞stream，追踪它们对于理解异步逻辑至关重要。CUDA硬件追踪在支持的环境下已经作为默认模式启用，如果想切回软件模式，只需添加--trace=cuda-sw参数即可。此外，Green Context时间轴行现在会在tooltip中显示SM的分配情况，GPU资源是否被充分利用，看一眼便一目了然。

数学库更新亮点

CUDA工具箱中的几个核心数学库，这次也迎来了新特性。

cuBLAS方面，推出了一个实验性的新API，专为Blackwell GPU的分组GEMM操作设计，支持FP8和BF16/FP16数据类型。更值得一提的是，针对这些数据类型，分组GEMM在CUDA Graph中可以实现无需主机同步的计算，依靠设备端的形状动态调度，在MoE推理等场景下，比传统的多流GEMM快了最高4倍。

cuSPARSE也发布了一个全新的稀疏矩阵向量乘法API，名为SpMVOp。相比之下，原有的CsrMV API性能已被它远远超越。该API支持CSR格式、32位索引、双精度，并允许用户自定义后缀操作。

cuFFT方面，则提供了一套全新的设备端API——cuFFD设备API。这本质上是一组C++头文件中的主机函数，可用于查询或生成设备功能代码以及相关的数据库元数据。这套API专为cuFFTDx库设计，让开发者通过cuFFT直接生成cuFFTDx的代码块，然后链接到应用中，性能自然得到提升。

cuBLAS Blackwell 性能表现

说到Blackwell架构，最早在CUDA 12.9中就已引入块缩放的FP4和FP8矩阵乘法。到了CUDA 13.1，这些数据类型加上BF16的性能支持已全面铺开。图2展示了Blackwell和Hopper平台上的加速比实测结果，数值十分直观。

在 NVIDIA Blackwell 和 Hopper 平台上的加速比

cuSOLVER Blackwell 性能提升

cuSOLVER在CUDA 13.1中继续优化其批处理特征分解API，主要是SYEVD和GEEV，性能提升显著。

批处理SYEV（全称 cusolverDnXsyevBatched）专为解决大量小矩阵的并行求解问题而设计。图3的测试在批大小5000、矩阵行数24到256的条件下进行。与NVIDIA L40S相比，Blackwell RTX Pro 6000 Server Edition几乎快了一倍，这一加速比大致与内存带宽的提升吻合。

在批大小为 5000（矩阵行数 24–256）的测试结果

具体到数据细节：无论是复数单精度还是实数单精度，当矩阵行数N=5时，加速比约为1.5倍，然后随着行数增大持续上升，到N=250时稳定达到2.0倍。

再来看看cusolverDnXgeev(GEEV)，该函数处理非对称稠密矩阵的特征值和特征向量。它是一个CPU/GPU混合算法，CPU单线程负责QR算法中早期降阶的高效处理，GPU则承担其余繁重任务。图4给出了矩阵大小从1024到32768的相对加速比。

cusolverDnXgeev(GEEV) 的性能加速比

数据很实在：矩阵行数n=5000时，加速比刚好1.0，随着规模扩大逐渐攀升，到n=30000时达到约1.7倍。

NVIDIA CUDA 核心计算库更新

CCCL这次为CUB带来了两个非常实用的更新。

确定性浮点运算简化

浮点数加法不满足结合律会出现什么后果？历史上cub::DeviceReduce为了保证同一GPU每次运行结果逐位一致，被迫采用了两遍算法。CUDA 13.1搭载的CCCL 3.1现在提供了三个选项，让你在确定性和性能之间自由选择：

• 不保证：使用原子操作进行单次归约，结果不会逐位相同。
• GPU间：基于NVIDIA GTC 2024大会上Kate Clark的演讲成果。结果保证逐位一致。

通过一个标志位即可切换这些模式，代码编写非常直接。

演示代码

数据对比

更便捷的单相 CUB API

另一个痛点也得到了解决。几乎所有CUB算法都需要临时存储空间，过去开发者必须走一套两阶段模式：先查询临时存储大小，再分配空间，最后释放。这套流程复杂且容易出错——两次调用之间参数稍有不对应，就会出问题。CCCL 3.1为接受内存资源的CUB算法增加了新的重载，直接将临时存储的查询、分配、释放合并为一个步骤，这才是真正的“一次搞定”。

演示代码