一文详解深度学习中的Softmax是什么？原理与应用

2.2 为什么分母要用求和？

分母 ${\sum }_j{e}^{x_j}$ 的作用就是归一化。把所有指数值加起来作为“总基数”，每个指数值除以这个总基数，结果就是每个输出变成了相对占比，范围在 0 到 1 之间，而且所有输出加起来恰好等于 1——一个标准的概率分布。

3. 手算示例

光说不练假把式。假设输入向量 $\mathbf{x}=[2.0,1.0,0.1]$，咱们一步步来算。

第一步，计算指数值：$e^{2.0}=7.389$，$e^{1.0}=2.718$，$e^{0.1}=1.105$。

第二步，计算分母：$7.389+2.718+1.105=11.212$。

第三步，计算每个 Softmax 值：$\text{softmax}(x_1)=7.389/11.212=0.659$，$\text{softmax}(x_2)=0.242$，$\text{softmax}(x_3)=0.099$。验算一下，总和 $0.659+0.242+0.099=1.000$，完美。

注意到输入最高的 2.0 获得了 65.9% 的权重，而最低的 0.1 只拿到了 9.9%。输入之间的原始差距是 1.9，而输出权重的差距被放大到了 0.56。这就是指数函数在起作用。

4. 核心性质

4.1 保序性（Order Preservation）

这个性质很好理解：如果 $x_i>x_j$，那么 $\text{softmax}(x_i)>\text{softmax}(x_j)$。简单说，打分最高的同学，最终得票率也是最高的。Softmax 不会“碘伏”排名。数学上这是因为指数函数严格单调递增，而且除以同一个正分母不会改变大小关系。

4.2 平移不变性（Translation Invariance）

这个性质非常有用：如果对输入向量的所有元素同时加上同一个常数 c，Softmax 的输出不变。证明也很直接，分子分母同时提取出一个 $e^c$ 约掉就行了。直观理解就是，假设所有同学的分数都加了 10 分，大家加的一样多，最终得票百分比不变。这个性质是后面数值稳定性技巧的理论基础——我们可以安全地减去最大值来防止溢出，而不改变结果。

4.3 非缩放不变性（Non-Scaling Invariance）

和平移不同，如果对所有元素同时乘以一个正数 a（且 a≠1），Softmax 的输出会改变。当 a>1 时，所有分数被“拉大”，高分的优势被进一步放大，输出分布更“尖锐”。当 0

这一点在 Transformer 的注意力机制中体现得很直接。缩放因子 $\frac{1}{\sqrt{d_k}}$ 正是通过缩小点积分数，防止 Softmax 输出过于尖锐，从而避免进入梯度很小的饱和区。

5. 数值稳定性

5.1 问题：直接计算可能产生 NaN

考虑输入 $\mathbf{x}=[1000,2000,-4000]$，直接按公式计算 $e^{2000}$ 直接就超出 float64 的可表示范围，变成无穷大，分子分母都是无穷大，结果是 NaN，计算直接失败。

5.2 解决方案：减去最大值

利用平移不变性，从每个元素中减去最大值 $\max (x)$ 即可。公式变成 $\text{softmax}(x_i)=\frac{e^{x_i-\max (x)}}{{\sum }_j{e}^{x_j-\max (x)}}$。

5.3 数学证明

这个技巧的数学基础就是平移不变性。通过引入一个常数 C，可以推导出这个形式。令 $\log C=-\max (x)$，就得到上面的形式。这个变换在数学上是完全等价的。

5.4 为什么这样就稳定了？

减去最大值后，所有指数输入都小于等于 0，因此 $e^{x_i-\max (x)}$ 严格在 0 到 1 之间。最大值对应的指数是 $e^0=1$，所以分母至少是 1，不会出现除以零的情况。这样就彻底解决了溢出问题。

6. 代码示例

理论说完了，看代码最直观。

6.1 NumPy 手动实现

import numpy as np

# 朴素实现（不推荐，数值不稳定）
def softmax_naive(x):
    exp_x = np.exp(x)
    return exp_x / np.sum(exp_x)

# 数值稳定实现（推荐）
def softmax(x):
    x_shifted = x - np.max(x)  # 利用平移不变性
    exp_x = np.exp(x_shifted)  # 所有值 ≤ 1，不会溢出
    return exp_x / np.sum(exp_x)

# 测试
x_small = np.array([2.0, 1.0, 0.1])
print("普通输入:", softmax(x_small))  # [0.659, 0.242, 0.099]
print("和:", np.sum(softmax(x_small)))  # 1.0

x_large = np.array([1000.0, 2000.0, -4000.0])
print("大数值输入（稳定版）:", softmax(x_large))  # [0., 1., 0.]
print("和:", np.sum(softmax(x_large)))  # 1.0

6.2 PyTorch 原生实现

import torch
import torch.nn as nn

x = torch.tensor([2.0, 1.0, 0.1])

# 方式1：函数式 API
output = torch.softmax(x, dim=0)
print("torch.softmax 输出:", output)  # [0.659, 0.242, 0.099]
print("和:", output.sum())  # 1.0

# 方式2：模块化 API
softmax_layer = nn.Softmax(dim=0)
output2 = softmax_layer(x)

# 二维输入示例
x_batch = torch.randn(2, 3)  # 2个样本，3个类别
output_batch = torch.softmax(x_batch, dim=1)
print("每行和:", output_batch.sum(dim=1))  # [1.0, 1.0]

6.3 PyTorch 内置的数值稳定处理

PyTorch 的 torch.softmax 和 F.softmax 内部已经实现了 $x-\max (x)$ 的数值稳定技巧，开发者直接调用即可。此外，F.log_softmax 使用了更稳定的 log-sum-exp 技巧，避免了 log(0) 的问题，推荐与 NLLLoss 配合使用。

import torch.nn.functional as F

x = torch.tensor([2.0, 1.0, 0.1])
log_probs = F.log_softmax(x, dim=0)
print("log_softmax:", log_probs)  # [-0.4170, -1.4170, -2.3170]
print("exp(log_softmax):", torch.exp(log_probs))  # 还原为 Softmax

7. 总结

回顾一下核心要点：Softmax 将任意实数向量转为概率分布，输出在 (0,1) 间且和为 1。它具有保序性、平移不变性（这是数值稳定技巧的数学基础）和非缩放不变性（这是注意力缩放因子的理论依据）。数值稳定计算时先减去最大值，在 Transformer 中它让注意力能够“聚焦”。

最后记住几个关键理解：Softmax 的本质就是“指数化 + 归一化”；数值稳定的 $x-\max (x)$ 不是取巧，而是平移不变性的直接推论；在 Transformer 中，Softmax 是注意力“聚焦”能力的数学核心——没有它，模型无法区分该关注谁。