Softmax函数的意义

来自GPT，后期会再整理。。。

Softmax函数在深度学习中，特别是在多分类任务中，被广泛用作输出层的激活函数。它将模型的原始输出（logits）转化为概率分布，使得每个类别的概率总和为1。相比于简单地使用“单个/总数”来计算概率，Softmax函数有其独特的优势和作用。

### Softmax函数的定义

给定一个包含 \(K\) 个类别的输入向量 \(\mathbf{z} = [z_1, z_2, \ldots, z_K]\)，Softmax函数定义为：

\[ \text{Softmax}(z_i) = \frac{e^{z_i}}{\sum_{j=1}^{K} e^{z_j}} \]

其中，\(z_i\) 是输入向量中的第 \(i\) 个元素， \(e\) 是自然对数的底数。

### 为什么使用Softmax函数？

1. **转化为概率分布**：Softmax函数将原始输出转化为概率分布。每个类别的输出都是一个概率值，且所有类别的概率和为1。这非常适合多分类任务，例如图像分类、文本分类等。

2. **放大差异**：Softmax函数通过指数函数将输入值进行非线性放大。较大的输入值对应较大的输出概率，较小的输入值对应较小的输出概率。这种性质可以放大不同类别之间的差异，使得模型更容易区分不同类别。

3. **避免数值问题**：直接使用“单个/总数”计算概率可能导致数值稳定性问题，尤其是当输入值相差较大时。Softmax函数通过指数运算和归一化操作，能更好地处理数值范围广泛的输入，避免数值下溢或上溢的问题。

4. **梯度计算**：在反向传播过程中，Softmax函数的导数计算具有良好的数值性质。它的导数形式适合于梯度下降算法的优化过程，能够有效更新模型参数。

### Softmax与“单个/总数”的比较

假设我们有一个包含 \(K\) 个类别的原始输出向量 \(\mathbf{z}\)，直接使用“单个/总数”计算概率的方法如下：

\[ p_i = \frac{z_i}{\sum_{j=1}^{K} z_j} \]

这种方法存在几个问题：

1. **负值问题**：如果原始输出 \(\mathbf{z}\) 中存在负值，上述计算方法会产生不合理的概率（负值或大于1的值）。
2. **数值稳定性**：原始输出值可能差异很大，直接相除容易导致数值不稳定。
3. **没有放大差异**：简单的比例计算无法有效放大类别之间的差异，不利于模型的分类决策。

### 示例

为了更好地理解，下面是一个简单的示例：

假设我们有一个包含3个类别的原始输出向量 \(\mathbf{z} = [2.0, 1.0, 0.1]\)。

1. **使用Softmax函数计算概率**：

\[ \text{Softmax}(z_i) = \frac{e^{z_i}}{e^{2.0} + e^{1.0} + e^{0.1}} \]

计算得到：

\[ \text{Softmax}(2.0) = \frac{e^{2.0}}{e^{2.0} + e^{1.0} + e^{0.1}} \approx \frac{7.39}{7.39 + 2.72 + 1.11} \approx 0.66 \]

\[ \text{Softmax}(1.0) = \frac{e^{1.0}}{e^{2.0} + e^{1.0} + e^{0.1}} \approx \frac{2.72}{7.39 + 2.72 + 1.11} \approx 0.24 \]

\[ \text{Softmax}(0.1) = \frac{e^{0.1}}{e^{2.0} + e^{1.0} + e^{0.1}} \approx \frac{1.11}{7.39 + 2.72 + 1.11} \approx 0.10 \]

2. **使用“单个/总数”计算概率**：

\[ p_i = \frac{z_i}{\sum_{j=1}^{K} z_j} \]

计算得到：