不同优化器的区别和作用

优化器是深度学习中用于调整网络参数（如权重和偏置）以最小化损失函数的算法。不同的优化器具有不同的特点，适用于不同的任务和数据集。

---

1. 常见优化器

(1) 随机梯度下降（SGD）

• 公式:
  $$W_{new}=W_{old}-\eta \nabla J(W_{old})$$
  其中$\eta$是学习率。

• 特点:

  • 每次使用一个小批量数据计算梯度。
  • 简单高效，但收敛速度慢，容易陷入局部最优。

• 优点:

  • 适合大规模数据训练。
  • 计算开销小。

• 缺点:

  • 收敛不稳定，容易振荡。

---

(2) 动量梯度下降（Momentum SGD）

• 公式:
  $$v_t=\beta v_{t-1}+\eta \nabla J(W_{t-1})$$
  $$W_{new}=W_{old}-v_t$$

• 特点:

  • 引入动量（$v_t$）累积过去的梯度。
  • 可以加速收敛，减少振荡。

• 优点:

  • 在谷底附近更快收敛。
  • 减少高频振荡。

• 缺点:

  • 需要手动调整动量参数$\beta$。

---

(3) RMSprop

• 公式:
  $$S_t=\beta S_{t-1}+(1-\beta )(\nabla J(W_t){)}^2$$
  $$W_{new}=W_{old}-\frac{\eta }{\sqrt{S_t+ϵ}}\nabla J(W_t)$$

• 特点:

  • 自适应学习率，根据每个参数的梯度平方值调整学习率。
  • 避免梯度爆炸和梯度消失问题。

• 优点:

  • 适合处理稀疏梯度问题。
  • 在RNN中表现优越。

• 缺点:

  • 需要调节超参数$\beta$。

---

(4) AdaGrad

• 公式:
  $$S_t=S_{t-1}+(\nabla J(W_t){)}^2$$
  $$W_{new}=W_{old}-\frac{\eta }{\sqrt{S_t+ϵ}}\nabla J(W_t)$$

• 特点:

  • 学习率会随着时间逐渐减小。
  • 对于稀疏数据和高维数据效果较好。

• 优点:

  • 无需手动调整学习率。
  • 对特征少的数据表现较好。

• 缺点:

  • 学习率衰减过快，导致后期训练停滞。

---

(5) Adam（Adaptive Moment Estimation）

• 公式:

  • 动量部分：
    $$m_t={\beta }_1{m}_{t-1}+(1-{\beta }_1)\nabla J(W_t)$$
    $$v_t={\beta }_2{v}_{t-1}+(1-{\beta }_2)(\nabla J(W_t){)}^2$$
  • 参数更新：
    $$W_{new}=W_{old}-\frac{\eta }{\sqrt{{\hat{v}}_t}+ϵ}{\hat{m}}_t$$
    其中，${\hat{m}}_t=\frac{m_t}{1-{\beta }_1^t}$，${\hat{v}}_t=\frac{v_t}{1-{\beta }_2^t}$。

• 特点:

  • 综合了Momentum和RMSprop的优点。
  • 动态调整每个参数的学习率。

• 优点:

  • 快速收敛，适合非平稳目标。
  • 超参数相对稳定。

• 缺点:

  • 可能导致局部最优或震荡问题。
  • 对于某些问题泛化能力较弱。

---

(6) AdaDelta

• 公式:
  $$S_t=\beta S_{t-1}+(1-\beta )(\nabla J(W_t){)}^2$$
  $$\Delta W=-\frac{\sqrt{\Delta W_{t-1}+ϵ}}{\sqrt{S_t+ϵ}}\nabla J(W_t)$$
  $$W_{new}=W_{old}+\Delta W$$

• 特点:

  • 改进了AdaGrad，避免学习率过早衰减问题。
  • 使用窗口存储历史梯度，动态调整更新步长。

• 优点:

  • 无需手动调整学习率。
  • 适合深度网络训练。

• 缺点:

  • 对稀疏数据表现一般。

---

2. 优化器的对比总结

优化器	特点	适用场景
SGD	简单高效，收敛慢，容易陷入局部最优	小型模型，初学者
Momentum SGD	加速收敛，减少振荡	深层神经网络训练
RMSprop	自适应学习率，处理稀疏梯度优秀	RNN、稀疏数据
AdaGrad	学习率自动调整，训练后期衰减较快	稀疏数据，文本分类
Adam	快速收敛，自适应性强，综合多种优化器优点	通用场景，深度网络，推荐最优先使用
AdaDelta	动态学习率，无需手动调整	深层网络训练

---

选择优化器的建议

1. 初始训练阶段：可以先用Adam快速找到合适的参数区域。
2. 后期微调阶段：可以切换到SGD或Momentum SGD以提高模型的泛化性能。
3. 特殊场景：
   • 稀疏数据：优先选择RMSprop、AdaGrad。
   • 序列任务：RMSprop、Adam在RNN中效果更佳。