目录

1）Cost function

2）Backpropagation algorithm

3）Backpropagation intuition

4)  Gradient checking

5）Random initialization

6）Putting it together

---

注：吴恩达老师的机器学习课程对反向传播算法介绍的不够深入，如果想详细了解的话建议看吴恩达老师的深度学习课程。

1）Cost function

回顾一下我们之前介绍的神经网络，二分类和多分类应用：

参数：

我们参照逻辑回归函数来给出神经网络的代价函数：

• 对于每一行特征，我们都会预测 K 个结果，然后从 K 个结果中选取概率最大的那个。
• 最里层 j 循环所有行（由 sl+1 层的神经单元数决定），i 循环所有的列（由 sl 层）的激活单元数决定。

2）Backpropagation algorithm

我们来看看我们的梯度计算公式：

在进行反向传播计算之前，我们来看看我们介绍过的前向传播：

反向传播计算：这一部分建议看看吴恩达老师的深度学习课程，里面详细介绍了反向传播算法。

最后我们得出了反向传播算法，主要还是偏导数的计算：

3）Backpropagation intuition

4) Gradient checking

我们使用数值梯度校验：

5）Random initialization

这里注意的是所有的参数不能全为0：

6）Putting it together

下面介绍的使用神经网络的步骤：