问题预览/关键词

1. 本节内容
2. 梯度下降更新w的公式
3. 梯度下降更新b的公式
4. =的含义
5. α的含义
6. 为什么要控制梯度下降的幅度？
7. 导数项的含义
8. 为什么要控制梯度下降的方向？
9. 梯度下降何时结束？
10. 梯度下降算法收敛的含义
11. 正确更新梯度下降的顺序
12. 错误更新梯度下降的顺序

笔记

1.本节内容

如何实现梯度下降算法

2.梯度下降更新w的公式

3.梯度下降更新b的公式

4.=的含义

表示计算机中的赋值操作，不能理解成数学中的等于操作。

5.α的含义：

希腊字母，表示学习率，通常为0-1之间很小的数，如0.01。它用来控制梯度下降的幅度。α越大，下降的步子越大。α很小，则一点点向下走。

6.为什么要控制梯度下降的幅度

控制梯度下降的幅度：学习率过高，下降幅度太大，无法下降到最低点，学习率过低，下降幅度太小，影响算法性能。

• 如何选择合适的α：4.4课节会详细说明。

7.导数项的含义

用来控制梯度下降的方向。

• 计算J关于w的偏导数

• 计算J关于b的偏导数。
  

8.为什么要控制梯度下降的方向？

只有控制方向，才能尽快的到达函数的局部或全局最小值。

• 为什么求导能控制方向？4.3课节会详细说明。

• 导数如何计算？4.5课节会详细说明。

9.梯度下降何时结束

不断更新w和b直到算法收敛，梯度下降就可以停止了。

• 自行设置停止条件，在第一周lab_05实验代码，设置迭代10000次后自动停止。

10.梯度下降算法收敛

优化过程中，算法逐步逼近问题的最优解或局部最优解。在线性回归中，表示梯度下降更新的w和b，已经达到成本函数J的局部最小值，此时w，b不怎么改变了。

11.更新梯度下降的正确顺序

先用旧的w和b计算，计算完成在更新w和b，即同步更新。

12.更新梯度下降的错误顺序

计算w然后更新w，导致计算b的过程里使用了新的w，旧的w被忽略了，导致w，b没有同步更新。

总结

梯度下降的具体操作是要更新w，b，公式为计算学习率乘以J关于w或b的偏导数，然后将结果赋值给新的w和b，一直重复上述过程，直到w，b的值不怎么改变了。公式中的=符号表示赋值操作，α（学习率）控制梯度下降的步幅，导数项控制梯度下降的方向。在更新w，b的时候，我们要做到同步更新。先计算旧的w，b，然后将结果更新给新的w，b。