损失函数 L:衡量单一训练样例的效果。
成本函数 J:用于衡量 w 和 b 的效果。
如何使用梯度下降法来训练或学习训练集上的参数w和b ?
成本函数J是参数w和b的函数,它被定义为平均值;
损失函数L可以衡量你的算法效果,每一个训练样例都输出,把它跟真实标签进行比较。
梯度下降法:从初始点开始,朝最陡的下坡方向走一步,在梯度下降一步后,或许在那里停下,或者尽可能快的向下走,这是梯度下降的一次迭代。然后继续,希望收敛到全局最优解。
Gradient Descent 梯度下降法,重复执行以下的更新操作:
- 更新w的值(使用 := 表示更新w)。
- Learning Rate 学习率 可以控制每一次迭代,或者梯度下降法中的步长。
- 这里的导数 dJ(w)/dw 就是对参数w的更新或变化量。
- 我们写代码来实现梯度下降时,会使用变量名dw表示导数,即上图中的式子写为:
- w := w - dw
- 新的w的值 等于 w自身 减去 学习率和导数的乘积
导数是函数在对应点的斜率,函数的斜率是高除以宽。如果J函数最开始在右边的点,那么它的斜率是正数,更新的w的值w := w - dw会变小,即上图中的点会往左移;反之,如果一开始点在左上方,即斜率为负数,那么更新的w的值会变大,也就是会逐渐往右移。不论起始点在左边还是右边,最终都会到中间底部那个点。
在深度学习里,有循环会降低算法的运行效率。实现梯度下降的迭代,不使用任何循环,而是向量化(Vectorization)。使用内置函数,避免使用显式for循环,可以让程序运行速度快很多。
import numpy as npimport timea = np.random.rand(1000000)
b = np.random.rand(1000000)tic = time.time()
c = np.dot(a,b)
toc = time.time()print(c)
print("Vectorization version: " + str(1000*(toc-tic)) + "ms")c = 0
tic = time.time()
for i in range(1000000):c += a[i]*b[i]
toc = time.time()print(c)
print("For loop:" + str(1000*(toc-tic)) + "ms")
运行结果:
由上述代码运行结果可知,使用内置函数比显式使用for循环快了200倍,所以我们尽量不要使用显示for循环。