梯度下降法是求解无约束优化问题
的一种简单而有效的优化方法,是一种利用目标函数的Taylor展开构造搜索方向
的方法。
思想
梯度下降法三要素:出发点、下降方向、下降步长
。用梯度下降法求解优化问题的基本思想可以类比为一个下山的过程,可微分的函数
代表一座山,目标
就是找这个函数的最小值
。利用梯度下降法寻找下山路径的具体做法如下:
- 以
当前位置
,寻找这个位置四周最陡峭
的地方(这个方向就是梯度方向
),然后朝着这个方向走。对函数 f ( x 1 , x 2 , ⋯ , x n ) f(x_1,x_2,\cdots,x_n) f(x1,x2,⋯,xn)来讲,对于函数上每一个点 P ( x 1 , x 2 , ⋯ , x n ) P(x_1,x_2,\cdots,x_n) P(x1,x2,⋯,xn),定义一个向量
( ∂ f ∂ x 1 , ∂ f ∂ x 2 , ⋯ , ∂ f ∂ x n ) (\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},\cdots,\frac{\partial f}{\partial x_n}) (∂x1<