梯度下降算法：

算法原理

        上一章我们已知神经网络算法就是求解拟合函数，通过线性变换和非线性变换来得出损失函数最小的模型。那么是如何进行求解的呢，其中之一就是梯度下降算法。

        如图，当我们需要求解拟合曲线时，如何找到拟合曲线？步骤就是首先随机一个w值，画出过原点的y = wx的图像，再根据误差调整这个曲线，最终得到拟合函数。

        因此我们根据这个步骤开始分析，首先随机出的这个曲线称为预测函数，然后根据误差，求出代价函数，再根据代价函数调整曲线，最终得到拟合最好的预测函数。下面我们根据下图进行算法流程讲解：

 算法流程

预测函数：y = wx

第一个点的误差为： ，所有样本点的均方差就是代价函数

代价函数：：

         可以看出误差函数图像为一个开口向向上的二次函数，具有极小值点，因此我们找到这个最低点的w值，就得到了最终的拟合曲线。

        实际情况中，我们要求解的不一定是一元二次的函数，是多元甚至更高次的函数的最小值，因此我们就要使用算法来寻找这个最低点，寻找最低点的算法之一就是梯度下降算法。

        因此，我们定义（e,w）函数图像中某一个位置的陡峭程度为梯度，对应就是斜率k，我们根据梯度往下搜索就会找到最低点。那么该如何搜索，每次的步长改迈多大？这时候就要引入学习率的概念：

       学习率：首先梯度下降的过程是使用斜率k作为基准步长，越陡峭下降越快，越平滑下降越慢，这样就能最快达到最低点，由于斜率与x的关系不确定，因此我们就要乘上一个参数控制步长大小，这个参数就是学习率，这样函数在适当的学习率下，可以快速准确地收敛到最小值的位置。

算法优化

在下降方法上，存在如下优化方法：

BGD：批量梯度下降算法，采用所有样本进行运算 ，速度慢，精确度高

SGD：随机梯度下降算法，采用随机样本进行计算，速度快，精准度低

MBGD：小批量梯度下降算法，采用随机小批量样本点进行运算，也叫最速下降法，这个方法最常用

在学习率上，存在如下优化方法：

AdGrad：动态学习率，经常更新的参数学习率就小一点，不常更新的参数学习率就大一点

RMSProp算法：优化动态学习率

AdaDelta算法：无需设置学习率

Adam算法：融合AdaGrad和RMSProp

Momentum算法：模拟动量，螺旋搜索前进，

BP反向传播算法 

        BP反向传播算法就是利用结果来反向更新参数的算法。

一次变化

        例如一个线性拟合，x经过w，b的线性拟合后变为y = wx + b

损失函数：

        其中是预测值，为真实值，假设有一个真实样本为，随机出一个，得出，根据损失函数求出损失，根据梯度下降算法，我们的目标是求出L对w和b的梯度值，也就是偏导数，然后再沿着梯度的反方向更新这两个参数

通过计算L对y的偏导求出L对w和b的偏导：

带入

 

得：

假设学习率

更新下一次的w和b：

 

 二次变换

         例如一个线性拟合，x经过w1，b1的线性拟合后变为y = wx + b,经过w2,b2的线性变换后为y 

→→ →→

 损失函数：

求导过程如下：

在计算机中求导过程如下

代码如下：

 注：本文部分图片与文字来自哔站up主：风中摇曳的小萝卜，梗直哥丶