得分函数   f=W*X

损失函数   c=W*X-y   

目标    损失函数最小    最优化过程

可视化     

一维

二维   热力图

如果损失函数是一个凸函数，例如SVM。

凸函数 正系数加和=凸函数

神经网络    costfunction    非凸   因为系数有正有负。

梯度下降有两种解决。数值梯度和解析梯度。

数值梯度是按照导数公式   f(x0)' = (f(x0+h) - f(x0))/h   ,h是一个非常小的数。数值梯度解法简单，但是计算和参数呈线性关系，计算量大。

解析法：速度快，但是容易出错。利用f(x)导函数 f(x)' 计算梯度。

梯度下降的实现过程中有批处理、随机梯度、min-batch梯度下降。

梯度下降要理解梯度方向需要弄明白 梯度方向   三垂线  几个概念。我记录一点杂乱的东西在这里。

梯度：函数增长最快的方向。

梯度方向是等值曲线的法向量。是函数在某一点的变化率和变化方向。在一维函数的时候，梯度方向和

反向转播是一个求偏导的过程。

把   f(x,y,z)=(x+y)*z    在给定一个具体值的时候画一个网络结构图试试吧。前向计算每一步的得分。向后计算每一步的导数。

这个公式推导真心没推导出来。继续加油。