数值逼近

为了对梯度进行检验，需要计算近似误差值来接近梯度

对于单边误差和双边误差公式，其中双边误差与真实梯度相差更小，故一般采用双边误差公式

双边误差

公式：

梯度检验(gradient checking)

对于成本函数，求出的导数，计算出双边误差，再将两者进行比较

比较方法：

，判断的大小

若，则误差很小，效果很好

若，则误差一般，效果一般

若，则误差较大，需要考虑是否错误较多

梯度检验的注意事项

不要在训练中使用梯度检验，它只适用于调试

梯度检验的计算时间较长，且通常在backprop后向传播中进行

当梯度检验得出偏差过大时，要对所有参数进行检查

使用正则化时，要记住在梯度检验中保留正则项

不要在梯度检验的过程中使用dropout

在每次迭代过程中，dropout会随机消除隐层单元的不同子集，J函数难以明确计算