第10章 优化神经网络:如何防止过拟合(DNN)
目录
10.1 什么是过拟合
10.2 L1、L2正则化
10.3 L2正则化的物理解释
10.4 Dropout正则化
10.5 其它正则化技巧
10.6 总结
上一课,我们一步步搭建了一个深层神经网络来实现图片的分类。结果显示,随着网络层数加深,隐藏层数增加,网络性能会有所提升。但是,单纯地通过增加网络层数也不一定能取得很好的效果,且模型容易发生过拟合。
本节将主要讨论神经网络中的过拟合问题以及如何避免过拟合。
10.1 什么是过拟合
任何机器学习模型,包括神经网络都可能存在过拟合(Overfit)问题。下面用一张图来说明:
上图中,分别用三个模型来拟合实际的样本点(