一、引入新标记方法
首先,引入一些新的标记方法,以便更好地讨论神经网络的代价函数。考虑神经网络的训练样本,其中每个样本包含输入 x 和输出信号 y。我们用 L 表示神经网络的层数,表示每层的神经元个数(表示输出层神经元个数)。对于分类问题,将神经网络的分类定义为两种情况:二类分类和多类分类。
二、代价函数的变化
回顾逻辑回归问题中的代价函数,有:
在神经网络中,输出变量和因变量都是向量,因此代价函数更为复杂:
这个代价函数考虑了每个样本的每个类别的预测,并通过嵌套的求和来处理不同层的权重。最后一项是正则化项,用于排除每一层的偏置项后,每一层的权重矩阵的平方和。
三、正则化的重要性
正则化项在神经网络中同样发挥着重要作用,帮助防止过拟合。通过惩罚权重矩阵中的大值,可以有效地控制模型的复杂性,提高其泛化能力。
通过代价函数,能够观察算法预测结果与实际情况的误差,为调整模型参数提供有力的指导。深入理解神经网络代价函数的结构和作用,有助于更好地理解模型的训练过程和性能评估。
参考资料:
[中英字幕]吴恩达机器学习系列课程
黄海广博士 - 吴恩达机器学习个人笔记