文章目录
- 简介
- 反向传播
- 小结
简介
为了构建神经网络模型,我们需要首先思考大脑中的神经网络是怎样的?每一个神经元都可以被认为是一个处理单元/神经核,它含有许多输入/树突,并且有一个输出/轴突。神经网络是大量神经元相互链接并通过电脉冲来交流的一个网络。
我们设计出了类似于神经元的神经网络,效果如下:
其中𝑥1, 𝑥2, 𝑥3是输入单元(input units),我们将原始数据输入给它们。
𝑎1, 𝑎2, 𝑎3是中间单元,它们负责将数据进行处理,然后呈递到下一层。
最后是输出单元,它负责计算ℎ𝜃(𝑥)。
神经网络模型是许多逻辑单元按照不同层级组织起来的网络,每一层的输出变量都是下一层的输入变量。下图为一个 3 层的神经网络,第一层成为输入层(Input Layer),最后一层称为输出层(Output Layer),中间一层成为隐藏层(Hidden Layers)。我们为每一层都增加一个偏差单位(bias unit).
反向传播
1.前向传播:在进行反向传播之前,首先进行前向传播。前向传播是指从输入层开始,通过网络中的每一层逐步计算并传递信号,直到达到输出层,得到网络的输出值。在这个过程中,每个神经元都将其输入加权求和,并通过激活函数产生输出。
2.计算损失:在前向传播的基础上,计算输出层的预测值与真实标签之间的损失(误差)。损失函数通常采用均方误差(MSE)或交叉熵(Cross Entropy)等。
3.反向传播误差:反向传播是从输出层到输入层的过程,用来计算损失函数对网络中每个参数的梯度。这个过程是基于链式法则的,它将输出层的误差反向传播到每一层的权重和偏置,以便对它们进行更新。
4.梯度下降更新参数:根据反向传播计算得到的梯度信息,采用梯度下降算法来更新网络中的参数(权重和偏置),以使损失函数最小化。梯度下降的目标是沿着梯度的负方向更新参数,使损失函数逐渐减小。
5.重复迭代:通过多次迭代上述过程,不断调整网络参数,使网络的预测值逼近真实值,从而提高模型的性能。
小结
小结一下使用神经网络时的步骤:
网络结构:第一件要做的事是选择网络结构,即决定选择多少层以及决定每层分别有多
少个单元。
第一层的单元数即我们训练集的特征数量。
最后一层的单元数是我们训练集的结果的类的数量。
如果隐藏层数大于 1,确保每个隐藏层的单元个数相同,通常情况下隐藏层单元的个数
越多越好。
我们真正要决定的是隐藏层的层数和每个中间层的单元数。
训练神经网络:
1. 参数的随机初始化
2. 利用正向传播方法计算所有的ℎ𝜃(𝑥)
3. 编写计算代价函数 𝐽 的代码
4. 利用反向传播方法计算所有偏导数
5. 利用数值检验方法检验这些偏导数
6. 使用优化算法来最小化代价函数