目录

一、常规神经网络模型

二、TensorFlow实现前向传播步骤

1、读取数据集

2、batch划分

3、根据神经网络每一层的神经元个数来初始化参数w,b

4、进行每一层输入输出的计算

5、对每一层的输出进行非线性relu函数变换

6、计算一个batch训练后的误差loss

7、计算每一次loss对参数的梯度

8、根据梯度进行参数的迭代

三、常见错误纠错

1、tf.Variable()忘记使用——将需要求导的参数进行该操作，系统会自动记录导数的变化

2、迭代后的参数会自动变成tensor，而不是variable进而报错

3、梯度爆炸的解决——将初始化参数时的方差改小

4、几个循环

---

一、常规神经网络模型

二、TensorFlow实现前向传播步骤

这里以UCI中的手写数字集作为数据训练集，假设神经网络层数有4层

输入层：1

隐层：2

输出层：1

按照batch的方式进行训练，一个batch含有128组数据

一个batch在神经网络中训练的shape变换如下：

x【128,28,28】>>>reshape>>>输入：【128,784】>>>隐层1：【128,256】>>>隐层2：【128,128】>>>输出：out【128,10】

y【128，】>>>one_hot>>>【128,10】

一个batch的loss:【128,10】

loss = (y-out)^2

1、读取数据集

 

 

2、batch划分

因为minis数据集数据量庞大，如果一个一个样本进行训练会非常耗时，因此将一定数量的样本组合成一个batch，每次对一个batch进行训练，这样会提高训练效率，又不会影响训练出来神经网络的准确性

3、根据神经网络每一层的神经元个数来初始化参数w,b

每一层的w的个数为：上一层神经元数*下一层神经元数

每一层的b的个数为：当前层的神经元个数

4、进行每一层输入输出的计算

5、对每一层的输出进行非线性relu函数变换

6、计算一个batch训练后的误差loss

7、计算每一次loss对参数的梯度

利用TensorFlow求解loss对各个参数进行求导时，必须将输入输出的求解以及loss的求解放在上图红色框的内部

8、根据梯度进行参数的迭代

三、常见错误纠错

1、tf.Variable()忘记使用——将需要求导的参数进行该操作，系统会自动记录导数的变化

2、迭代后的参数会自动变成tensor，而不是variable进而报错

这样的话我们就需要利用一个函数，使得迭代变量参数的值发生改变但是对象不会发生改变

 

3、梯度爆炸的解决——将初始化参数时的方差改小

梯度爆炸就是指梯度突然非常大，导致后面进行后向传播时，loss不断地增大，得不到最优参数解

 

 

 

4、几个循环