深度学习入门（二）：神经网络整体架构

一、前向传播

作用于每一层的输入，通过逐层计算得到输出结果

二、反向传播

作用于网络输出，通过计算梯度由深到浅更新网络参数
在这里插入图片描述

三、整体架构

层次结构：逐层变换数据
神经元：数据量、矩阵大小（代表输入特征的数量）

$x ： [1, 3]$
$w_1：[3,4]$
$hi dd e n l a yer 1 ： [1, 4]$
$w_2：[4,4]$
$hi dd e n l a yer 2 ： [1, 4]$
$w_3：[4,1]$
在这里插入图片描述

非线性操作加在每一步矩阵计算之后，增加神经网络的非线性。没有激活函数的每层都相当于矩阵相乘。就算你叠加了若干层之后，无非还是个矩阵相乘罢了。

在这里插入图片描述

四、神经元个数对结果的影响（Stanford例子）

Stanford可视化的神经网络，可以自行调参数试试

1、 num_neurons:1

将神经元设置为1，查看效果

layer_defs = [];
layer_defs.push({type:'input', out_sx:1, out_sy:1, out_depth:2});
layer_defs.push({type:'fc',  num_neurons:1, activation: 'tanh'});
layer_defs.push({type:'fc', num_neurons:1, activation: 'tanh'});
layer_defs.push({type:'softmax', num_classes:2});net = new convnetjs.Net();
net.makeLayers(layer_defs);trainer = new convnetjs.SGDTrainer(net, {learning_rate:0.01, momentum:0.1, batch_size:10, l2_decay:0.001});

查看circle data，可以看出效果不佳，看上去像切了一刀。
在这里插入图片描述

2、 num_neurons:2

将神经元设置为2，查看效果

layer_defs = [];
layer_defs.push({type:'input', out_sx:1, out_sy:1, out_depth:2});
layer_defs.push({type:'fc', num_neurons:2, activation: 'tanh'});
layer_defs.push({type:'fc', num_neurons:2, activation: 'tanh'});
layer_defs.push({type:'softmax', num_classes:2});net = new convnetjs.Net();
net.makeLayers(layer_defs);trainer = new convnetjs.SGDTrainer(net, {learning_rate:0.01, momentum:0.1, batch_size:10, l2_decay:0.001});

查看circle data，可以看出效果一般，看上去像切了两刀，抛物线状。
在这里插入图片描述

3、 num_neurons:3

将神经元设置为3，查看效果

layer_defs = [];
layer_defs.push({type:'input', out_sx:1, out_sy:1, out_depth:2});
layer_defs.push({type:'fc', num_neurons:3, activation: 'tanh'});
layer_defs.push({type:'fc', num_neurons:3, activation: 'tanh'});
layer_defs.push({type:'softmax', num_classes:2});net = new convnetjs.Net();
net.makeLayers(layer_defs);trainer = new convnetjs.SGDTrainer(net, {learning_rate:0.01, momentum:0.1, batch_size:10, l2_decay:0.001});