全连接神经网络

全连接神经网络的结构

整体结构

神经网络：类似神经元，前一层可以不断地传递给下一层。

神经网络模型由多个单元结构组成。

单元结构

单元结构的数学公式：$a=h(wx+b)$

h(x)：激活函数

• 比如sigmoid就是激活函数之一
• 隐藏层大多需要激活函数

激活函数

激活函数概述

激活函数是非线性的函数（图像不是直线的）。

非线性激活函数引入了非线性变换，使得神经网络可以逼近任意复杂的函数，从而更好地完成分类、回归和其他任务。增加神经网络的表达能力，使其能够学习和表示更加复杂的模式和关系。

激活函数必须是非线性的，因为如果激活函数是线性的话，无论神经网络有多少层，整个网络都可以被简化为单层网络。 $a_{31}=kx;k=c^3$ 和 $a_{11}=$