1. 感知机
感知机通常情况下指单层的人工神经网络，其结构与 MP 模型类似（按照生物神经元的结构和工作原理造出来的一个抽象和简化了模型，也称为神经网络的一个处理单元）
假设由一个 n 维的单层感知机，则：
- x 1 x_1 x1 至 x n x_n xn 为 n 维输入向量的各个分量
- w 1 j w_{1j} w1j 至 w n j w_{nj} wnj 为各个输入分类连接感知机的权重（权值）， ∑ \sum ∑ 为阈值
- f 为激活函数（激励函数或传递函数），O 为标量输出
- 理想的函数为阶跃函数或 Sigmoid 函数，目标是通过输入向量 x 与权重向量 w 求得内积后，通过激活函数 f 所得的标量
2. 多层感知机与反向传播
在多层感知机中使用 BP 算法（由信号的正向传播和误差的反向传播两个过程组成，由于多层前馈网络的训练，经常采用误差反向传播算法），采用 Sigmoid （生物学中的常见的 S 型函数，也成为 S 型生长曲线）进行非线性映射，解决了非线性分类和学习的问题
多层感知机是单层感知机的推广，最主要的特点是有多个神经元层。
- 将 MLP 的第一层称为输入层，中间成为隐藏层（隐含层），最后一层为输出层，对于隐藏层和输出层中每层神经元的个数也没有限制
- 输出为 y，损失函数为 E
y = h 1 w h 1 + h 2 w h 2 = x 1 w 11 + x 2 w 12 + x 1 w 21 + x 2 w 22 y=h_1w_{h1}+h_2w_{h2}=x_1w_{11}+x_2w_{12}+x_1w_{21}+x_2w_{22} y=h1wh1+h2wh2=x1w11+x2w12+x1w21+
