---

---

一、深度学习

1.什么是深度学习？

深度学习是人工智能的一个子领域，属于机器学习的一部分，它基于人工神经网络的概念和结构，通过模拟人脑的工作方式来进行机器学习。

2.特点

深度学习的主要特点是使用多层次的神经网络来提取和学习数据中的特征，并通过反向传播算法来优化参数，从而实现对复杂数据的建模与分类。深度学习在图像识别、语音识别、自然语言处理等领域取得了显著的成果，并被广泛应用于各种领域。

3.神经网络构造

神经网络是一种由多个神经元（或称为节点）组成的计算模型，它模拟了生物神经系统中神经元之间的连接方式。神经网络有输入层、隐藏层和输出层组成，其中输入层用于接收外界的输入信号，输出层用于输出预测结果，隐藏层则用于处理输入信号并产生中间结果。

1）.单层神经元

如下图所示：

神经元1为输入层，而外部传入的x1、x2、x3、x4、x5、……全部都是外界即将传入神经元的电信号，这些电信号在传入途中可能会有所损耗，而损耗完剩下的才会传入神经元，这些传入的实际信号就用w1x1、w2x2、w3x3、w4x4、w5x5、……来表示，w叫做权重。

• 推导
  有下列一堆数据，存在一条直线将他们分开成两类，而这条线叫线的表达式可以表示为y=kx+b
  
  将这个线性回归模型的表达式数学转换成神经网络模型的计算表达式
  y=kx+b —> 0=kx+b-y —> k1x+k2y+b=0 —> w1x1+w2x2+b=0 —> w1x1+w2x2+1*w0=0
  
  这里的1为偏置项
  如图传入信号为x1，x2，x3，他们分别通过权重w改变以后得到w1x1+w2x2+w3x3，然后再将这个结果映射到非线性函数上，这个非线性函数大多数用的都是sigmoid函数，从而得到最终结果，用sigmoid函数的原因是为了完成逻辑回归，因为 上图的模型为线性模型，他不能进行逻辑回归，所以只能将其映射到sigmoid函数中使其转变为逻辑回归。

  sigmoid函数图像：

2）多层神经网络

如图所示，第一列叫输入层，最后一列叫输出层，神经元则在中间三列，每一个神经元的运行方式和上述单层网络一样，如下图所示，上图的5个信号乘以权重的结果求和，然后再对求和的值映射到sigmoid函数，然后第一个神经元接收到这样的信息，然后第一列的每一个神经元都需要得到所有信号的处理，最后再将这通过映射得到的五个值当做信号x再次计算权重求和映射传给下一个神经元，传送到最后到输出层得到结果。(这里的为初期的神经网络构架）

3）小结

神经网络是由大量神经元相互之间链接构成，
每个神经元节点代表一种特定的输出函数，称为激活函数。
如图所示：

每两个节点间的链接都代表一种对于通过该连接信号的加权值，称之为权重。
如图所示：

4.感知器

在“感知器”中，有两个层次。分别是输入层和输出层。输入层里的“输入单元”只负责传输数据，不做计算。输出层里的“输出单元”则需要对前面一层的输入进行计算。

因为上述公式是线性代数方程组，因此可以用矩阵乘法表达这两个公式，输出公式为：

神经网络的本质
通过参数与激活函数来拟合特征与目标之间的真实函数关系。但在一个神经网络的程序中，不需要神经元和线，本质上是矩阵的运算，实现一个神经网络最需要的是线性代数库。

5.多层感知器

相对于上述感知器，多层感知器则增加了一个中间层，即隐含层，神经网络可以做非线性分类的关键–隐含层。

现在，我们将权值矩阵增加到了两个，用上标来区分不同层次之间的变量。

例如ax(y)代表第y层的第x个节点。

6.多层感知器（偏置节点）

偏置节点：这些节点是默认存在的。它本质上是一个只含有存储功能，且存储值永远为1的单元。在神经网络的每个层次中，除了输出层以外，都会含有这样一个偏置单元。
偏置节点与后一层的所有节点都有连接：

7.神经网络构造

- 重点
1.设计一个神经网络时，输入层与输出层的节点数往往是固定的，中间层则可以自由指定；
2.神经网络结构图中的箭头代表着预测过程时数据的流向，跟训练时的数据流有一定的区别；
3.结构图里的关键不是圆圈（代表“神经元”），而是连接线（代表“神经元”之间的连接）。每个连接线对应一个不同的权重（其值称为权值），这是需要训练得到的。

- 如何构造中间层

1.输入层的节点数：与特征的维度匹配
2.输出层的节点数：与目标的维度匹配。
3.中间层的节点数：目前业界没有完善的理论来指导这个决策。一般是根据经验来设置。较好的方法就是预先设定几个可选值，通过切换这几个值来看整个模型的预测效果，选择效果最好的值作为最终选择。