Python----深度学习（全连接与链式求导法则）

一、机器学习和深度学习的区别

机器学习：利用计算机、概率论、统计学等知识，输入数据，让计算机学会新知识。机器学习的过程，就是训练数据去优化目标函数。

深度学习：是一种特殊的机器学习，具有强大的能力和灵活性。它通过学习将世界表示为嵌套的层次结构，每个表示都与更简单的特征相关，而抽象的表示则用于计算更抽象的表示。

传统的机器学习需要定义一些手工特征，从而有目的的去提取目标信息，非常依赖任务的特异性以及设计特征的专家经验。而深度学习可以从大数据中先学习简单的特征，并从其逐渐学习到更为复杂抽象的深层特征，不依赖人工的特征工程，这也是深度学习在大数据时代受欢迎的一大原因。

二、人工神经网络

人工神经网络(Artificial Neural Network,ANN)可以对一组输入信号和一组输出信号之间的关系进行建模，其灵感源于动物的神经中枢，由大量的人工神经元连接而成；

神经网络，也称为人工神经网络（ANN）或模拟神经网络（SNN），是机器学习的子集，并且是深度学习算法的核心。其名称和结构是受人类大脑的启发，模仿了生物神经元信号相互传递的方式，但实际上并不十分相通。一般分为3个层次：输入层，输出层，隐藏层

在上图中，所有的“圆圈”有一个共同的名字，叫做神经节点。一个神经网络是由很多个节点来构成的，不同层的节点会有不同的作用。

比如节点“x”所在的层叫做输入层。每一个神经网络都只有一个输入层，但输入层可以有很多个“输入”节点，所有的特征都从该层进行输入。比如上面的神经网络中输入层只有“x”一个节点，也就意味着该神经网络只有一个输入特征，例如根据用水量判断水费，“x”就是用水量。

节点“ a1_1”和节点“a2_1 ”所在的层叫做隐藏层，一个神经网络可以有很多个隐藏层，每一个隐藏层中也可以有很多个节点。

隐藏层是用来对输入的特征进行计算的结果，层数越多，模型越复杂。

上面的神经网络中有一层隐藏层，该隐藏层中有两个节点，其中“a1_1 ”节点下角标的第一个“1”表示该节点是本层的第一个节点，第二个“1”表示是神经网络的第1层（第一个隐藏层是第一层）。

由此，“ a2_1”节点的下角标代表本节点是该网络第一层隐藏层中的第二个节点。

节点“a1_2 ”所在的层叫做输出层，一个神经网络只能有一个输出层，例如根据用水量判断水费，水费就是输出。输出层的节点可以有很多个，例如某地的用水量不仅仅影响用水费，还有水资源费改税和污水处理费。同时在分类任务中，目标有几类，输出层就会有几个节点，例如根据图片判断这是猫还是狗。

输出层是输入层经过隐藏层计算后得到的结果，比如上面的神经网络的输出层中就只有一个输出节点“a1_2 ”。同时，节点“a1_2 ”表示该节点是该网络第二层的第一个节点，“z1_2 ”先不用管，后续前向计算时会说到。

还有w11_1、w12_1 、b1_1 、b2_1等参数，它们是神经网络计算过程中必不可少的参数，并且每个参数的下角标都不一样，不同下角标的参数所代表的意义不一样。

比如，第一个“1”代表计算对象是前一层的第一个节点；第二个“1”代表计算后的结果（需要激活）是本层的第一个节点；第三个“1”代表本参数是第一层的参数。

由此，表示该参数是第一层的参数，其计算对象是上一层的第一个节点，计算后的结果（需要激活）是本层的第二个节点，表示该参数是第二层的参数，其计算对象是上一层的第一个节点，计算后的结果（需要激活）是本层的第一个节点；表示该参数是第一层的参数，计算结果（需要激活）是本层的第一个节点，表示该参数是第一层的参数，计算结果（需要激活）是本层的第二个节点。

三、全连接神经网络

全连接神经网络（Fully Connected Neural Network），是一种连接方式较为简单的人工神经网络结构，顾名思义，它的每个节点都与下一层的所有节点有连接。这种网络通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。在工程与学术界，全连接神经网络也常直接简称为“神经网络”或类神经网络。上面例子中的神经网络就是一个结构简单的全连接神经网络。