1、我们身处人工智能的时代

人们从早期做web开发，到移动端的开发；之后随着数据量的增大，人们开始研究高并发的问题；当数据量不断的增大，而人们希望数据不被浪费时，产生了大数据的技术，包括：大数据的如何存储以及大量数据的如何计算分析；由于计算分析和存储需要资源，互联网便发展到通过云计算进行存储与计算，包括虚拟化的计算，如：docker，k8s；再到后来，人们不是仅仅局限于将数据进行存储和简单分析，更多的是想从数据中挖掘出价值，人们便想到了人工智能，因为人工智能中有很多的算法，可以帮助人们从数据中挖掘出价值。

注意，区分大数据和人工智能的概念：

• 大数据：专注于已有的数据的存储和计算，生成分析报表；
• 人工智能：专注于利用已有数据挖掘规律，对未来进行预测。

人工智能领域的技术：

人工智能从早期的使用机器学习的算法来做数据挖掘，到分布式的进行数据挖掘；再到进一步的把算法研究得更加深入，走向了深度学习的领域，于是人们开始发现深度学习可以使更加复杂的问题（如：计算机视觉、自然语言处理）变得更加的准确，于是有了各种各样的应用；在人工智能发展过程中还存在强化学习，比如：利用强化学习的技术，在前几年有AlphaGo这样下围棋的机器人，近几年有各种各样的智能制造中使用到的机器人。这些都是应用人工智能产生的一些产业。

2、神经网络组成

人工神经网络（Artificial Neural Networks，简写为ANNs）是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的，并具有自学习和自适应的能力。神经网络类型众多，其中最为重要的是多层感知机。为了详细地描述神经网络，我们先从最简单的神经网络说起。

2.1 感知机
感知机是1957年，由Rosenblatt提出会，是神经网络和支持向量机的基础。

感知机是有生物学上的一个启发，他的参照对象和理论依据可以参照下图：（我们的大脑可以认为是一个神经网络，是一个生物的神经网络，在这个生物的神经网络里边呢，他的最小单元我们可以认为是一个神经元，一个neuron，这些很多个神经元连接起来形成一个错综复杂的网络，我们把它称之为神经网络。当然我们现在所说的，在深度学习包括机器学习指的神经网络Neural Networks实际上指的是人工神经网络Artificial Neural Networks，简写为ANNs。我们只是简化了。我们人的神经网络是由这样一些神经元来构成的，那么这个神经元他的一些工作机制呢就是通过这样一个下面图的结构，首先接收到一些信号，这些信号通过这些树突(dendrite)组织，树突组织接收到这些信号送到细胞里边的细胞核(nucleus)，这些细胞核对接收到的这些信号，这些信号是以什么形式存在的呢？这些信号比如说眼睛接收到的光学啊，或者耳朵接收到的声音信号，到树突的时候会产生一些微弱的生物电，那么就形成这样的一些刺激，那么在细胞核里边对这些收集到的接收到的刺激进行综合的处理，当他的信号达到了一定的阈值之后，那么他就会被激活，就会产生一个刺激的输出，那么就会形成一个我们大脑接收到的进一步的信号，那么他是通过轴突这样的输出计算的，这就是我们人脑的一个神经元进行感知的时候大致的一个工作原理。）

2.2 多层感知机
多层感知机由感知机推广而来，最主要的特点是有多个神经元层，因此也叫深度神经网络。相比于单独的感知机，多层感知机的第i层的每个神经元和第i − 1层的每个神经元都有连接。

2.3 常用的神经网络模型

人工神经网络由神经元模型构成，这种由许多神经元组成的信息处理网络具有并行分布结构。

下图包含了大部分常用的模型：

2.4 前向传播和反向传播介绍
神经网络的计算主要有两种：前向传播（foward propagation, FP）作用于每一层的输入，通过逐层计算得到输出结果；反向传播（backward propagation, BP）作用于网络的输出，通过计算梯度由深到浅更新网络参数。

前向传播：

反向传播：

3、激活函数

激活函数(Activation functions)对于人工神经网络 模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到我们的网络中。如下图，在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数。引入激活函数是为了增加神经网络模型的非线性。没有激活函数的每层都相当于矩阵相乘。就算你叠加了若干层之后，无非还是个矩阵相乘罢了。
常见的激活函数：