目录

1）Non-linear hypotheses

2）Model representation 1

3）Model representation 2

4）Examples and intuitions 1

5）Examples and intuitions 2

6）Multi-class classification

---

1）Non-linear hypotheses

我们之前介绍的线性回归和逻辑回归都有一个缺点，那就是特征太多时，计算量会很大，我们来看下面一个例子，假设我们有一组特征，两两组合就有5000个特征，3个组合就有17万个特征，特征太多了。

下图中我们采用50x50像素的小图片，就会有2500个特征，如果两两特征组合的话就有300万个特征，逻辑回归模型是处理不了这么多的模型，这时我们就需要神经网络了。

2）Model representation 1

神经网络模型建立在很多神经元之上，每一个神经元又是一个学习模型，这些神经元也叫作激活单元。下图是一个以逻辑回归模型作为自身学习模型的神经元示例。在神经网络中，参数又可以称之为权重。

我们来看一个3层的神经网络，第一层为输入层，最后一层为输出层，中间一层为隐藏层，我们为每一层都加一个偏差单元。

下面我们定义参数含义，分别有每一层用到的激活单元  为第j层的第i个激活单元， 为从第j层到第j+1层的权重矩阵。这样从左到右的算法称为前向传播算法。

3）Model representation 2

我们来使用向量化来计算前向传播，向量化会帮助我们快速计算。

下图是我们向量化的计算结过程：（这部分可以看看吴恩达老师的深度学习课程，那里面详细介绍了前向传播向量化实现）。

神经网络有点像逻辑回归（激活函数为sigmoid函数），但只是中间层特征变成了逻辑回归计算后的函数值。每一层都进行逻辑回归计算。

4）Examples and intuitions 1

我们来看一个小例子：AND运算，只有输入全为1时，输出才为1，我们用下面的神经网络表示。

或运算

5）Examples and intuitions 2

我们来看看如何用神经网络表示。

6）Multi-class classification

针对多分类问题，我们可以使神经网络的输出为向量，多个神经单元表示，每个神经单元表示一类。向量中只有一项为1，其余全为0.