笔记心得

5.1神经元模型——这是神经网络中最基本的成分。

5.2感知机与多层网络——由简单的感知机循序渐进引出多层前馈神经网络。
5.3误差逆传播算法——BP算法，迄今最成功的神经网络学习算法。算法如下（公式参考西瓜书）

停止条件与缓解BP过拟合的策略有关，一种策略是“早停”，一种是“正则化”。
5.4全局最小与局部极小——基于梯度的搜索是使用最为广泛的参数寻优方法，但是有可能会陷入局部极小，随后给出了一些“跳出”局部极小的策略。
5.5其他常见神经网络——RBF网络、ART网络、SOM网络、级联相关网络、Elman网络、Boltzmann机。
5.6深度学习——模型复杂程度提高，训练算法也有所不同，如无监督逐层训练、权共享。

术语学习

（待补充）

课后习题

5.1 试述将线性函数$f(x)=w^{T}x$用作神经元激活函数的缺陷。

（待补充）

5.2 试述使用图 5.2(b) 激活函数的神经元与对率回归的联系。

（待补充）

5.3 对于图 5.7 中的$v_{ih}$，试推导出 BP 算法中的更新公式 (5.13)。

（待补充）

5.4 试述式 (5.6) 中学习率的取值对神经网络训练的影响。

（待补充）

5.5 试编程实现标准 BP 算法和累积 BP 算法，在西瓜数据集 3.0 上分别用这两个算法训练一个单隐层网络，并进行比较。

（待补充）

5.6 试设计一个 BP 改进算法，能通过动态调整学习率显著提升收敛速度。编程实现该算法，并选择两个 UCI 数据集与标准 BP 算法进行实验比较。

（待补充）

5.7 根据式 (5.18)和 (5.19) ，试构造一个能解决异或问题的单层 RBF 神经网络。

（待补充）

5.8 从网上下载或自己编程实现 SOM 网络，并观察其在西瓜数据集 3.0α上产生的结果。

（待补充）

5.9* 试推导用于 Elman 网络的 BP 算法。

（待补充）

5.10 从网上下载或自己编程实现一个卷积神经网络并在手写字符识别数据 MNIST 上进行实验测试。

（待补充）