jax可微分编程的笔记(8)

第八章循环神经网络

神经网络是可微分编程中最为重要的模型构造形式，也是当代
深度学习的基本组成部分，深度学习中的“深度”一词，便是对
神经网络的层数的形容。

8.1 神经网络的生物学基础

通过层层近似，从复杂的生物学模型中抽象出一系列较为简化
的数学结构。简单了解计算神经科学后，让我们对数学意义上
的“神经网络”，有了更加丰富的物理直觉。

8.1.1 神经元的电化学性质

神经网络的基本组成单元称为神经元(neuron),又称为神经细胞。
它是一个来自于生物学的术语。神经元可以被视作一个“装有带
电液体的漏水的袋子”。

在可微分编程的语境之下，对膜电位和细胞溶质输运过程的讨论
之所以显得重要，是因为相连接的神经元为我们提供了一个绝好的
物理图像，使得数学意义下“神经网络”较为抽象的训练过程，开始
变得更加真实而具体可感。

各种门控离子通道的存在，使得不同的神经元之间的相互“交流”
成为了可能。

8.1.2 神经元输出过程的建模

由于不同种类的膜蛋白具有不同的动力学性质，我们需要对它们
分别进行建模。膜电位与时间的非线性关系，用非线性函数来描述。
在深度学习中，这样的非线性函数称为激活函数。激活函数的选取
方式极为多样。例如，当我们需要对函数的输出范围进行限制（比如
某一事件发生的概率只能在范围[0，1]包含于R之内）则可以选取
sigmoid函数。常用的sigmoid函数有逻辑斯蒂函数和双曲正切函数。
delta(x)=1/(1+exp(-x)) tanh(x)=(exp(x)-exp(-x))/(exp(x)+exp(-x))

为了解决sigmoid函数带来的梯度消失的问题，ReLU函数（rectified linear unit
修正线性单元）成为最受欢迎的激活函数之一。
ReLU(x)=max(x,0)
ReLU函数在原点处并不连续，为此可以使用softplus函数作为对ReLU函数的近似。
softplus(x)=ln(1+exp(x)) 对于多分类问题，我们还可以采用softmax等激活函数。

8.1.3 神经元构成网络的建模

根据推导，得到公式 tr dv(t)/dt =-v(t)+f(Wu(t))
这个公式是对神经网络讨论的起点，其中的函数f对应着单个神经元的激活函数。
在平衡状态下，表达式v=f(Wu)刻画了一层前馈神经网络中所蕴含的数据结构。
例如4.2.4节中表达式h(x;0)=softmax(wx+b)就相当于给出了神经网络的
一个全连接层。同一层神经元间存在通过突触的相互连接，这样的网络结构被
称为循环神经网络。

8.2 循环神经网络

对于音乐，股票，文字等存在顺序的样本输入，独立同分布假设一般将不再成立。
此时我们期待循环神经网络，表现出色。

8.2.1 简单循环神经网络

设计循环神经网络的要点，在于为单向传播的网络引入反馈的结构。
从递推关系导出微分方程的过程利用了将离散变量连续化的思想。
同样，依照第7章关于动量法的讨论，在时间尺度上离散化，可以把
8.24的微分方程，相当自然地推导得到8.27的递推关系，在这样的
视角下，循环神经网络的训练过程，不过是对生物学意义上神经网络
系统的一次物理模拟，令其“学习”到最优的参数.