1 循环神经网络

1.1 场景与多种应用

1 模仿论文生成
2 模仿linux内核编写代码
3 模仿小四写论文
4 机器翻译
5 image to text 看图说话

1.2 RNN网络结构

1.2.1为什么需要RNN

传统神经网络输入和输出是互相独立的。
我是中国人，我的母语是____。这里完形填空的结果是与前面的词相关的。
RNN引入 记忆 的概念。循环：来源于每个元素执行相同的任务。输出依赖于 输入和记忆。

有时间 顺序上的依赖，都可以使用RNN。例如一段时间内的销量。也就是说RNN不仅仅可以用于解决NLP问题。

推荐系统下也可以使用RNN。

1.2.2 RNN 结构

$x_t$是时间t处的输入。例如时间t的词向量。
$s_t$是时间t处的记忆。
$o_t$是时间t处的输出。例如预测下个词的话，可能是每个词出现的概率。
公式：
$S_t=f(U{X}_t+W{S}_{t-1})$ f可以是tanh等函数。
$O_t=softmax(V{S}_t)$
例如$X_t$可以是一个1000x1的向量，U是一个800x1000的矩阵，W是一个800x800的矩阵，这样$S_t$就是一个800x1的向量。
V是一个4万x800的矩阵。（4万是词汇量）

说明：
1 隐状态$s_t$是记忆体，捕捉了之前时间点上的信息。例如现在你读高三，$s_t$就是你在高一，高二，高三学习内容的记忆。

2 $o_t$是通过之前所有时间以及当前记忆共同得到的。

3 由于容量问题，$s_t$并不能记住所有内容。

4 RNN共享一组参数：U、W、V。可以这样理解，你就是你，你用同一套学习方法学习了高一、高二、高三的内容。

5 有些情况下，不需要每个时间都有$o_t$，只需要在最后时间有输出即可。例如文本分类。

RNN唐诗生成器

1.3 多种RNN

1 双向RNN
有些时候，输出依赖于之前和之后的序列元素。

${\vec{h}}_t=f(\vec{W}{x}_t+\vec{V}{\vec{h}}_{t-1}+\vec{b})$
${\overleftarrow{h}}_t=f\left(\overleftarrow{W}{x}_t+\overleftarrow{V}{\overleftarrow{h}}_{t+1}+\overleftarrow{b}\right)$
$y_t=g\left(U\left[{\vec{h}}_t;{\overleftarrow{h}}_t\right]+c\right)$

从左向右计算记忆${\vec{h}}_t$，从右向左计算记忆${\overleftarrow{h}}_t$，$U\left[{\vec{h}}_t;{\overleftarrow{h}}_t\right]$是对两个矩阵做拼接。

h和s的含义相同，表示记忆。
左右信息融合，使用的是concat拼接的方法。

2 深层双向RNN

图中的h和之前的S是等价的。
这样的网络可以这样理解。高考前的多轮复习。高三内容有很多章，每个时间t学习一章。复习呢进行了多轮。按照图中是三轮。

${\vec{h}}_t^{(i)}=f({\vec{W}}^{(i)}{h}_t^{(i-1)}+{\vec{V}}^{(i)}{\vec{h}}_{t-1}^{(i)}+{\vec{b}}^{(i)})$
t=第二章，i=第二轮，那么其学习记忆=W第一轮第二章的学习记忆+V第二轮第一章的学习记忆。

1.4 BPTT算法

BPTT和BP很类似，是一个思路，但是因为这里和时刻有关系。

在这样一个多分类器中，损失函数是一个交叉熵。
某一时刻的损失函数是：$E_t\left(y_t,{\hat{y}}_t\right)=-y_t\log {\hat{y}}_t$
最终的损失函数是所有时刻的交叉熵相加：$$\begin{array}{rl}E(y,\hat{y})& =\sum _t{E}_t\left(y_t,{\hat{y}}_t\right)\\ & =-\sum y_t\log {\hat{y}}_t\end{array}$$
损失函数对W求偏导：$\frac{\partial E}{\partial W}={\sum }_t\frac{\partial E_t}{\partial W}$

假设t=3，$\frac{\partial E_3}{\partial W}=\frac{\partial E_3}{\partial {\hat{y}}_3}\frac{\partial {\hat{y}}_3}{\partial s_3}\frac{\partial s_3}{\partial W}$
$E_3$和$y_3$有关系，$y_3$和$s_3$有关系（参考2.1中的公式）。
而$s_3=tanh(U{x}_3+W{s}_2)$，$s_3$和$s_2$有关系，我们对$s_3$对W求偏导不能直接等于$s_2$，因为$s_2$也和W有关系。
$s_2=tanh(U{x}_2+W{s}_1)$

$s_2$和$s_1$有关系…一直到0时刻。所以我们会把每个时刻的相关梯度值相加：$$\frac{\partial s_3}{\partial W}=\sum _{k=0}^3\frac{\partial s_3}{\partial s_k}\frac{\partial s_k}{\partial W}$$

其中我们在计算$\frac{\partial s_3}{\partial s_2}$的时候需要使用链式法则计算：$\frac{\partial s_3}{\partial s_1}=\frac{\partial s_3}{\partial s_2}\frac{\partial s_2}{\partial s_1}\frac{\partial s_1}{\partial s_0}$

所以最终得到：$$\frac{\partial E_3}{\partial W}=\sum _{k=0}^3\frac{\partial E_3}{\partial {\hat{y}}_3}\frac{\partial {\hat{y}}_3}{\partial s_3}\frac{\partial s_3}{\partial s_k}\frac{\partial s_k}{\partial W}=\sum _{k=0}^3\frac{\partial E_3}{\partial {\hat{y}}_3}\frac{\partial {\hat{y}}_3}{\partial s_3}\left(\prod _{j=k+1}^3\frac{\partial s_j}{\partial s_{j-1}}\right)\frac{\partial s_k}{\partial W}$$

看公式中有连乘的部分。当使用tanh作为激活函数的时候，由于导数值分别在0到1之间，随着时间的累计，小于1的数不断相城，很容易趋近于0。(另外一种解释：如果权重矩阵 W的范数也不很大，那么经过 𝑡−𝑘 次传播后，$\frac{\partial s_3}{\partial s_k}$的范数会趋近于0，这也就导致了梯度消失。)

梯度消失带来的一个问题就是记忆力有限，离得越远的东西记住得越少。

1.5 生成模型与图像描述

一张图片->经过VGG网络，取得倒数第一层的输出->作为RNN第一层的多加的输入。

2 LSTM

2.1 LSTM

LSTM就是为了解决普通RNN中的梯度消失问题提出的。
LSTM提出了记忆细胞C，以及各种门。下图中的h与上面的S是相同含义，表示记忆。每个时刻的输出，在这里是没有画出来的。
假设现在有一个任务是根据已经读到的词，预测下一个词。例如输入法，生成诗词。

第1步：忘记门：从记忆细胞中丢弃一些信息

使用sigmoid函数，经过sigmoid之后得到一个概率值，描述每个部分有多少量可以通过。
$$f_t=\sigma \left(W_f\cdot \left[h_{t-1},x_t\right]+b_f\right)$$

如果C中包含当前对象的性别属性，现在已经正确的预测了当前的名词。当我们看到另外一个新的对象的时候，我们希望忘记旧对象的性别属性。

第2步：更新什么新信息到记忆中

sigmoid决定什么值需要更新: $i_t=\sigma \left(W_i\cdot \left[h_{t-1},x_t\right]+b_i\right)$
tanh层创建一个新的候选值向量（高三这一年学到的所有知识）： ${\tilde{C}}_t=\tanh \left(W_C\cdot \left[h_{t-1},x_t\right]+b_C\right)$

第3步：更新记忆细胞

把旧状态与$f_t$相乘，丢弃掉我们确定需要丢弃的信息；
加上$i_t$*${\tilde{C}}_t$,就是新的候选值，更新状态。
$$C_t=f_t\ast C_{t-1}+i_t\ast {\tilde{C}}_t$$
$C_{t-1}$是到高二以及之前的所有记忆，${\tilde{C}}_t$高三这一年学到的所有知识。带着两部分应该留下的内容去高考。

在任务中就是希望把新看到对象的性别属性添加到C，而把旧对象的性别属性删除。

第4步，基于细胞状态得到输出

首先一个sigmoid层确定细胞状态的哪个部分的值将输出：$o_t=\sigma \left(W_o\left[h_{t-1},x_t\right]+b_o\right)$

接着用tanh处理细胞状态，输出我们确定输出的那部分，这部分是记忆用于下一时刻帮助做出决策的：$h_t=o_t\ast \tanh \left(C_t\right)$

在语言模型中，既然我当前看到了一个对象，这里可能输出一个动词信息，以备下一步需要用到。例如这里可能输出当前对象是单数还是复数，这样就知道下一个动词应该填写什么形式。

总结：

1：决定老细胞只留下哪部分$f_t=\sigma \left(W_f\cdot \left[h_{t-1},x_t\right]+b_f\right)$
2: 决定新知识应该记住哪部分:$i_t=\sigma \left(W_i\cdot \left[h_{t-1},x_t\right]+b_i\right)$
新学习到的知识：${\tilde{C}}_t=\tanh \left(W_C\cdot \left[h_{t-1},x_t\right]+b_C\right)$
3 更新细胞状态：$C_t=f_t\ast C_{t-1}+i_t\ast {\tilde{C}}_t$
4 决定要输出哪部分：$o_t=\sigma \left(W_o\left[h_{t-1},x_t\right]+b_o\right)$
产生隐藏状态的输出：$h_t=o_t\ast \tanh \left(C_t\right)$

对比普通的RNN，输出$o_t=\sigma \left(V{S}_t\right)$,$S_t=tanh(U{x}_t+W{S}_{t-1})$，对于记忆$S_t$是由之前记忆和新知识共同组成。加入细胞状态可以选择忘记一部分老知识和选择忘记一部分新知识。

在之前的求导过程中$\frac{\partial s_3}{\partial s_1}=\frac{\partial s_3}{\partial s_2}\frac{\partial s_2}{\partial s_1}\frac{\partial s_1}{\partial s_0}$，现在变为。。。。。

输出$o_t=\sigma \left(V{h}_t\right)$
$h_t=o_t\ast \tanh \left(C_t\right)$
$C_t=f_t\ast C_{t-1}+i_t\ast {\tilde{C}}_t=f_t\ast C_{t-1}+i_t\ast \tanh \left(W_C\cdot \left[h_{t-1},x_t\right]+b_C\right)$
损失函数不变，还是令t=3，$\frac{\partial E_3}{\partial W}=\frac{\partial E_3}{\partial {\hat{y}}_3}\frac{\partial {\hat{y}}_3}{\partial h_3}\frac{\partial h_3}{\partial C_3}\frac{\partial C_3}{\partial W_c}$

要求$\frac{\partial C_3}{\partial W_c}$，这样$C_t$与$W_c$有关系，$C_{t-1}$与$W_c$有关系，两部分相加，对整个函数求导，就是对这两部分分别求导，再相加。与普通RNN的相乘
$\frac{\partial C_3}{\partial C_1}=\frac{\partial C_3}{\partial C_2}+\frac{\partial C_2}{\partial C_1}=?$

2.2 GRU

GRU是LSTM的变种之一。

GRU做的改变是：
1 将忘记门和输入门合并成一个门，称为更新门。
2 细胞状态和隐藏状态，也就是上面的C和$h_t$合并为一个$h_t$。
这样GRU的参数就比标准LSTM要少，在很多情况下效果基本一致。