attention和transformer都是面试重点。

3 seq2seq+Attention

3.1 Sequence to Sequence Model

3.1.2 模型介绍

Sequence to Sequence Model解决y=f(x)的问题。
x是一个序列，y是一个序列。
最常应用于翻译问题。

模型包含编码器和解码器2部分。

编码器：输入序列编码为隐变量 。用RNN作为大体结构。得到一个隐变量h。

解码器：auto-regressive自回归解码套路
对于一个序列使用前t-1个输出，预测第t个输出，这种方式称为自回归

    第一步：输入编码器得到的隐变量h，以及特殊字符<SOS> start of sentence输出解码得到的词y1，以及隐状态h0假设词库有10万个词，h0是一个10万维的向量，在这一时刻哪个词的可能性最大，则这个位置的概率最大。y1 是概率最大的那个词第二步：输入y1，h0输出y2，以及隐状态h1第三步：输入y2，h1是输出y3,以及隐状态h2......一直到解码出来特殊字符例如EOS停止解码，或者解码到一定长度停止。解码器只能是单向的，但是可以堆叠多层的网络

模型中包含的参数
1 解码器参数 ${\theta }_1$
2 解码器参数 ${\theta }_2$
3 词向量矩阵 ${\theta }_3$ ,随机初始化(这个词向量可以用skip-gram模型学出来的值吗？)
4 $h_0^{\prime }$,$h_1^{\prime }$…映射到词表上的那个矩阵 ${\theta }_4$

3.1.2 模型训练

• 要点1：模型是一个求条件概率的过程
  y=F（x） 等价于 P(Y|X) 就是拟合了一个条件概率分布
  $P(Y|X)=P(y_1,y_2...y_n|X)=P(y_1|X)P(y_2|y_1,X)P(y_3|y_1,y_2,X)...={\prod }_{i=1}^{n}P(y_i|y_1,y_2...y_{i-1},X)$

预测y2: $P(y_2|y_1,h)=P(y2|y1,X)$,$h$是由X决定的。

每一个时间步，做的是条件概率分布，做一个分类，损失函数交叉熵损失。所有时间的损失加起来就是整个loss。

• 要点2：输入词向量和输出词向量绑定

参数${\theta }_3$称为输入词向量
参数${\theta }_4$称为输出词向量
假如词库有10万词，词向量的维度是100。
参数${\theta }_4$是一个10万x100的矩阵，$h_0^{\prime }$是 一个100维的向量， ${\theta }_4$x$h_0^{\prime }$=10万维的向量,得到每个词的概率分布。
参数${\theta }_3$ 和参数${\theta }_4$ 维度一样。可以共享。可以降低计算量。 换句话说 输入词向量和输出词向量绑定。

• 要点3：teacher forcing

在第二个位置预测出一个错误的词，怎么办？
每次给下一阶段的词都是正确的词，称为teacher forcing
每次使用预测出来的词给下一阶段，称为非teacher forcing 。这样的模型具有纠错功能

3.2注意力机制

3.2.1介绍

注意力机制是seq2seq带给nlp最好的礼物。
上面模型的问题是，只有编码器的最后一个输出，作为解码器的输入。这样会导致前面的输入会忘记，影响力会低。

我们希望$h_1,h_2,h_3,h_4$都能参与到解码器的计算中。这样就需要给他们分配一个权重，那这个权重怎么学习呢？
我们把编码器的输出变量$h_1,h_2,h_3,h_4$称为value。
把解码器的每一步输出$h_i^{\prime }$称为query。
使用(query,key)对计算权重。key就是$h_1,h_2,h_3,h_4$。
上一步得到的权重与value（这里仍然是$h_1,h_2,h_3,h_4$）加权平均得到注意力输出。

这样的模式可以推广到所有需要注意力模型的地方。
value通常是上一个阶段的输出，key和value是一样的。
query通常是另外的一个向量。
使用 (query,key) 进行加权求和，得到的值作为权重，再对value进行加权求和。
这样的话在decoder阶段，每一步的输入会有3个变量：编码器经过注意力加权后的输出h(这个时候的query是$h_{i-1}^{\prime }$)，解码器上一步的隐状态$h_{i-1}^{\prime }$，上一步的输出$y_{i-1}$。
这里的公式可以参考第八课 RNN条件生成与Attention机制的2.2。

3.2.1“Bahdanau” style attention

论文：Dzmitry Bahdanau, KyungHyun Cho, Yoshua Bengio. Neural Machine Translation by Jointly Learning to Align and Translation

Bahdanau是注意力机制的一种计算方法，也是现在很多工具包中的实现方法。

输入是$X_1,X_2...X_T$，经过RNN之后得到多个隐状态$h_1,h_2,...h_T$。
我们使用这里的隐状态作为key和value，使用解码器的上一步隐状态$s_{i-1}$作为query。

如何计算第i步，每个隐状态的权重呢？

$P(y_i|y_1,y_2...y_{i-1},X)=g(y_{i-1},s_i,c_i)$ 在计算第i步的输出的时候，与上一步的输出，这一步的隐状态以及第i步的contex有关系。

$s_i=f(s_{i-1},y_{i-1},c_i)$ 第i步的隐状态是关于上一步的隐状态，上一步的输出以及第i步的contex的函数。

$c_i={\sum }_{j=1}^{T_x}{\alpha }_{ij}{h}_j$ 第i步的context是解码器所有隐状态的加权平均。

${\alpha }_{ij}=\frac{exp(e_{ij})}{{\sum }_{j=1}^{T_x}exp(e_{ik})}$

$e_{ij}=a(s_{i-1,h_j})$

加权平均的参数${\alpha }_{ij}$是这样计算的：解码器上一步的隐状态拼接$h_j$得到一个2n维的向量，使用一个2nx1维度的矩阵乘以这个向量得到$e_{ij}$，对$e_{ij}$过softmax得到权重参数。

对上面的过程再做一次梳理：
当前处于解码器中的第i步
在解码器中上一步的隐状态$s_{i-1}$，上一步的输出$y_{i-1}$，这一步的上下文向量$c_i$
在编码器中的最后输出的隐状态为$h_1$,$h_2$,$h_3$,$h_4$

为了计算$c_i$,需要使用注意力机制来解决。
value ： $h_1$,$h_2$,$h_3$,$h_4$
query ： $s_{i-1}$
key ： $h_1$,$h_2$,$h_3$,$h_4$
我们会使用(query,key)计算value的权重。对于其中第j个权重的计算方式是这样的：
$e_{ij}=a(s_{i-1,h_j})$ # 这里是将两个向量拼接
${\alpha }_{ij}=\frac{exp(e_{ij})}{{\sum }_{j=1}^{T_x}exp(e_{ik})}$ #这里会保证权重和为1。这里$T_x=4$
$c_i={\sum }_{j=1}^{T_x}{\alpha }_{ij}{h}_j$ #计算得到上下文向量，$T_x=4$

$s_i=f(s_{i-1},y_{i-1},c_i)$ #得到第i步的隐状态
$P(y_i|y_1,y_2...y_{i-1},X)=g(y_{i-1},s_i,c_i)$ #得到第i步的输出

3.2.2“Luong” style attention

在解码器计算第i步的时候：
先用$h_{t-1}$和$y_{t-1}$计算得到$h_t$，使用$h_t$作为query。而在Bahdanau中是使用$h_{t-1}$作为query的。
编码器的隐状态作为key和value。计算得到$c_i$。
拼接$c_i$和$h_t$，作为输入，去预测得到${\tilde{h}}_i$，再用${\tilde{h}}_i$预测得到$y_i$。
这样做的好处是，可以在解码的时候堆叠很多层。让解码做得更好。

对(query,key)的处理，文章中提到了多种。

文章中还提供了local attention机制。随着算力提升，这种策略也不再流行了。

4 Transformer

2017年某一天，有人提出将seq2seq中的RNN去掉，只留下attention。这样的模型就是Transformer。
论文：Attention is All You Need

transformer由编码器和解码器两部分构成。
这里有很重要的三种操作是Multi-head Attention、残差链接和Add&Norm（层正则化）。

4.1 Multi-head Attention

Multi-head Attention是自注意力机制的一种特殊情况。

4.1.1 自注意力机制

自注意力机制是指注意力机制中的query不是别的向量，而是自己序列本身。

例如在学习$x_2$的权重参数值时候，使用$x_2$作为query，$x_1,x_3,x_4$作为key和value。
对每个位置都计算得到权重参数，然后加权平均得到$y_2$。
同理$y_3,y_4,y_1$的计算也是一样。

$d_k$是embedding的维度。在归一化之前会对每一个分数除以定值（embedding的维度开根号）。这样可以让softmax的分布更加平滑。

4.1.2 自注意力机制加强版

增强版的自注意力机制是
1 不使用$x_2$作为query，而是先对$x_2$做线性变换:$W_q{x}_2$，之后的向量作query。
2 $x_1,x_3,x_4$不直接作为key和value，而是先做线性变换之后再做key和value。$W_k{x}_1$作为key，$W_v{x}_1$作为value。
其余步骤相同。
这样的模型有更多的参数，模型性能也更加强大。

4.1.3 Multi-head Attention

在每一步计算的时候，对于向量映射之后再输入到模型。例如$x_i$是一个100维的向量。h=5，那就是对query，key，value做5次映射，将其转换到一个20维的空间。将query、key、value都做这样的拆分。分别在5组向量上面做self-attention。得到5个20维的向量，然后拼接起来称为一个100维的向量。
不同head的长度一样，但是映射参数是不一样的。
这5次映射参数不同。
公式如下：
输入X，包含token embedding和position embedding

• 对X做变换

$Q^i=Q{W}_i^Q$,$K^i=K{W}_i^K$,$V^i=V{W}_i^V$
每一次映射不共享参数，每一次映射会有$W_i^Q,W_i^K,W_i^V)$三个参数。

• 对多头中的某一组做attention

$Attention(Q_i,K_i,V_i)=\frac{K_i{Q}_i^T}{\sqrt{d_k}}{V}_i$

$hea{d}_i=Attention(Q_i,K_i,V_i)$

h组并行计算

• 拼接之后输出

$MultiHead(Q,K,V)=Concat(hea{d}_1,hea{d}_2,...hea{d}_5)$

经过multi-head之后，得到$h_1,h_2,h_3,h_4$。

4.2 残差链接

残差链接是这样的。
将输入x加到multi-head的输出h上。这样可以加快训练。
这一步得到的结果记为$h_1^{\prime },h_2^{\prime },h_3^{\prime },h_4^{\prime }$。

4.3 layer norm

层正则化，是对残差链接的结果做正则化。

对$h_1^{\prime },h_2^{\prime },h_3^{\prime },h_4^{\prime }$这4个向量分别计算每个向量的均值$\mu$和方差$\sigma$。

$\gamma$和$\beta$是共享的参数，在模型中需要训练。
$\gamma$和$\beta$可以在一定程度上抵消掉正则的操作。为什么正则了又要抵消呢？
这样做可以让每一个时间步的值更平均一些，差异不会特别大。
这一步的输出是$h_1^{\prime \prime },h_2^{\prime \prime },h_3^{\prime \prime },h_4^{\prime \prime }$。

4.4 前馈神经网络以及后续操作

对于上一步的结果加一个前馈神经网络。
$FFN(x)=max(0,x{W}_1+b_1)W_2+b_2$
在每一个时间步会做一个y=F(x)的变化，得到另外的100维的向量。
对这一步的结果再加一个残差链接和层正则化。

这样就得到一个transformer block。

4.5解码器部分

解码器和编码器差不多。
解码器有一个master multi head attention。就是说在解码的时候，每一个时间步只能看到它前面的状态。例如在计算$x_2$的参数时候，$x_2$作为query，能作为key和value的只有$x_1$。

还有一点不同是

这里是以解码器的输出作为key和value，这一时间步的输出作为query计算attention。

假设两层encoder+两层decoder组成一个transformer block，其结构如下：

例如在t=3时刻，decoder的输入有t=1，t=2时刻的输出，先过一个self-attention+add & Formlalize，得到输出$outpu{t}_3$
解码器的输出，作为key和value，$outpu{t}_3$作为query，做attention。
经过一个add & Formlalize。
做一层linear&softmax，输出在这个时刻，在每个词上的概率。

重点阅读链接：
https://jalammar.github.io/illustrated-transformer/
中文翻译