Transformer

一、整体框架

二、Encoder

1.输入部分:

（1）Embedding：将输入的词转换为对应的词向量。
（2）位置编码：因为保证输出时，顺序不会打乱，所以要加入时序信息即位置编码。
公式：偶数时用sin三角函数，奇数时用cos三角函数。

（3）将Embedding和位置编码合并后传入注意力机制。

2.注意力机制：

简而言之，注意力就是分配权重。了解哪部分是比较重要的。
（1）公式：
$\mathrm{Attention}(Q,K,V)=\mathrm{softmax}(\frac{Q{K}^T}{\sqrt{d_k}})V$
将输入部分复制为三份，分别作为Q、K、V，然后将Q和K做点击，除以$$\sqrt{d_k}$$,在做softmax，得到一些和为1的权重，与V进行乘机，得到注意力分数。


（2）在原论文中使用的是多头自注意力机制，用的是矩阵相乘，便于并行，提高计算速度。之后将多个输出，合并在一起。

3.残差

将输入的x加上经过 weight layer得到的输出。
作用：保证梯度不会消失。

４．Layer Normalization

在单独一个样本中进行均值和方差。
（1）与Batch Normalization（BN）的区别：
BN是在一个特征中进行均值和方差。

如上图，LN是一列按样本求均值和方差，而BN是一行按特征求均值和方差。

5.前馈神经网络

两个全连接网络，经过残差和LN。

三、Decoder

1.带掩码的多头自注意力机制

将当前以及后面的词mask，因为在预测结果时，是看不到后面的词。保证训练和预测的一致性。

2.交互层

（1）将每一个Encoder的输出都传入Decoder(原文中Encoder和Decoder都是6个)。

（2）将Encoder生成的K、V矩阵，Decoder生成的Q矩阵，输入交互层中的多头自注意力机制，进而进入前馈神经网络。