Transformer 结构浅析

Transformer 网络结构

Transformer模型的网络结构如图，且transformer结构主要分为两部分，其中一部分为encode编码器，一部分为decode解码器。且Encoder 和 Decoder 都包含 6 个 block。

编码器

位置编码

第一步将sentence输入网络，并进行词编码，并与位置编码相加得到输入编码器的block。

其中transformer中的位置编码采用如下公式进行计算
$$\begin{array}{rl}P{E}_{(pos,2i)}& =\sin (pos/10000^{2i/d})\\ P{E}_{(pos,2i+1)}& =\cos (pos/10000^{2i/d})\end{array}$$
其中，$pos$ 表示单词在句子中的位置，$d$ 表示 PE的维度 (与词 Embedding 一样)，$2i$ 表示偶数的维度，$2i+1$ 表示奇数维度 (即 $2i\le d,2i+1\le d$)。使用这种公式计算 PE 有以下的好处：

• 使 PE 能够适应比训练集里面所有句子更长的句子，假设训练集里面最长的句子是有 20 个单词，突然来了一个长度为 21 的句子，则使用公式计算的方法可以计算出第 21 位的 Embedding。

• 可以让模型容易地计算出相对位置，对于固定长度的间距 $k$，PE(pos+k) 可以用 PE(pos)计算得到。

  因为 :
  $$\begin{gathered} \sin (A+B)=\sin (A)\cos (B)+\cos (A)\sin (B) \\ \cos (A+B)=\cos (A)\cos (B)-\sin (A)\sin (B) \end{gathered}$$

设$X$为输入的sentence词编码与位置编码相加的结果

多头注意力层

然后将$X$​输入多头注意力中，其中自注意力机制如下图所示

首先将$X$映射到$Q,K$空间中，然后根据缩放点积进行打分，最后使用softmax的到概率，最后与value相乘的到输出结果

其中多头注意力的结构如图所示

其本质是采用多个$V,K,Q$矩阵计算自注意力并进行拼接。

Add&Norm

然后将多头注意力的结果输入到Add&Norm层中，其中这部分采用残差连接的方式构成。
$$\begin{array}{rl}& \mathrm{LayerNorm}\left(X+\mathrm{MultiHeadAttention}(X)\right)\\ & \mathrm{LayerNorm}(X+\mathrm{FeedForward}(X))\end{array}$$
并将输出结果输入Feed Forward中

Feed Forward

其中Feed Forward的结构如图所示

其数学表达为
$$\max (0,X{W}_1+b_1)W_2+b_2$$
然后在将输出结果经过Add&Norm层输入到解码器中

解码器

带掩码的多头注意力层

因为在序列任务中，往往是从前往后开始进行的，为了防止提前知道以后的信息，所以使用了带掩码的多头注意力机制

根据下图可知

计算完缩放点积后与掩码矩阵相乘，在计算softmax并与v相乘。然后将结果输入到Add&Norm层中。

多头注意力层

接受来自上一层Add&Norm的输入并计算Q矩阵然后根据 Encoder 的输出计算得到 K, V，后续的计算与之前的一致。

预测

将解码器的输出输入到线性层，并使用softmax输出得到概率