前言

亲爱的家人们，创作很不容易，若对您有帮助的话，请点赞收藏加关注哦，您的关注是我持续创作的动力，谢谢大家！有问题请私信或联系邮箱：fn_kobe@163.com

1、Transformer模型《Attention is All You Need》总结

①提出和应用：
Transformer模型，由Vaswani等人提出，已成为自然语言处理（NLP）领域的重要模型，尤其在机器翻译、文本生成等任务中表现出色。

②应用案例：
i：Google Cloud TPU推荐的参考模型，提供基于TensorFlow和PyTorch的实现。
ii：哈佛NLP团队发布一个基于PyTorch的版本并对论文进行注释。本文尝试简化模型结构并逐步解释其核心概念，旨在帮助普通读者理解。

2、Transformer整体结构

①组成：由Encoder和Decoder两个部分组成，每部分包含6个相同block。

2.1、工作流程

①输入表示
首先将输入句子的每个单词转换成一个表示向量X，通过将单词Embedding（词向量）与位置Embedding相加得到。

②Encoder
将输入向量矩阵传入Encoder，经过6个Encoder block后，输出一个句子所有单词的编码信息矩阵C。

③Decoder
将Encoder的输出矩阵C传递给Decoder，Decoder根据已经翻译的单词来预测下一个单词。Decoder使用Mask操作来遮蔽掉当前单词之后的单词，确保模型仅使用先前的单词信息进行预测。

3、Transformer的输入

①总体：Transformer模型中的单词表示向量x是通过单词Embedding和位置Embedding相加得到的。

②单词Embedding：使用预训练的Word2Vec或GloVe等算法，也可在Transformer模型中进行训练。

③位置Embedding：由于Transformer不像RNN那样顺序处理数据，无法直接利用单词的顺序信息，位置Embedding被用来保存每个单词在句子中的相对或绝对位置。在论文中，使用了一个基于公式的计算方式来生成位置Embedding，具有良好的泛化能力，可以处理不同长度的句子。

4、Self-Attention（自注意力机制）

Self-Attention是Transformer模型的核心机制。其基本思想是通过计算每个单词与其他单词之间的关系，来更新每个单词的表示。具体步骤如下：

4.1、Self-Attention 结构

self-Attention 接收输入(单词的表示向量x组成的矩阵X) 或者上一个 Encoder block 输出。通过Self-Attention输入线性变换得到Q,K,V.

4.2、Q, K, V计算

Self-Attention使用输入矩阵X通过线性变换得到查询（Q）、键（K）、值（V）矩阵。

4.3、Self-Attention 的输出

得到矩阵 Q, K, V之后计算出 Self-Attention 的输出，计算的公式如下：

①说明：公式中计算矩阵Q和K每一行向量内积，为防止内积过大，因此除以 dk的平方根。
②过程：
步骤i：Q乘以K转置后，输出矩阵行列数都为 n，n 为句子单词数，表示单词之间 attention 强度。

步骤ii :然后使用Softmax计算每一个单词对于其他单词的attention系数，公式中的Softmax是对矩阵的每一行进行 Softmax，即每一行和都变为 1.

步骤iii：得到Softmax矩阵之后和V相乘，最终输出Z。


步骤iv:上图中Softmax矩阵第1行表示单词1与其他所有单词的attention 系数，最终单词1的输出Zi等于所有单词 i 的值 Vi根据attention系数的比例总和

4.4、Multi-Head Attention

①已知通过 Self-Attention 计算输出矩阵 Z，Multi-Head Attention是由多个 Self-Attention组合形成的

②步骤i： Multi-Head Attention包含多个Self-Attention 层，首先将输入X分别传递到h个不同的Self-Attention中，计算 h 个输出矩阵Z

③步骤ii： 8 个输出矩阵后，Multi-Head Attention 将它们拼接在一起传入一个Linear层，得到Multi-Head Attention最终输出Z。Multi-Head Attention 输出的矩阵Z与其输入的矩阵X的维度是一样的。

5.、Encoder 结构

①组成：由 Multi-Head Attention, Add & Norm, Feed Forward, Add & Norm 组成。

5.1、Add & Norm

Add & Norm 层由Add和Norm两部分组成，计算公式如下：

①说明1：X表示Multi-Head Attention或者Feed Forward输入，MultiHeadAttention(X) 和 FeedForward(X) 表示输出。
Add指X+MultiHeadAttention(X)是一种残差连接，解决多层网络训练的问题，让网络只关注当前差异部分，在 ResNet 中经常用到：

说明2：Norm指Layer Normalization，用于RNN结构，Layer Normalization会将每一层神经元输入都转成均值方差都一样的，加快收敛。

5.2、Feed Forward

Feed Forward层是一个两层全连接层，第一层激活函数为Relu，第二层不使用激活函数。
X是输入，Feed Forward 最终得到的输出矩阵的维度与X一致。

5.3、组成 Encoder

通过多个 Encoder block 叠加组成 Encoder。第一个Encoder block 输入为句子单词的表示向量矩阵，后续 Encoder block 输入是前一个Encoder block 输出，最后一个 Encoder block 输出矩阵就是编码信息矩阵 C，后续会用到 Decoder 中。

6、Decoder 结构

Decoder block与Encoder一样，Decoder是由多个Decoder block组合而成

①组成：Transformer的Decoder block结构，与Encoder block相似，但是存在区别：
i：包含两个Multi-Head Attention层
ii：第一个Multi-Head Attention层采用Masked 操作
iii：第二个 Multi-Head Attention层的K, V矩阵使用Encoder编码信息矩阵C计算，而Q使用上一个 Decoder block输出计算。
iv：最后有一个Softmax层计算下一个翻译单词概率。

6.1、第一个 Multi-Head Attention

①：Decoder block第一个 Multi-Head Attention 采用Masked操作，过程如下

Decoder 在训练过程中使用 Teacher Forcing并且并行化训练，即将正确的单词序列 ( I have a cat) 和对应输出 (I have a cat ) 传递到 Decoder。那么在预测第 i 个输出时，就要将第 i+1 之后的单词掩盖住，注意 Mask操作是在 Self-Attention 的Softmax之前使用，下面用 0 1 2 3 4 5 分别表示 “ I have a cat ”。

步骤1：Decoder的输入矩阵和Mask矩阵，输入矩阵包含 “ I have a cat” (0, 1, 2, 3, 4) 五个单词表示向量，Mask 是一个5×5矩阵。在 Mask发现单词 0 只能使用单词 0 的信息，而单词1使用单词0, 1的信息，即只能使用之前信息

步骤2：输入矩阵X计算得到Q,K,V矩阵。然后计算Q和其对应乘积

步骤3：进行Softmax，计算attention score，在Softmax之前使用Mask矩阵遮挡住每一个单词之后信息，遮挡操作如下：

步骤4：使用 Mask后矩阵与矩阵V相乘，得到输出Z，则单词1输出向量
Z1是只包含单词 1 信息

步骤5：得到一个 Mask Self-Attention 输出矩阵Zi ，然后和 Encoder类似，通过Multi-Head Attention拼接多个输出Zi，然后计算得到第一个Multi-Head Attention 输出Z，Z与输入X维度一样。

6.2、第二个Multi-Head Attention

Decoder block 第二个Multi-Head Attention变化不大， 主要区别在于其中 Self-Attention 的 K, V矩阵不是使用上一个 Decoder block 输出计算，而是使用Encoder的编码信息矩阵C计算的。

6.3、Softmax预测输出单词

Decoder block最后部分是利用Softmax预测下一个单词，在之前网络层得到一个最终输出 Z，因为Mask存在，使得单词0输出Z0 只包含单词0 信息

Softmax根据输出矩阵每一行预测下一个单词

7、 Transformer 总结

①Transformer通过独特的Self-Attention机制解决传统RNN和CNN在处理长序列时的效率问题。其能够并行处理整个输入序列，并且能够有效捕捉长距离依赖关系，具有较强的表达能力和学习能力。
②通过Encoder和Decoder的交替堆叠，Transformer处理复杂的序列转换任务。模型的输入依赖于单词的Embedding和位置Embedding的结合，输出则通过多个自注意力层进行细致的计算，并最终通过Softmax预测每个词的概率。
③这种架构已经在多个NLP任务中取得显著成功，并且它的核心机制已被广泛应用于各种变体和其他领域，例如图像处理和多模态学习等。