Transformer

attention is all you need

摘要

完全舍弃循环 recurrence 和卷积 convolutions

只依赖于attention mechanisms

【1】Introduction

完全通过注意力机制，draw global dependencies between input and output

【2】Background

1：self-attention（自注意力）

2：end-to-end memory networks（端到端记忆网络）

【3】Model Architecture

框架图

对编码器和解码器，均使用堆叠的自注意力机制和逐点全连接层

encoder-decoder

编码器：将输入序列 x 映射为连续表示的序列 z

• 输入序列 x ：

• 映射序列 z ：

解码器：给定映射序列 z，生成输出序列 y

• 输出序列 y ：

• 在生成下一个符号时，将之前生成的符号作为额外输入

【3.1】Encoder and Decoder Stacks

Encoder

6个编码层堆叠，每个编码层有2个子层

1个编码层 = 1个多头注意力机制 + 1个逐点全连接前馈网络

每个子层有1次残差连接，并归一化

所有子层和嵌入层的输出维度 d_model = 512

Decoder

6个解码层堆叠，每个解码层有3个子层

1个编码层 = 1个带掩码的多头注意力机制 + 1个多头注意力机制 + 1个逐点全连接前馈网络

每个子层有1次残差连接，并归一化

带掩码 ==> 屏蔽作用，防止位置关注到后续位置

【3.2】Attention

Scaled Dot-Product Attention（缩放点积注意力）

注意力计算公式：

• Q：查询向量

• K：键向量

• V：值向量

最常用的注意力函数

1：additive attention（加法），通过1个隐藏层的前馈网络，计算兼容性函数

2：dot-product attention（点积），存在缩放因子

当 d_k 值较大时，点积结果会大幅增加，使 softmax 函数趋向极端梯度分布

Multi-Head Attention（多头注意力）

多头 ==> 在不同位置、不同表示子空间中，联合关注信息

多头的计算公式：

投影矩阵为参数矩阵：

头的数量 h = 8

每个头的维度减少，总计算成本与全维度的单头注意力相似

Applications of Attention in our Model

1：在编码器-解码器注意力层中，Q来自前一个解码器层，K和V来自编码器的输出

2：编码器包含自注意力层。编码器中每个位置，可关注编码器中前一层的所有位置

3：解码器中的自注意力层。解码器中每个位置，可关注解码器中到当前位置的所有位置（Masked）

【3.3】Position-wise Feed-Forward Networks（逐点前馈网络）

FFN的计算公式：

2个线性变换，中间使用ReLU激活

• 第1个线性变换：x·W1 + b1

• 中间的激活函数：max(0, x·W1 + b1)

• 第2个线性变换：max(0, x·W1 + b1) W2 + b2

另一种描述方法：两个卷积操作，卷积核大小为1

维度结果：

• 输入和输出的维度：d_model = 512

• 中间层的维度：d_ff = 2048

【3.4】Embeddings and Softmax

在2个嵌入层和 Softmax 之前的线性变换之间，共享相同的权重矩阵

在嵌入层中，权重乘以

【3.5】Positional Encoding（位置编码）

位置编码的维度为：d_model，可以和嵌入层相加

位置编码可学习 或 固定

使用不同频率的正弦和余弦函数：

• pos：位置

• i：维度

• 位置编码的每个维度，对应一个正弦波

• 波长范围：2π ~ 10000*2π

正弦波的原因 ==> 使模型能推广到比训练中遇到的序列长度更长的情况

【4】Why Self-Attention

自注意力的3个动机：

• 每层的总计算复杂度

• 并行计算量，用所需的最少顺序操作数衡量

• 网络中长距离依赖的路径长度

依赖的影响因素：信号在网络中前后传播所需路径的长度。输入和输出序列中任意位置之间的路径越短，学习长距离依赖越容易。

计算复杂度：

• 当序列长度 n 小于表示维度 d 时，自注意力层比循环层更快

• 自注意力层，以固定数量的顺序，执行操作连接所有位置

• 循环层，以O(n)顺序

【5】Training

【5.1】Training Data and Batching

句对按近似序列长度分组

每个训练批包含一组句对，其中包含约 25000 个源词组和 25000 个目标词组

【5.2】Hardware and Schedule

8卡P100

base model：100, 000 step

big model：300, 000 step

【5.3】Optimizer

优化器：Adam

β1 = 0.9

β2 = 0.98

ϵ = 1e-9

学习率变化公式：

• 热身：线性增加（4000 step）

• 后期：平方反比例降低

【5.4】Regularization

训练阶段使用的正则：

1：residual dropout（P_drop = 0.1）

2：label smoothing（ϵ_ls = 0.1）