前言：Self-Attention是 Transformer 的重点，因此需要详细了解一下 Self-Attention 的内部逻辑。

一、什么是注意力机制？

Attention（注意力）机制如果浅层的理解，核心逻辑就是「从关注全部到关注重点」。

Attention
机制很像人类看图片的逻辑，当我们看一张图片的时候，我们并没有看清图片的全部内容，而是将注意力集中在了图片的焦点上。视觉系统就是一种
Attention机制，将有限的注意力集中在重点信息上，从而节省资源，快速获得最有效的信息。

Attention 机制最早是在计算机视觉里应用的，随后在 NLP 领域也开始应用了，真正发扬光大是在 NLP 领域，因为 2018 年 BERT 和 GPT 的效果出奇的好，进而走红。而 Transformer 和 Attention 这些核心开始被大家重点关注。

二、注意力机制结构

先看一个通俗的解释：

Attention机制跟人类翻译文章时候的思路有些类似，即将注意力关注于我们翻译部分对应的上下文。同样的，Attention模型中，当我们翻译当前词语时，我们会寻找源语句中相对应的几个词语，并结合之前的已经翻译的部分作出相应的翻译，如上图所示，当我们翻译“knowledge”时，只需将注意力放在源句中“知识”的部分，当翻译“power”时&#