Transformer 详解

Transformer 是 Google 在 2017 年提出的基于自注意力机制的深度学习模型，彻底改变了序列建模的范式，解决了 RNN 和 LSTM 在长距离依赖和并行计算上的局限性。以下是其原理、公式、代码和应用的详细解析。

---

一、原理

1. 核心架构
   Transformer 由 编码器（Encoder） 和 解码器（Decoder） 组成，各包含多个堆叠的层：

   • 编码器：处理输入序列，生成上下文感知的隐藏表示。每层包含 多头自注意力机制 和 前馈网络。
   • 解码器：基于编码器输出生成目标序列。额外包含 交叉注意力层，以关注编码器的输出。

2. 自注意力机制（Self-Attention）
   通过计算序列中每个元素与其他元素的关联权重，捕获全局依赖关系。例如