Transformer论文复现:2. 编码器部分(掩码张量、多头注意力机制、前馈全连接层)
- 2 编码器复现
- 2.1 编码器介绍
- 2.2 掩码张量
- 2.2.1 掩码张量介绍
- 2.2.2 掩码张量的作用
- 2.2.3 生成掩码张量的代码实现
- 2.2.4 掩码张量的可视化
- 2.2.5 掩码张量总结
- 2.3 注意力机制
- 2.3.1 注意力计算规则的代码实现
- 2.3.2 注意力机制总结
- 2.4 多头注意力机制
- 2.4.1 多头注意力机制结构图
- 2.4.2 多头注意力机制概念
- 2.4.3 多头注意力机制的作用
- 2.4.4 多头注意力机制的代码实现
- 2.4.5 多头注意力机制总结
- 2.5 前馈全连接层