• Transformer $\to$ 【知名应用】BERT (unsupervised trained Transformer)
  
  • Transformer ：seq2Seq model with self-attention, 后续会主要说明 self-attention
  • Transformer的组成：
    Self-attention是 Attention变体，擅长捕获数据/特征的内部相关性
    Self-attention 组成 Multi-head Self-attention
    Multi-head Self-attention 反复利用组成Transforme

---

• 【Seq】Sequence：考虑分别用 RNN 和 CNN 处理

  .....
  • 【左图】RNN: hard to parallel (需要序列输入进去处理)
  • 【右图】CNN: replace RNN (单层覆盖范围有限，需要叠多层来扩展覆盖范围)

• 【replace CNN】Self-attention Layer: 类似双向RNN的作用，但是可并行化

  • 【STEP-1】计算 qkv: q:query, k:key, v:value .....
  • 【STEP-2】每一个 q 对每一个 k 做 attention: 如 scaled dot-product attention
    $${\alpha }_{i,j}=q^i\cdot k^j/\sqrt{d},\text{d is the dim of q and k}$$
  • 【STEP-3】经过 softmax layer:
    $${\hat{\alpha }}_{i,j}=\exp {\alpha }_{i,j}\sum _k\exp {\alpha }_{i,k}$$
  • 【STEP-4】计算输出 b:
    $$b^i=\sum _j{\hat{\alpha }}_{i,j}{v}^j$$
  

---

• 矩阵计算版本总结
  

---

• 拓展：

  • multi-head Self-attention: 多组 qkv 来关注不同信息
  
  • positional encoding: ${\alpha }^i$ += $e^i$, 可以引入位置信息 $e^i$
  

---

参考资料：

• 李宏毅深度学习 B站 视频资料