目录：
自注意力机制Self-attention（1）
自注意力机制Self-attention（2）

1 内容回顾

以$b^2$的计算过程为例来说明：
query： $q^1=W^q{a}^1$, $q^2=W^q{a}^2$, $q^3=W^q{a}^3$, $q^4=W^q{a}^4$;
key：$k^1=W^k{a}^1$, $k^2=W^k{a}^2$, $k^3=W^k{a}^3$，$k^4=W^k{a}^4$;
value：$v^1=W^v{a}^1$, $v^2=W^v{a}^2$, $v^3=W^v{a}^3$, $v^4=W^v{a}^4$;
attention score：${\alpha }_{2,1}=q^2\cdot k^1$, ${\alpha }_{2,2}=q^2\cdot k^2$, ${\alpha }_{2,3}=q^2\cdot k^3$, ${\alpha }_{2,4}=q^2\cdot k^4$;
Soft-max：${\alpha }_{2,1}^{{}^{\prime }}=\frac{\exp ({\alpha }_{2,1})}{{\sum }_j\exp ({\alpha }_{2,j})}$, ${\alpha }_{2,2}^{{}^{\prime }}=\frac{\exp ({\alpha }_{2,2})}{{\sum }_j\exp ({\alpha }_{2,j})}$, ${\alpha }_{2,3}^{{}^{\prime }}=\frac{\exp ({\alpha }_{2,3})}{{\sum }_j\exp ({\alpha }_{2,j})}$, ${\alpha }_{2,2}^{{}^{\prime }}=\frac{\exp ({\alpha }_{2,4})}{{\sum }_j\exp ({\alpha }_{2,j})}$;
$b^2={\alpha }_{2,1}^{{}^{\prime }}{v}^1+{\alpha }_{2,2}^{{}^{\prime }}{v}^2+{\alpha }_{2,3}^{{}^{\prime }}{v}^3+{\alpha }_{2,4}^{{}^{\prime }}{v}^4={\sum }_i{\alpha }_{2,i}^{{}^{\prime }}{v}^i$.
问：$a^1,\dots ,a^4$是什么？
答：就是输入的一组向量，如经过编码后的“I saw a saw”。
问：$W^q$, $W^k$, $W^v$是什么？
答：矩阵，需要通过学习得到。

下面通过矩阵操作进一步来回顾自注意力机制的计算过程。

查询矩阵：$Q=W^{q}I$;
关键字矩阵：$K=W^{k}I$;
值矩阵：$V=W^{v}I$.

注意力分数矩阵：$A=K^{T}Q$;
进行Soft-max：$A^{{}^{\prime }}=softmax(A)$;

$O=V{A}^{{}^{\prime }}$

唯一需要学的参数是$W^q$, $W^k$, $W^v$。