---

声明：本篇文章是我再b站观看博主霹雳吧啦Wz的视频后，做的一篇笔记，推荐大家看完视频在来简单浏览该文章。文章如有不妥之处，欢迎大家指出。

1. self-attention理论

vit-transformer中最核心的理论就是self-attention理论。对下图从右→左看，依次是vit-transformer总体框架、多头注意力机制(Multi-Head Attention)、单个注意力头机制（我自己的取得名字，方便理解）。

从上图可以看出：vit-transformer总体框架的核心部分就是多头注意力机制，而多头注意力机制正是由多个单头注意力机制组成。这样是不是就很好理解了，也就是说只要把单头注意力机制搞懂，这个模型也就理解了七八十。

---

1.1. Attention(Q,K,V)的实现

如上图所示，假设有两个输入$x_i(i=1,2,...)$，把$x_i$看做信息的输入，经过Embedding层$f(x)$得到特征信息$a_i$，然后通过权重矩阵$W^q、W^k、W^v$(权重矩阵在代码实现中是一个Linear层)得到各自的$q^i、k^i、v^i$。

q:query和k去匹配
v:从a中提取的信息
右下角是将$a_1$、$a_2$(可能还有$a_3$、$a_4$、…)并行化，和矩阵$W^q$、$W^k$$W^v$相乘得到相应q、k、v。

---

首先，$q^i$ 和 $k^j$ 进行点乘，$d$ 是 $k$ 的维度。

(例如: 因为 $k$ 里面有两个元素，所以 $d$ =2，如上图所示 $q^1$ 和 $k^1$
点乘等于3，然后除以√2，最后结果等于2.12)。

$q^i$ 和 $k^j$ 点乘得到的输出 $a_{i,j}$ 经过softmax层得到 ${\hat{a}}_{i,j}$ ，${\hat{a}}_{i,j}$对应 $v^m$ 的权重大小。

---

$v^m$参与运算过程：

$\hat{a}$ 与 $v$ 相乘得到 $b_i$，即$Attention(Q,K,V)$。到这里实现公式：$Attention(Q,K,V)=softmax(\frac{Q{K}^T}{\sqrt{d_k}})V$。

上述过程可简化为：
输入a序列和b序列，简化结构如下：

---

2. Multi-head Self-Attention理论

根据$head$个数，均分$q、k、v$，如下：

---

$q、k、v$ 第二个上标为1的定义为 $head1$ ，第二个上标为2的定义为 $head2$ 。

---

---

---

---

---

---

上述过程可简化为：
输入a序列和b序列，简化结构如下：

3. Positional Encoding

---

---

4. Vision Transformer

---

---

---

---

1. Vision Transformer网络结构(以ViT-B/16为例)：

2. Hybrid模型
   (1) R50的卷积层采用的stdConv2d不是传统的Conv2d
   (2) 将所有的BatchNorm层替换成GroupNorm层
   (3) 把stage4中的3个Block移至stage3中