Vision Transformer详解-CSDN博客

 视频：11.1 Vision Transformer(vit)网络详解_哔哩哔哩_bilibili

Vision Transformer学习笔记_linear projection of flattened patches-CSDN博客

一、embedding 层 

 对于标准的Transformer模块，要求输入的是token (向量）序列，即二维矩阵[num_token,token_dim]；

在代码实现中，直接通过一个卷积层来实现以ViT一 B/16为例，使用卷积核大小为16x16,stride为16, 卷积核个数为768；

• [224, 224, 3] -> [14, 14, 768] -> [196, 768]

在输入Transformer Encoder之前需要加上[class]token 以及Position Embedding,都是可训练参数

• 拼接[class]token: Cat([1,768],[196,768])->[197,768]
• 叠加Position Embedding: [197,768]->[197,768]

在这里我画了一个图来解释一下整体过程： 

二、Encoder层

主要完成机制就是多头注意力机制。

三、 MLP Head层

 把class token从最终结果[197,768]中切片拿出来，对其进行linear全连接（简单理解），如果需要类别概率的话，可以再接一个softmax

借用我导的图片来总结一下