Vision Transformer (ViT)

• 论文：https://arxiv.org/abs/2010.11929
• 代码：GitHub - google-research/vision_transformer

1.背景

（1）transformer在NLP很强，但在CV的应用还非常有限，在此之前只有目标检测中的DETR大规模使用了transformer，其他领域很少，而纯transformer结构的网络则是没有。

（2）transform的模型很有优势，有并行计算、全局视野和灵活的堆叠的优点。

2.研究成果

实现了纯transformer结构完成图像分类任务，完成的很不错。在足够大的数据集上训练后，ViT可以拿到和CNN的SOTA不相上下的结果。

3.研究意义

展示了在计算机视觉中使用纯transformer结构的可能。

4.论文结构

vit结构是因为看到transformer在nlp很好用，transformer的scale能力强，就想在cv上用，使用的时候做了最小的改动，简单来说就是把图片切分重排，当做输入。实际上只用到了transformer的Encode。

5.attention注意力机制

定义：对不同的隐藏层会有不同的权重，这个权重是通过相似度计算得到的。

优点：并行计算和全局视野

6.self attention

输入是一个序列

nlp：word转换成vector当做输入

cv：image转换成sequence当做输入

Q，K，V的获得，本质是输入的线性变换，采用矩阵乘法计算，通过nn.Linear实现。

q：查询

k：键值

v：价值

可以联想以前的kv键值对，只是多了一个q查询。Q，K，V是三个矩阵。

 

7.MultiHead attention

定义：有多个Wq，Wk，Wv，上述操作重复多次，结果concat到一起。

目的：给注意力提供多种可能性

以上就是transform网络的主要内容。

8.图像的输入

图片切分，每一个小片就叫一个patches，编号，拉平，降维，输入到transform网络就可以了。其中把每个patches拉平经过liner把维度变小做为输入向量。其中图片是二维或者三维的，拉平就是把图片乘开，例如32x32x3就是他的拉平维度也就是向量。

9.位置编码

位置进行编码的原因：图片切分重排后失去了位置信息，transform的内部运算没有考虑空间信息，所以需要把位置信息编码重新传进网络。ViT使用了一个可学习的vector来编码，编码victor和原本的输入向量直接相加组成输入。

10.图像分类

将经过处理的向量输入模型进行训练，实现对图像的分类。