Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

摘要
当前的检测sota模型
网络架构
- swin Transformer和Vision Transformer的不同之处
- 整体架构
- - Patch Partition结构
  - Linear Embedding结构
  - Swin Transformer Block结构
Patch Merging
W-MSA
- MSA模块计算量
- W-MSA模块计算量
SW-MSA
- SW-MSA如何滑动窗口
- SW-MSA如何高效批量计算
Relative Position Bias
- 实验效果展示
- Relative Position Bias的实现
参数配置

在这里插入图片描述

论文地址：https://arxiv.org/abs/2103.14030
源码地址：https://github.com/microsoft/Swin-Transformer

摘要

在这里插入图片描述

本文介绍了一种名为 Swin Transformer 的新型视觉Transformer，它可以作为计算机视觉的通用骨干。将 Transformer 从语言应用到视觉领域所面临的挑战来自这两个领域的差异，例如视觉实体的尺度变化很大，以及与文本中的文字相比，图像中像素的分辨率较高。为了解决这些差异，我们提出了一种分层Transformer，其表示是通过移位窗口计算的。移位窗口方案将自我关注计算限制在非重叠的局部窗口，同时允许跨窗口连接，从而提高了效率。这种分层结构可以灵活地进行各种规模的建模，其计算复杂度与图像大小成线性关系。Swin Transformer 的这些特质使其能够兼容广泛的视觉任务，包括图像分类（ImageNet-1K 上的 Top-1 准确率为 87.3）和密集预测任务，如物体检测（COCO testdev 上的 58.7 box AP 和 51.1 mask AP）和语义分割（ADE20K val 上的 53.5 mIoU）。在 COCO 上，它的性能大大超过了之前的技术水平，达到了 +2.7 box AP 和 +2.6 mask AP，在 ADE20K 上达到了 +3.2 mIoU，这证明了基于 Transformer 的模型作为视觉骨干的潜力。分层设计和移动窗口方法也证明有利于全 MLP 架构。代码和模型可在以下网址公开获取。

当前的检测sota模型

在这里插入图片描述

网络架构

swin Transformer和Vision Transformer的不同之处

在这里插入图片描述

swin Transformer构建具体层次性的特征图
swin Transformer使用窗口将特征图分割开

swin Transformer在窗口内执行Multi Head self attention的计算,窗口和窗口之间不进行信息的传递

Vision Transformer

整体架构

在这里插入图片描述

Patch Partition结构

在这里插入图片描述
使用4x4大小的窗口对图像分割，并展平。

Linear Embedding结构

调整图像channel，从48到c

在代码中，使用卷积层实现的

Swin Transformer Block结构

在这里插入图片描述
的组成为：

在这里插入图片描述
关于MSA：MSA

关于W-MSA和SW-MSA，后面详细论述

Patch Merging

在这里插入图片描述

特征图高和宽减少一半，特征图channel翻倍

W-MSA

在这里插入图片描述

在多头注意力的基础上引入窗口的概念

目的：减少计算量
缺陷：窗口之间无法进行信息交互

MSA：对每一个像素求q,k,v，然后将每一个像素求得的q和其他所有像素求的的k进行计算。

可以理解为在MSA中，每个像素都和所有的像素存在信息的沟通

W-MSA：在每个窗口内部进行MAS操作，但是不同窗口之间是没有通讯的

MSA模块计算量

在这里插入图片描述

W-MSA模块计算量

在这里插入图片描述

SW-MSA

SW-MSA如何滑动窗口

全称：shifted window -MSA

目的：实现不同窗口之间的信息交互

在这里插入图片描述
在拟议的 Swin Transformer 架构中计算自我注意力的移动窗口方法示意图。在第 l 层（左），采用常规窗口划分方案，并在每个窗口内计算自注意力。在下一个第 l + 1 层（右图）中，窗口划分会发生变化，从而产生新的窗口。新窗口中的自我注意力计算跨越了第 l 层中前一个窗口的边界，提供了它们之间的联系。