文章目录
- 摘要
- 论文《FLatten Transformer:使用聚焦线性注意力的ViT》
- 1、简介
- 2、相关工作
- 2.1 Vision Transformer
- 2.2 线性注意力
- 3. 预备知识
- 3.1. 视觉Transformer和自注意力
- 3.2. 线性注意力
- 4. 聚焦线性注意力
- 4.1.聚焦能力
- 4.2. 特征多样性
- 4.3. 聚焦线性注意力模块
- 5. 实验
- 5.1. ImageNet-1K分类
- 5.2. 语义分割
- 5.3. 目标检测
- 5.4. 与其他线性注意力的比较
- 5.5. 推理时间
- <