论文阅读 - An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

文章目录

    • 1 概述
    • 2 方法简述
      • 2.1 encoder之前
      • 2.2 encoder之后
    • 3 实验结果
    • 参考资料

1 概述

这篇论文是一篇将tranformer引入到图像领域的里程碑式的文章。因为这是第一次在处理图像时,将所有的卷积模块统统抛弃,只使用attention。并且实验证明了只用attention比使用卷积的网络在图像分类上效果要更好。

正片文章的内容并不难理解,前提熟知transformer的原理,不了解或者想要回顾一下的小伙伴,可以看我的另一篇搞懂Transformer。

而论文提出的vision transorformer就是在transformer的输入和输出上做了一些手脚,对transformer自身没有任何改动。

卷积模块在图像领域几乎已经位于不可替代的地位了,作者进行这样的尝试的原因是transformer在NLP领域取得了巨大的成功,说不定在图像领域也有奇效,并且同样的参数量下tranformer的计算效率比卷积模块更高。

经过试验之后,作者发现在训练数据量较小的情况下(如ImageNet),vision transformer的效果比resnet这样的主流卷积网络效果略差。但是当有大量的数据可以提供预训练的时候(如谷歌内部的JFT-300M),vision transformer的优势就体现出来了。在大数据集上预训练之后,再在小数据集上进行finetune,vision tranformer就比其他的主流卷积分类模型要好了。

卷积网络的计算方式有针对图像的很强的inductive bias。其一,卷积利用卷积核的方式告诉了卷积网络,每个像素点和它周围的像素点有很大的关联;其二,卷积核权重共享的机制告诉了卷积网络,图像当中的物体移动之后,仍旧是相同的物体。而这两点,vision transformer都不知道,因此它需要更多的数据来学习。

2 方法简述

vision transformer的结构并不复杂,一看图就明白了,其示意图如下图2-1所示。实在不明白的,看一下参考资料[4]或者[5]的代码就非常清楚了。

总体上可以分为两大块来看,encoder之前和encoder之后。中间的transformer encoder就不说了,就是标准的transformer,不过可以有LLL层。当然也可把encoder换成比如BERT之类的其他的transformer。
vision transformer示意图

图2-1 vision transformer示意图

2.1 encoder之前

输入的图像会被切成一块块patches,一般代码实现当中会用patch_size来表示每一个patch的长和宽,切成patches之后,从左往右,从上往下排列成一个patches的序列,每个patch会被展开成patch_size[0] x patch_size[1]的输入,经过embedding层之后输出。此时的输出就是图2-1中transformer encoder下方1-9数字旁粉色的模块。

接着会在头部额外concat上一个特殊的特征*,这个特征的维度和patch经过embedding之后的维度一样,并且是可以被学习的。这个特征和BERT的class token很像。

同时会对所有的特征加上表示位置信息的position embedding,这个也是可以被学习的。注意是加上,而不是concat。

2.2 encoder之后

transformer encoder的每一个输入都会对应一个输出,在图像分类时,我们只需要拿第0个embedding对应的输出,过几层全连接来进行分类即可。

如此看来,这个0也就像是模型自己学出来的一个管家,它整理了所有patches的信息。

其他真的没啥了,总结起来就是前处理+后处理+超大的数据集。

3 实验结果

作者把vision transformer的效果和BiT进行了对比,这个也是他们自己出的一个模型。总的来说就是在各个数据集上都有更好的表现,而且训练所需要的资源也更为节省了,具体数据如下表3-1所示。

表3-1 试验结果表

试验结果表

除此之外,作者还将模型学到的东西进行了可视化,其示意图如下图3-1所示。

模型结果可视化

图3-1 模型结果可视化

图3-1左是图片刚输入每个patch在做embedding时,对patch进行embedding的filter学习到的权重的主成分结果图,可以看到不同的filter会关注patch的不同位置和不同纹理。

图3-1中间是每个patch在和其他patch之间的position embedding的相似程度,可以看出,position embedding的确有学出patch之间的距离。

图3-1右边是模型16个heads的attention distance的平均距离,这里可以看到,在浅层的时候,有些head就已经在看距离自身很远的patch了,这是CNN做不到的。

参考资料

[1] An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
[2] Yannic Kilcher讲解vision transformer
[3] 秋刀鱼的炼丹工坊讲vision transformer
[4] https://github.com/lucidrains/vit-pytorch
[5] https://keras.io/examples/vision/image_classification_with_vision_transformer/

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/470537.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

数据仓库参考

虽然大多数看起来稀里糊涂&#xff0c;不过先留档&#xff0c;实践过程中再回头整理总结。 * 系统设计与架构笔记:ETL工具开发和设计的建议 * 数据仓库原理<2>&#xff1a;数据仓库系统的体系结构 * 数据仓库开发之路之一--准备工作转载于:https://www.cnblogs.com/oDora…

python五子棋人机对战_Python:游戏:五子棋之人机对战

原标题&#xff1a;Python&#xff1a;游戏&#xff1a;五子棋之人机对战 开端 画棋盘 首先肯定是要画出棋盘来&#xff0c;用 pygame 画出一个 19 19 或 15 15 的棋盘并不是什么难事&#xff0c;这在之前的文章中已经多次用到&#xff0c;就不赘述了。 画棋子 需要说一下的是…

二十七、PHP框架Laravel学习笔记——模型的多对多关联

二&#xff0e;多对多关联 多对多关联&#xff0c;比前面两种要复杂一些&#xff0c;需要一张中间表&#xff0c;共三张&#xff1b; (1) .users&#xff1a;用户表&#xff1b; (2) .roles&#xff1a;权限表&#xff1b; (3) .role_user&#xff1a;中间表&#xff1a;默…

论文阅读 - Is Space-Time Attention All You Need for Video Understanding?

文章目录1 概述2 模型结构2.1 模型输入2.2 attention模块2.3 分类模块3 模型分析3.1 不同attention方式3.2 不同的输入3.3 不同的模型3.4 不同的预训练数据3.5 不同的数据量3.6 position embedding的影响3.7 长输入时长3.8 不同的transformer3.9 不同的patch size3.10 attentio…

iOS中常见的6种传值方式,UIPageViewController

通过属性传值、方法传值、代理传值、Block传值、单例传值、通知传值6种方式进行不同视图之间的传值。不同方式只需要在AppDelegate中更改下UINavigationController的根控制器即可。使用很简单的实例让你很快理解不同的传值方式。 UIPageViewController(上传者&#xff1a;JoneJ…

websocket 获取ip_Spark+Kafka+WebSocket+eCharts实时分析-完全记录(1)

本系列内容&#xff1a;Kafka环境搭建与测试Python生产者/消费者测试Spark接收Kafka消息处理&#xff0c;然后回传到KafkaFlask引入消费者WebSocket实时显示版本&#xff1a;spark-2.4.3-bin-hadoop2.7.tgzkafka_2.11-2.1.0.tgz------------------------第1小节&#xff1a;Kaf…

二十八、PHP框架Laravel学习笔记——模型的关联查询

二&#xff0e;关联查询 前几篇博文&#xff0c;了解了三种基础的关联模型&#xff0c;并简单的进行查询&#xff1b;本节课&#xff0c;我们详细的了解更多的查询方案&#xff1b; //下面两种查询是一样的&#xff1b; $books User::find(19)->book; $books User::fin…

读书笔记第五章

开发板是开发和学习嵌入式技术的主要硬件设备&#xff0c;尽管可以在PC上开发Linux驱动&#xff0c;然后重新编译成ARM架构的Linux驱动模块。但最终都是要在开发板上测试的。主要是因为ARM架构的开发板基于X86架构的PC在CPU指令以及二进制格式上都有所不同。 …

搞懂CRF

文章目录1 前言2 Log-linear model3 MEMM3.1 模型概述3.2 label bias问题4 CRF4.1 模型概述4.2 模型训练4.3 模型解码4.4 小结参考资料1 前言 条件随机场(conditional random field, CRF)是在建立序列模型时的常用模块&#xff0c;它的本质就是描述观测到的序列xˉ\bar{x}xˉ对…

skywalking 安装_SkyWalking全链路追踪利器

随着目前系统架构的复杂度越来越高(中台、微服务)&#xff0c;并且线上应用的多级监控覆盖到了通讯、应用处理过程监控并且实现端到端的应用监测&#xff0c;线上性能故障的快速定位修复&#xff1b;而传统的监控分析方式已经无法满足我们的需求&#xff0c;因此许多强大的APM工…

二十九、PHP框架Laravel学习笔记——Debugbar 调试器

二&#xff0e;安装使用 通过 composer 在项目中安装 Debugbar&#xff0c;命令如下&#xff1a; composer require barryvdh/laravel-debugbar 生成一个配置文件&#xff0c;给用户配置&#xff0c;可以根据需求进行配置&#xff1b; php artisan vendor:publish --provider…

am335x reboot 命令分析

本文记录am335x运行reboot命令时&#xff0c;内核中运行过程。 Tony Liu, 2016-6-8, Shenzhen 参考链接&#xff1a;http://blog.csdn.net/wavemcu/article/details/8544333 kernel/sys.c void kernel_restart(char *cmd) {kernel_restart_prepare(cmd); …

论文阅读 - Video Swin Transformer

文章目录1 概述2 模型介绍2.1 整体架构2.1.1 backbone2.1.2 head2.2 模块详述2.2.1 Patch Partition2.2.2 3D Patch Merging2.2.3 W-MSA2.2.4 SW-MSA2.2.5 Relative Position Bias3 模型效果参考资料1 概述 Vision Transformer是transformer应用到图像领域的一个里程碑&#x…

rocketmq queue_RocketMQ 实战(三) - 消息的有序性

■ RocketMQ有序消息的使用1 为什么需要消息的有序性比如用户张三终于挣了一百存在在银行卡里存取款,对应两个异步的短信消息,肯定要保证先存后取吧,不然都没钱怎么发了取钱的消息呢! M1 - 存钱 M2 - 取钱而mq默认发消息到不同q显然是行不通的,会乱序 需要发往同一个q,先进先出…

三十、PHP框架Laravel学习笔记——模型的预加载

一&#xff0e;预加载 预加载&#xff0c;就是解决关联查询中产生的 N1 次查询带来的资源消耗我们要获取所有书籍的作者(或拥有者)&#xff0c;普通查询方案如下&#xff1a; //获取所有书籍列表 $books Book::all(); //遍历每一本书 foreach ($books as $book) { //每一本…

Spring3系列12-Spring AOP AspectJ

本文讲述使用AspectJ框架实现Spring AOP。 再重复一下Spring AOP中的三个概念&#xff0c; Advice&#xff1a;向程序内部注入的代码。Pointcut&#xff1a;注入Advice的位置&#xff0c;切入点&#xff0c;一般为某方法。Advisor&#xff1a;Advice和Pointcut的结合单元&#…

论文阅读:Spatial Transformer Networks

文章目录1 概述2 模型说明2.1 Localisation Network2.2 Parameterised Sampling Grid3 模型效果参考资料1 概述 CNN的机理使得CNN在处理图像时可以做到transition invariant&#xff0c;却没法做到scaling invariant和rotation invariant。即使是现在火热的transformer搭建的图…

dataframe 排序_疯狂Spark之DataFrame创建方式详解一(九)

创建DataFrame的几种方式1、读取json格式的文件创建DataFrame注意&#xff1a;1. json文件中的json数据不能嵌套json格式数据。2. DataFrame是一个一个Row类型的RDD&#xff0c;df.rdd()/df.javaRdd()。3. 可以两种方式读取json格式的文件。4. df.show()默认显示前20行数据。5.…

【原】npm 常用命令详解

今年上半年在学习gulp的使用&#xff0c;对npm的掌握是必不可少的&#xff0c;经常到npm官网查询文档让我感到不爽&#xff0c;还不如整理了一些常用的命令到自己博客上&#xff0c;于是根据自己的理解简单翻译过来&#xff0c;终于有点输出&#xff0c;想学习npm这块的朋友不可…