【Vision Transformers-VIT】: 计算机视觉中的Transformer探索

《博主简介》

小伙伴们好，我是阿旭。专注于人工智能、AIGC、python、计算机视觉相关分享研究。
✌更多学习资源，可关注公-仲-hao:【阿旭算法与机器学习】，共同学习交流~
👍感谢小伙伴们点赞、关注！

《------往期经典推荐------》

一、AI应用软件开发实战专栏【链接】

项目名称项目名称
1.【人脸识别与管理系统开发】2.【车牌识别与自动收费管理系统开发】
3.【手势识别系统开发】4.【人脸面部活体检测系统开发】
5.【图片风格快速迁移软件开发】6.【人脸表表情识别系统】
7.【YOLOv8多目标识别与自动标注软件开发】8.【基于YOLOv8深度学习的行人跌倒检测系统】
9.【基于YOLOv8深度学习的PCB板缺陷检测系统】10.【基于YOLOv8深度学习的生活垃圾分类目标检测系统】
11.【基于YOLOv8深度学习的安全帽目标检测系统】12.【基于YOLOv8深度学习的120种犬类检测与识别系统】
13.【基于YOLOv8深度学习的路面坑洞检测系统】14.【基于YOLOv8深度学习的火焰烟雾检测系统】
15.【基于YOLOv8深度学习的钢材表面缺陷检测系统】16.【基于YOLOv8深度学习的舰船目标分类检测系统】
17.【基于YOLOv8深度学习的西红柿成熟度检测系统】18.【基于YOLOv8深度学习的血细胞检测与计数系统】
19.【基于YOLOv8深度学习的吸烟/抽烟行为检测系统】20.【基于YOLOv8深度学习的水稻害虫检测与识别系统】
21.【基于YOLOv8深度学习的高精度车辆行人检测与计数系统】22.【基于YOLOv8深度学习的路面标志线检测与识别系统】
23.【基于YOLOv8深度学习的智能小麦害虫检测识别系统】24.【基于YOLOv8深度学习的智能玉米害虫检测识别系统】
25.【基于YOLOv8深度学习的200种鸟类智能检测与识别系统】26.【基于YOLOv8深度学习的45种交通标志智能检测与识别系统】
27.【基于YOLOv8深度学习的人脸面部表情识别系统】28.【基于YOLOv8深度学习的苹果叶片病害智能诊断系统】
29.【基于YOLOv8深度学习的智能肺炎诊断系统】30.【基于YOLOv8深度学习的葡萄簇目标检测系统】
31.【基于YOLOv8深度学习的100种中草药智能识别系统】32.【基于YOLOv8深度学习的102种花卉智能识别系统】
33.【基于YOLOv8深度学习的100种蝴蝶智能识别系统】34.【基于YOLOv8深度学习的水稻叶片病害智能诊断系统】
35.【基于YOLOv8与ByteTrack的车辆行人多目标检测与追踪系统】36.【基于YOLOv8深度学习的智能草莓病害检测与分割系统】
37.【基于YOLOv8深度学习的复杂场景下船舶目标检测系统】38.【基于YOLOv8深度学习的农作物幼苗与杂草检测系统】
39.【基于YOLOv8深度学习的智能道路裂缝检测与分析系统】40.【基于YOLOv8深度学习的葡萄病害智能诊断与防治系统】
41.【基于YOLOv8深度学习的遥感地理空间物体检测系统】42.【基于YOLOv8深度学习的无人机视角地面物体检测系统】
43.【基于YOLOv8深度学习的木薯病害智能诊断与防治系统】44.【基于YOLOv8深度学习的野外火焰烟雾检测系统】
45.【基于YOLOv8深度学习的脑肿瘤智能检测系统】46.【基于YOLOv8深度学习的玉米叶片病害智能诊断与防治系统】
47.【基于YOLOv8深度学习的橙子病害智能诊断与防治系统】48.【车辆检测追踪与流量计数系统】
49.【行人检测追踪与双向流量计数系统】50.【基于YOLOv8深度学习的反光衣检测与预警系统】
51.【危险区域人员闯入检测与报警系统】52.【高压输电线绝缘子缺陷智能检测系统】

二、机器学习实战专栏【链接】，已更新31期，欢迎关注，持续更新中~~
三、深度学习【Pytorch】专栏【链接】
四、【Stable Diffusion绘画系列】专栏【链接】
五、YOLOv8改进专栏【链接】，持续更新中~~
六、YOLO性能对比专栏【链接】，持续更新中~

《------正文------》

介绍

Transformer 模型极大地推动了人工智能领域的发展，尤其是在自然语言处理 （NLP） 和计算机视觉领域。使 transformer 如此强大的关键特征之一是它们的注意力机制，它允许模型专注于输入数据的不同部分。

这种机制在Vision Transformers（ViT） 中尤为重要，该VIT在 An Image is Worth 16x16 Words： Transformers for Image Recognition at Scale（Dosovitskiy 等人，2021 年）中介绍，它将Transformer架构应用于图像数据。

在这篇文章中，我们将深入探讨如何量化和可视化注意力，重点关注 ViT 模型，并演示如何生成和解释注意力地图。

ViT 模型：基于 Transformer 的计算机视觉架构

我们讨论的具体模型是 google/vit-large-patch32-384 ，它在 ImageNet-21k 上进行了预训练，并在 ImageNet 2012 上进行了微调。该模型具有：

  • 分辨率：224x224（预训练）和 384x384（微调）
  • 层数：24 层，每层有 16 个关注头
  • Tokens：145（包括CLS-Tokens）

生成注意力热力图

注意力热力图有助于可视化模型聚焦的图像的哪些部分。层中的每个注意力头都学习tokens关系的不同方面。该过程包括：

  1. 通过模型管道推理图像
  2. 聚合注意力映射
  3. 平滑地图并将其应用于原始图像

配置 ViT 模型

为了能够从模型的推理中提取注意力数据，在加载预训练（和微调）模型时，在通过图像之前需要进行一些配置：

from transformers import ViTForImageClassification, ViTImageProcessor# Load a pre-trained ViT model and feature extractor
model_name = 'google/vit-large-patch32-384'
processor = ViTImageProcessor.from_pretrained(model_name, do_rescale=False)
model = ViTForImageClassification.from_pretrained(model_name, attn_implementation='eager')# Run an image through the pipline
inputs = processor(images=image, return_tensors="pt")
outputs = model(**inputs, output_attentions=True)# Getting the attentions
attentions = outputs.attentions

原始注意力

在汇总所有 24 层的总分类注意力之前，我们可以绘制单层 16 个注意力图像（作为标记的数量;145X145），让我们看一下最后一层，例如：

img

单层 16 张注意力图像 （16X145X145）

ig, axs = plt.subplots(4, 4, figsize=(20, 20))
for i, ax in enumerate(axs.flatten()):ax.imshow(attentions[-1][0, i, :, :].detach().cpu().numpy())ax.axis('off')

滚动注意力

滚动注意力聚合跨多个图层的注意力地图，提供跨所有图层的图像焦点的全面视图。该技术突出显示了最相关的区域，提供了一种视觉解释形式，并使模型的内部工作更易于解释。

根据Abnar&Zuidema（2020）的工作，transformers中的注意力流可以量化。数学过程包括以下步骤：

img

代码如下：

def attention_rollout(attentions):# Initialize rollout with identity matrixrollout = torch.eye(attentions[0].size(-1)).to(attentions[0].device)# Multiply attention maps layer by layerfor attention in attentions:attention_heads_fused = attention.mean(dim=1) # Average attention across headsattention_heads_fused += torch.eye(attention_heads_fused.size(-1)).to(attention_heads_fused.device) # A + Iattention_heads_fused /= attention_heads_fused.sum(dim=-1, keepdim=True) # Normalizing Arollout = torch.matmul(rollout, attention_heads_fused) # Multiplicationreturn rollout

这个简单的过程借鉴了基于Transformers的NLP任务模型评估，使我们能够聚合所有层的注意力，保留每个标记（视觉中的图像补丁）为任务传达的信息。

示例和视觉演示

以下是一些示例，展示了注意力图如何突出显示重要的图像区域，从而增强了转换器模型在视觉任务中的可解释性。

使用这个推出过程，我们能够在原始输入之上生成一个注意力布局：

img

输入和生成的注意力热力图，这是通过将分类标记的注意力向量扩展到 12X12 矩阵中来实现的。

cls_attention = rollout[0, 1:, 0]  # Get attention values from [CLS] token to all patches
cls_attention = 1 - cls_attention.reshape(int(np.sqrt(num_of_patches)), int(np.sqrt(num_of_patches)))

img

classifaciton tokens的 12X12 原始注意力热力图。

在应用Geussion Filter并重塑后，我们得到了要叠加的最终图像如下：

# Normalize the attention map for better visualization
cls_attention = (cls_attention - cls_attention.min()) / (cls_attention.max() - cls_attention.min())# Resize and blur the attention map
cls_attention_resized = Image.fromarray((cls_attention * 255).astype(np.uint8)).resize((img_size, img_size), resample=Image.BICUBIC)
cls_attention_resized = cls_attention_resized.filter(ImageFilter.GaussianBlur(radius=2))

img

操作后的注意力图

最后，应用灰度注意力叠加的变换：

# Convert the attention map to RGBA
cls_attention_colored = np.array(cls_attention_resized.convert("L"))
cls_attention_colored = np.stack([cls_attention_colored]*3 + [cls_attention_colored], axis=-1)# Adjust the alpha channel to control brightness
cls_attention_colored_img = Image.fromarray(cls_attention_colored, mode="RGBA")
cls_attention_colored_img.putalpha(100)  # Adjust alpha for blending (lower value for darker overlay)

生成的地图：

img

灰度注意力地图

总结

在图像分类任务领域，描绘注意力图像具有显着优势。

这些图像突出显示了图像中与特定任务最相关的区域，从而对影响模型决策的关键区域进行了重点分析。此功能充当视觉解释的一种形式，使模型的内部工作更易于解释。

通过揭示模型认为重要的图像部分，注意力地图增强了透明度和可信度，使用户能够更有效地理解和验证模型的预测。

在这个特定示例中，模型似乎在耳朵和脸上有更多的重点来确定这是一只狗。

img

好了，这篇文章就介绍到这里，感谢点赞关注，更多精彩内容持续更新中~

关注文末名片G-Z-H：【阿旭算法与机器学习】，可获取更多干货学习资源

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/pingmian/35260.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Docker中修改TiDB数据库密码(类似mysql)

Docker中修改TiDB数据库密码(类似mysql)

1.Docker容器运行TiDB pingcap/tidb:last 2.登陆容器系统： 3.在容器中安装mysql客户端： 4.空密码登陆TiDB 5.修改TiDB密码并退出 6.使用修改后的密码登陆验证：
阅读更多...
Unity【GUI】基础知识

Unity【GUI】基础知识

什么是UI系统 Ul是UserInterface(用户界面)的简称系统的主要学习内容 1.UI控件的使用 2.U控件的事件响应 3.U的分辨率自适应文章目录 基础知识1、工作原理和主要作用2、基本控件1、文本和按钮控件2、多选框和单选框3、输入框和拖动条4、图片绘制和框 3、复合控件1、工具栏和…
阅读更多...
DC/AC电源模块：为新能源汽车充电系统提供高效能源转换

DC/AC电源模块：为新能源汽车充电系统提供高效能源转换

BOSHIDA DC/AC电源模块：为新能源汽车充电系统提供高效能源转换 DC/AC电源模块是新能源汽车充电系统中至关重要的组件，它能够将直流电转换为交流电，为电动车提供高效能源转换。随着人们对可持续能源的需求日益增长，新能源汽车成为…
阅读更多...
java基于ssm+jsp 足球赛会管理系统

java基于ssm+jsp 足球赛会管理系统

1前台首页功能模块 足球赛会管理系统，在系统首页可以查看首页、球队介绍、球星介绍、线下足球赛、论坛信息、个人中心、后台管理、在线客服等内容，如图1所示。 图1前台首页功能界面图 用户登录、用户注册，在注册页面可以填写账号、密码、姓名…
阅读更多...
【sqlmap命令学习及测试dvwa_SQL_Injection】

【sqlmap命令学习及测试dvwa_SQL_Injection】

文章目录 1.sqlmap命令及 不同级别探索 能否注入命令option1.1 low等级1.2 Medium等级1. 3 High等级 2. 注入流程2.1 数据库2.2 指定数据库表名2.3 指定表的 字段名2.4 内容2.5 当前用户信息2.6 用户密码2.7 其他 1.sqlmap命令及 不同级别探索 能否注入 命令option sqlmap -u…
阅读更多...
昇思25天学习打卡营第2天|MindSpore快速入门-张量

昇思25天学习打卡营第2天|MindSpore快速入门-张量

张量 Tensor 张量（Tensor）是一个可用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数，这些线性关系的基本例子有内积、外积、线性映射以及笛卡儿积。 张量是一种特殊的数据结构，与数组和矩阵非常相似。张量&#x…
阅读更多...
《C语言》编译和链接

《C语言》编译和链接

文章目录 一、翻译环境1、预处理2、编译3、汇编4、链接 二、运行环境 一、翻译环境 在使用编译器编写代码时，编写的代码是高级语言，机器无法直接识别和运行，在编译器内部会翻译成机器可执行的机器语言。 编译环境由编译和链接两大过程组成。 …
阅读更多...
【编译原理】绪论

【编译原理】绪论

1.计算机程序语言以及编译 编译是对高级语言的翻译 源程序是句子的集合，树可以较好的反应句子的结构 编译程序是一种翻译程序 2.编号器在语言处理系统中的位置 可重定位：在内存中存放的起始位置不是固定的 加载器：修改可重定位地址&#x…
阅读更多...
基于weixin小程序的民宿短租系统的设计与实现

基于weixin小程序的民宿短租系统的设计与实现

管理员账户功能包括：系统首页，个人中心，房主管理，房间类型管理，用户管理，民宿信息管理，民宿预订管理，系统管理 小程序功能包括：系统首页，民宿信息&#xff0c…
阅读更多...
博客solo！bolo-solo让博客创作更自由。

博客solo！bolo-solo让博客创作更自由。

bolo-solo：独行侠的数字笔录， 你的博客新伙伴- 精选真开源，释放新价值。 概览 bolo-solo是GitHub 上一个开源的个人博客系统：Bolo Solo，简单易部署，自带精致主题、数据统计表、邮件提醒、自定义图床、功能…
阅读更多...
Jboss多个远程命令执行漏洞（CVE-2017-12149、CVE-2015-7501、CVE-2017-7504）

Jboss多个远程命令执行漏洞（CVE-2017-12149、CVE-2015-7501、CVE-2017-7504）

目录 Jboss介绍 CVE-2017-12149 漏洞产生的原因 环境搭建 漏洞检测和利用 反弹shell CVE-2015-7501 漏洞产生的原因 环境搭建 漏洞检测和利用 反弹shell CVE-2017-7504 漏洞产生的原因 环境搭建 漏洞检测和利用 反弹shell 这一篇是参考大佬的好文章进行Jboos的…
阅读更多...
【AIGC】如何从0开始快速打造个人知识库

【AIGC】如何从0开始快速打造个人知识库

如何从0开始快速打造个人知识库 文章目录 如何从0开始快速打造个人知识库前言1、注册登录2、创建知识库2.1 创建2.2 文件上传 3、使用知识库 前言 最近我在使用一些AIGC的产品时发现一个问题，我没有办法让它能够结合我现有的数据内容回答我的问题，并且让…
阅读更多...
django学习入门系列之第三点《案例 小米商城二级菜单》

django学习入门系列之第三点《案例 小米商城二级菜单》

文章目录 样例划分区域搭建骨架logo区域完整代码 小结往期回顾 样例 划分区域 搭建骨架 <!-- 二级菜单部分 --> <div class"sub-header"><div class"container"><div class"logo">1</div><div class"sea…
阅读更多...
JFrame和JScrollPanel布局初步使用

JFrame和JScrollPanel布局初步使用

还不是很了解&#xff0c;做了几个程序&#xff1b; import java.awt.Container; import java.awt.Color; import javax.swing.JFrame; import javax.swing.JScrollPane; import javax.swing.border.EmptyBorder;public class pa1 {public static void main(String[] agrs){JF…
阅读更多...
24/06/25(4.1122)数据存储,自定义类型

24/06/25(4.1122)数据存储,自定义类型

重点:1.数据类型详细介绍 2.整型在内存中的存储:原码 反码 补码 3.大小端字节序介绍和判断 4.浮点型在内存中的存储解析 前面都有char short int...详细介绍,翻一翻.需要注意的是,C语言没有字符串类型哦. 计算机永远存储的都是补码,计算也是用补码进行的,只有在要输出的时候转…
阅读更多...
github无法访问，下载慢的解决方法

github无法访问，下载慢的解决方法

GitHub是一个存储分享无数的开源项目和代码的宝库网站。然而&#xff0c;由于一些原因&#xff0c;国内用户在访问GitHub时常常遭遇无法访问或下载速度缓慢的问题。这不仅影响了开发者的工作效率&#xff0c;也使一些想要访问下载github文件的普通用户遇到困难。下面小编就来和…
阅读更多...
python学习笔记四

python学习笔记四

1.自己平方本身 x2 x**4#xx**4 print(x) 2.把一个多位数拆分成单个数&#xff0c;方法一通过字符串下标获取对应元素&#xff0c;并对获取的元素使用eval函数把左右引号去掉&#xff0c;是字符串变为整型&#xff1b;方法二&#xff0c;通过对数进行取余和整除得到各个位的数 …
阅读更多...
市面上很轻的 100kW 负载组

市面上很轻的 100kW 负载组

FX100S-C 负载组 EAK的 FX100S-C 负载组在轻质外壳中以 415Vac 50Hz 提供 100kW 的连续负载。数字仪表允许您测量功率、电压、电流和频率&#xff0c;同时还允许您在进行测试时记录数据。 EAK是市场上最轻的 100kW 负载组之一&#xff0c;它将使您能够访问其他负载组无法到达…
阅读更多...
ISCC2024--pwn

ISCC2024--pwn

ISCC2024 练武题 chaos 考点&#xff1a;基础UAF 分析 1.首先将附件放入IDA查看主函数功能&#xff0c;进入菜单函数&#xff1a; 注意到选项5不太一样&#xff0c;跟进该功能模块的函数查看&#xff1a; 分析得到该功能存在UAF漏洞&#xff0c;system(/bin/sh) 执行的前…
阅读更多...
沙姆镜头标定与重建

沙姆镜头标定与重建

沙姆定律&#xff08; Scheimpflug principle&#xff09;则可以保证测量平面的物体能够清晰成像&#xff0c; 因此能够起到调整景深区域位置的作用。Scheimpflug 镜头就是根据沙姆定律所设计的一种特殊的镜头&#xff0c;通过机械结构使镜头与相机本体发生一定程度的偏转&…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023