TransFormer学习之基础知识:STN、SENet、CBAM、Self-Attention

1.空间注意力机制STN

参考链接:STN(Spatial Transformer Networks)
参考链接:通俗易懂的Spatial Transformer Networks(STN)

  • 核心动机: 在空间中捕获重要区域特征(如图像中的数字),将核心区域进行放大居中,使得结果更容易识别
  • 主体结构: 局部网络、参数化网络采样(网络生成器)和差分图像采样
    [图片]

1.1 局部网络(Localisation net)

输入: U,U可以是输入图片也可以是Feature Map
输出: θ \theta θ,局部网络会将重要区域特征进行放大居中, θ \theta θ表示原图到变换后图像之间的变换和平移参数,参考上图(b)列

1.2 网络生成器(Grid generator)

输入:局部网络模块输出的变换关系 θ \theta θ
输出:经过仿射变换后的特征图,参考上图中©列

1.3 差分图像采样(Sample)

Sample 就是用来解决Grid generator模块变换出现小数位置的问题的,当对小数进行仿射变换时,由于取整操作会将变换前不同的位置映射到同一个坐标下。针对这种情况,STN采用双线性插值(Bilinear Interpolation) 进行解决,即根据(x,y)的像素值根据周围坐标的像素值来确定。计算公式如下:
[图片]
[图片]

2.通道注意力之SENet

[图片]

  • 核心动机:在通道中捕获重要区域特征,通过学习的方式来自动获取到每个特征通道的重要程度,然后依照这个重要程度去提升有用的特征并抑制对当前任务用处不大的特征
  • 主体结构:全局池化、权重预测、为每一个通道给不同的权重
    参考链接:【注意力机制】SENet(Squeeze-and-Excitation Networks)详解

2.1 全局池化(global average pooling)

Squeeze操作将一个channel上整个空间特征编码为一个全局特征,采用global average pooling 来实现,就是将每个通道上所有的特征相加,最终由H*W*C变为1*1*C
[图片]

2.2 权重预测(Excitation)

Excitation主要是通过两个全连接神经网络FC将将每个通道信息转换为相应的权重,网络结构如下:
[图片]

第一个FC层对C个通道特征进行降维,目的是降低模型的复杂度以及泛化能力
第二个FC层再进行升维操作,最终通过Sigmoid函数将每个通道归一化到[0-1]区间

2.3 为通道赋予权重(Scale)

Scale操作是将学习到的各个channel的激活值(sigmoid激活,值为0到1)乘以U上的原始特征:
[图片]

3.混合注意力机制CBAM

  • 核心思想:同时经过了通道和空间两个注意力机制的处理,自适应细化特征。
    [图片]

这两个模块可以以并行或顺序的方式放置。结果表明,顺序排列的结果比并行排列的结果好。对于排列的顺序,实验结果表明,通道在前面略优于空间在前面

4.自注意力(Self-Attention)

参考链接:自注意力(Self-Attention)机制原理说明
参考链接:图解自注意力机制(Self-Attention)
参考链接:Vision Transformer 超详细解读 (原理分析+代码解读) (一)

  • 核心思想:计算给定的input sequence各个位置之间彼此的影响力大小

4.1 自注意力机制简介

对于网络输入的一组向量,每个向量之间可能存在联系,自注意力机制会结合其他向量对当前向量的影响,可以帮助模型更好地理解序列中的上下文信息,从而更准确地处理序列数据。比如某个单词Games在孤独的语境中可能会将其识别为游戏,但是给定上下文信息the 2022 Beijing Winter GamesGames会被理解为奥运会。

和上述注意力机制一样,自注意力机制也是为输入向量添加一个权重信息,不过不是表征重要程度,而是和输入其他向量之间的关系。

在对图像的处理过程中,会将图像分割为一系列的像素块,每个像素块会作为一个序列,自注意力机制会寻找每个像素块之间的关系。

4.2 自注意力机制的实现过程

本节图像来自:https://cloud.tencent.com/developer/article/2407538

4.2.1 单个输出

[图片]

对于每一个输入向量a,经过蓝色部分self-attention之后都输出一个向量b,这个向量b是考虑了所有的输入向量对a1产生的影响才得到的,这里有四个词向量a对应就会输出四个向量b。

以输入a1为例,介绍其他输入向量与a1之间的联系

  1. 基于Dot-product计算sequence中各向量与a1的关联程度
    在这里插入图片描述

绿色的部分就是输入向量a1a2,灰色的WqWk为权重矩阵,需要学习来更新,用a1去和Wq相乘,得到一个向量q,然后使用a2Wk相乘,得到一个数值k。最后使用q和k做点积,得到αα也就是表示两个向量之间的相关联程度。

  1. 可以计算每一个α(又称为attention score),q称为query,k称为key
    [图片]

另外,也可以计算a1和自己的关联性,再得到各向量与a1的相关程度之后,用softmax计算出一个attention distribution,这样就把相关程度归一化(即图中公式),通过数值就可以看出哪些向量是和a1最有关系。
假设[a1, a2, a3, a4]=[2, 3, 4, 5],计算相关性后[a11, a12, a13, a14]=[0, 2, 8, 10],归一化后就变为[0, 0.1, 0.4, 0.5]
[图片]

  1. 根据 α′ 抽取sequence里重要的信息
    [图片]

先求v,v就是键值value,v和q、k计算方式相同,也是用输入a乘以权重矩阵W,得到v后,与对应的α′ 相乘,每一个v乘与α’后求和,得到输出b1。
如果 a1 和 a2 关联性比较高, α1,2′ 就比较大,那么,得到的输出 b1 就可能比较接近 v2 ,即attention score决定了该vector在结果中占的分量;

4.2.2 矩阵形式

  1. q、k、v的矩阵形式生成
    [图片]

把4个输入a拼成一个矩阵,乘上相应的权重矩阵W,得到相应的矩阵Q、K、V,分别表示query,key和value:
[图片]

[图片]

三个W是我们需要学习的参数

  1. 利用得到的Q和K计算每两个输入向量之间的相关性
    也就是计算attention的值α, α的计算方法有多种,通常采用点乘的方式。
    先针对q1,通过与k1到k4拼接成的矩阵K相乘,得到 α 1 , n \alpha_{1,n} α1,n
    [图片]

同样,q1到q4也可以拼接成矩阵Q直接与矩阵K相乘:
[图片]

写为矩阵形式:
[图片]

矩阵A中的每一个值记录了对应的两个输入向量的Attention的大小α,A’是经过softmax归一化后的矩阵。

  1. 利用得到的A’和V,计算每个输入向量a对应的self-attention层的输出向量b
    [图片]

[图片]

写成矩阵形式:
[图片]

4.2.3 总结

对self-attention操作过程做个总结,输入是I,输出是O,矩阵Wq、 Wk 、Wv是需要学习的参数。
[图片]

4.3 多头自注意力机制(Multi-head Self-attention)

因为相关性有很多种不同的形式,有很多种不同的定义,所以有时不能只有一个q,要有多个q,不同的q负责不同种类的相关性。

4.3.1 计算单个输入a:

[图片]

首先,和上面一样,用a乘权重矩阵W得到qkv,然后q再乘两个不同的W,得到两个不同的 q i , j q^{i,j} qi,j,i代表的是位置,1和2代表的是这个位置的第几个q。
[图片]

4.3.2 计算多个head

这上面这个图中,有两个head,代表这个问题有两种不同的相关性。
同样,k和v也需要有多个,两个k、v的计算方式和q相同,都是先算出来ki和vi,然后再乘两个不同的权重矩阵。
[图片]

对于多个输入向量也一样,每个向量都有多个head:
[图片]

4.3.3 计算self-attention

和上面讲的过程一样,只不过是1那类的一起做,2那类的一起做,两个独立的过程,算出来两个b。
对于1:
[图片]

对于2:
[图片]

[图片]

4.4 Positional Encoding

在训练self attention的时候,实际上对于位置的信息是缺失的,没有前后的区别,上面讲的a1,a2,a3不代表输入的顺序,只是指输入的向量数量,不像rnn,对于输入有明显的前后顺序,比如在翻译任务里面,对于机器学习,机器学习依次输入。而self-attention的输入是同时输入,输出也是同时产生然后输出的。

如何在Self-Attention里面体现位置信息呢?就是使用Positional Encoding
[图片]

如果ai加上了ei,就会体现出位置的信息,i是多少,位置就是多少。vector长度是人为设定的,也可以从数据中训练出来

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/844508.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

java面试中高频问题----1

一、乐观锁和悲观锁定义、场景怎么判断用什么? 1.乐观锁: 定义:乐观锁假设大多数情况下,资源不会发生冲突。因此,允许多个线程同时访问资源。 场景:读操作多,写操作少,数据冲突概率…

人工智能的数学基础(高数)

🌞欢迎来到人工智能的世界 🌈博客主页:卿云阁 💌欢迎关注🎉点赞👍收藏⭐️留言📝 🌟本文由卿云阁原创! 📆首发时间:🌹2024年5月29日&…

day21二叉树part07|530.二叉搜索树的最小绝对差 501.二叉搜索树中的众数 236. 二叉树的最近公共祖先

**530.二叉搜索树的最小绝对差 ** 遇到在二叉搜索树上求什么最值&#xff0c;求差值之类的&#xff0c;都要思考一下二叉搜索树可是有序的&#xff0c;要利用好这一特点。 class Solution { public:void trival(TreeNode* node, vector<int>& nums) {if (node nul…

Linux学习笔记(epoll,IO多路复用)

Linux learning note 1、epoll的使用场景2、epoll的使用方法和内部原理2.1、创建epoll2.2、使用epoll监听和处理事件 3、示例 1、epoll的使用场景 epoll的英文全称是extend poll&#xff0c;顾名思义是poll的升级版。常见的IO复用技术有select&#xff0c;poll&#xff0c;epo…

Photoshop粘贴 lorem-ipsum 占位符文本

Photoshop在使用文字工具的时候&#xff0c;点击画布会自动出现一段英文“Lorem Ipsum”&#xff0c;这是占位文本&#xff0c;除了响应速度慢外&#xff0c;目前我也没发现它有什么太大意义。 那么要如何操作才能取消占位文本的填写呢&#xff1f;在菜单栏点 编辑-首选项-文字…

window 安装 nginx

下载、安装 官网下载地址&#xff1a;https://nginx.org/en/download.html 选择稳定版 在这里插入图片描述

MindSpore实践图神经网络之环境篇

MindSpore在Windows11系统下的环境配置。 MindSpore环境配置大概分为三步&#xff1a;&#xff08;1&#xff09;安装Python环境&#xff0c;&#xff08;2&#xff09;安装MindSpore&#xff0c;&#xff08;3&#xff09;验证是否成功 如果是GPU环境还需安装CUDA等环境&…

JTW结构

JTW(JSON Web Token)的结构 在这篇笔记中,我们将了解JTW(JSON Web Token)的结构。我们将看到JTW是如何创建的,令牌的各个部分是什么,以及您如何自己构建和构造JTW。您还将了解一些这种结构的含义,以及使用JTW进行授权时的一些结果优缺点。 基本上,JTW本质上就是一个…

Android 四大组件 service

前言 在Android系统中&#xff0c;Service 是一个用来执行长时间运行的操作而不提供用户界面的应用组件。它可以在后台执行任务&#xff0c;即使用户切换到其他应用也不会被中断。 Service 在Android中主要用于在后台执行长时间运行的任务&#xff0c;例如播放音乐、执行文件…

机器学习-10-可解释性机器学习库Shapash

可解释性机器学习库Shapash——鸢尾花XGBoost分类解释实现 shapash的GitHub地址 机器学习的可解释性 1 机器学习的可解释性 1.1 可解释性简介 在机器学习的场景中,可解释性(interpretability)就表示模型能够使用人类可认知的说法进行解释和呈现。 机器学习模型被许多人称…

新火种AI|寻求合作伙伴,展开豪赌,推出神秘AI项目...苹果能否突破AI困境?

作者&#xff1a;小岩 编辑&#xff1a;彩云 2024年&#xff0c;伴随着AI技术的多次爆火&#xff0c;不仅各大科技巨头纷纷进入AI赛道展开角力&#xff0c;诸多智能手机厂商也纷纷加紧布局相关技术&#xff0c;推出众多AI手机。作为手机领域的龙头老大&#xff0c;苹果自然是…

学生成绩统计分析系统介绍

学生成绩统计分析系统是一种用于收集、管理和分析学生学业成绩的软件系统。该系统旨在帮助学校和教育机构更好地了解学生的学习情况&#xff0c;进行成绩评估和分析&#xff0c;以支持教学决策和学生发展。学生成绩分析系统 系统专门针对学校/班级成绩管理使用&#xff0c;支持…

F. Longest Strike[双指针详解]

Longest Strike 题面翻译 给你一个长度为 n n n 的序列 a a a 和一个整数 k k k&#xff0c;你要求一个区间 [ l , r ] [l,r] [l,r] 满足&#xff1a; 对于任何整数 x ∈ [ l , r ] x∈[l,r] x∈[l,r]&#xff0c; x x x 在 a a a 中的出现次数不少于 k k k 次。最大…

redis数据类型之Hash,Bitmaps

华子目录 Hash结构图相关命令hexists key fieldhmset key field1 value1 [field2 value2...]hscan key cursor [MATCH pattern] [COUNT count] Bitmaps位图相关命令setbit1. **命令描述**2. **语法**3. **参数限制**4. **内存分配与性能**5. **应用实例**6. **其他相关命令**7.…

19 - grace数据处理 - 补充 - 地下水储量计算过程分解 - 冰后回弹(GIA)改正

19 - grace数据处理 - 补充 - 地下水储量计算过程分解 - 冰后回弹(GIA)改正 0 引言1 gia数据处理过程0 引言 由水量平衡方程可以将地下水储量的计算过程分解为3个部分,第一部分计算陆地水储量变化、第二部分计算地表水储量变化、第三部分计算冰后回弹改正、第四部分计算地下…

07- Redis 中的 HyperLogLog 数据类型和应用场景

1. 介绍 Redis HyperLogLog 是 Redis 2.8.9 版本新增的数据类型&#xff0c;是一种用于【统计基数】的数据集合类型&#xff0c;基数统计就是指统计一个集合中不重复的元素个数。但要注意&#xff0c;HyperLogLog 的统计规则是基于概率完成的&#xff0c;不是非常准确&#xf…

ABAP MD04增强排除MRP元素

场景 MD04跑出来很多MRP元素&#xff0c;用户想手工控制某些MRP元素不参与运算 分析 增强点还蛮好找的&#xff0c;控制MRP元素是否参与运算用下面的se19三代增强点就可以&#xff0c;打个断点看下MD04进的哪个增强点就行 旧版本的用这个&#xff1a;MD_CHANGE_MRP_DATA 新…

《广告数据定量分析》读书笔记之理论/概论

《广告数据定量分析 如何成为一位厉害的广告优化师》 一、理论/概况 1.广告优化中的统计学&#xff1a; &#xff08;1&#xff09;获取推广相关数据&#xff1b; &#xff08;2&#xff09;将数据处理为需要的指标如转化率、roi等进行分析其投放效果&#xff1b; &#x…

flask的一些简要基础问答

1. Flask 中的 blinker&#xff1a; Blinker 是一个用于信号分发的库。在 Flask 中&#xff0c;它主要用于实现事件的发送和接收机制。通过使用 blinker&#xff0c;可以方便地在不同的组件之间进行通信和协调&#xff0c;当特定的事件发生时&#xff0c;可以触发相关的处理函…

NVIDIA Jetson 上编译opencv 4.9.0

直接上命令 cmake .. \ -DCMAKE_C_COMPILER/usr/bin/gcc-7 -DCMAKE_CXX_COMPILER/usr/bin/g-7 \ -DCMAKE_BUILD_TYPERelease \ -DCMAKE_INSTALL_PREFIX/usr/local \ -DOPENCV_ENABLE_NONFREE1 \ -DBUILD_opencv_python21 \ -DBUILD_opencv_python31 \ -DCUDA_TOOLKIT_ROOT_DIR…