深度残差网络_注意力机制+软阈值化=深度残差收缩网络

498c958279ae8a13cbd8bdb5e523351d.png

顾名思义,深度残差收缩网络是由“残差网络”和“收缩”两部分所组成的,是在“残差网络”基础上的一种改进算法。

其中,残差网络在2016年斩获了ImageNet图像识别竞赛的冠军,目前已经成为了深度学习领域的基础网络;收缩就是软阈值化,是许多信号降噪方法的核心步骤。

在深度残差收缩网络中,软阈值化所需要的阈值,本质上是在注意力机制下设置的。

在本文中,我们首先对残差网络、软阈值化和注意力机制的基础知识进行了简要的回顾,然后对深度残差收缩网络的动机、算法和应用展开解读。(转载的)

1. 基础回顾

1.1 残差网络

从本质上讲,残差网络(又称深度残差网络、深度残差学习)是一种卷积神经网络。相较于普通的卷积神经网络,残差网络采用了跨层恒等连接,以减轻卷积神经网络的训练难度。残差网络的一种基本模块如图1所示。

6dea139f5edad03d47371bffd145450f.png
图1 残差网络的一种基本模块

1.2 软阈值化

软阈值化是许多信号降噪方法的核心步骤。它的用处是将绝对值低于某个阈值的特征置为零,将其他的特征也朝着零进行调整,也就是收缩。在这里,阈值是一个需要预先设置的参数,其取值大小对于降噪的结果有着直接的影响。软阈值化的输入与输出之间的关系如图2所示。

987fc10fd5bb0fa94637cbfc2e0a6689.png
图2 软阈值化

从图2可以看出,软阈值化是一种非线性变换,有着与ReLU激活函数非常相似的性质:梯度要么是0,要么是1。因此,软阈值化也能够作为神经网络的激活函数。事实上,一些神经网络已经将软阈值化作为激活函数进行了使用。

1.3 注意力机制

注意力机制就是将注意力集中于局部关键信息的机制,可以分为两步:第一,通过扫描全局信息,发现局部有用信息;第二,增强有用信息并抑制冗余信息。

Squeeze-and-Excitation Network是一种非常经典的注意力机制下的深度学习方法。它可以通过一个小型的子网络,自动学习得到一组权重,对特征图的各个通道进行加权。其含义在于,某些特征通道是比较重要的,而另一些特征通道是信息冗余的;那么,我们就可以通过这种方式增强有用特征通道、削弱冗余特征通道。Squeeze-and-Excitation Network的一种基本模块如下图所示。

a7ffbfdaf1135584ab7097496307d429.png
图3 Squeeze-and-Excitation Network的一种基本模块

值得指出的是,通过这种方式,每个样本都可以有自己独特的一组权重,可以根据样本自身的特点,进行独特的特征通道加权调整。例如,样本A的第一特征通道是重要的,第二特征通道是不重要的;而样本B的第一特征通道是不重要的,第二特征通道是重要的;通过这种方式,样本A可以有自己的一组权重,以加强第一特征通道,削弱第二特征通道;同样地,样本B可以有自己的一组权重,以削弱第一特征通道,加强第二特征通道。

2. 深度残差收缩网络理论

2.1 动机

首先,现实世界中的数据,或多或少都含有一些冗余信息。那么我们就可以尝试将软阈值化嵌入残差网络中,以进行冗余信息的消除。

其次,各个样本中冗余信息含量经常是不同的。那么我们就可以借助注意力机制,根据各个样本的情况,自适应地给各个样本设置不同的阈值。

2.2 算法

与残差网络和Squeeze-and-Excitation Network相似,深度残差收缩网络也是由许多基本模块堆叠而成的。每个基本模块都有一个子网络,用于自动学习得到一组阈值,用于特征图的软阈值化。值得指出的是,通过这种方式,每个样本都有着自己独特的一组阈值。深度残差收缩网络的一种基本模块如下图所示。

dd66628172f73b31098e1af2c8f82fc9.png
图4 深度残差收缩网络的一种基本模块

深度残差收缩网络的整体结构如下图所示,是由输入层、许多基本模块以及最后的全连接输出层等组成的。

a8b212dac1361ad8c8d93c5e676d3cb9.png
图5 深度残差收缩网络的整体结构

2.3 应用

在论文中,深度残差收缩网络是应用于基于振动信号的旋转机械故障诊断。但是从原理上来讲,深度残差收缩网络面向的是数据集含有冗余信息的情况,而冗余信息是无处不在的。例如,在图像识别的时候,图像中总会包含一些与标签无关的区域;在语音识别的时候,音频中经常会含有各种形式的噪声。因此,深度残差收缩网络,或者说这种“注意力机制”+“软阈值化的思路,有着较为广泛的研究价值和应用前景。

参考文献

M. Zhao, S, Zhong, X. Fu, et al. Deep residual shrinkage networks for fault diagnosis. IEEE Transactions on Industrial Informatics, 2019, DOI: 10.1109/TII.2019.2943898

https://ieeexplore.ieee.org/document/8850096/​ieeexplore.ieee.org

源代码

zhao62/Deep-Residual-Shrinkage-Networks​github.com
879e4a91403f5456b8c1b6db6927259b.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/559326.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

linux 网络io命令详解,Linux下五种网络IO模型详解

本文我们主要来了解一下Unix/Linux下5种网络IO模型:blocking IO, nonblocking IO, IO multiplexing, signal driven IO, asynchronous IO的基本原理,更好的理解在高级语言中的异步编程,一起来看看吧,希望对大家学习linux有所帮助。…

在python语言中语句的续行符是_Python程序设计课后习题答案-第二单元(2页)-原创力文档...

习题 2一、选择题1.流程图中表示判断框的是( )。BA.矩形框 B .菱形框 C .平行四边形框 D .椭圆形框2 .下面不属于程序的基本控制结构的是( )。DA.顺序结构 B .选择结构 C &#xff0…

linux 终端显示白底,mac终端使用Item2无法显示颜色的解决方法

item2是mac,linux下非常好用的一款终端机,可自行配置主题并支持tab等多种功能。还在用单调的item吗?不妨试试item2吧!安装完后发现item2终端是没有颜色的(白底黑字),究其原因是Mac终端机预设是没有颜色区分的&#xff…

pve安装黑群晖直通硬盘_PVE+lede+DSM网卡硬盘直通+win10

本文目的:记录一下整个折腾过程,整理一下实现这一过程中看的资料,最重要的是我怕过段时间我给忘了。。。 虽然参照了不少过来人写的教程,但是还是遇到不少坑,反反复复折腾了一个月的时间(平时上班,只有晚上和周末能整一会)。 unraid我也折腾过了,确实不错,但是我没搞通…

linux kears 切换后端,如何更改Keras后端(哪里是json文件)?

我安装了Keras,并希望将后端切换到Theano . 我检查了this post,但仍然不知道在哪里放置创建的json文件 . 另外,下面是我在Python Shell中运行 import keras 时遇到的错误:使用TensorFlow后端 . 回溯(最近一次调用最后一次)&#x…

openstack资源使用汇总_关于OpenStack的学习路线及相关资源汇总

首先我们想学习openstack,那么openstack是什么?能干什么?涉及的初衷是什么?由什么来组成?刚接触openstack,说openstack不是一个软件,而是由多个组件进行组合,这是一个更深层次的理解&#xff0c…

安卓与Linux共存,Android和Linux重新合并成一个操作系统

Linux又回到了Android中,Android又回到了Linux中。Android一直都是Linux,但多年来Android项目走了自己的路,它的代码没有被合并回主Linux树中。现在,比Linux的创始人和主要开发人员Linux的预期要快得多,Android已经正式…

edit控件自动换行 mfc_VS2010/MFC编程入门:如何创建对话框模板和修改对话框属性?...

创建对话框主要分两大步,第一,创建对话框资源,主要包括创建新的对话框模板、设置对话框属性和为对话框添加各种控件;第二,生成对话框类,主要包括新建对话框类、添加控件变量和控件的消息处理函数等。在本节…

linux vim tag,Vim基础知识之ctags 及 Taglist 插件

Vim基础知识之ctags 及 Taglist 插件1. 我的界面2. ctagsexuberant ctags是一般Linux系统上缺省的ctags我的ctags版本:Exuberant Ctags 5.9~svn20110310简单介绍Used in at least 50 countries in all 7 continents (including Antarctica!)Supports 41 programming…

linux ps2键盘不能用,解决usb鼠标与ps2键盘合用时开机键盘失效

昨晚熬夜安装mac os 10.6.3 ,跟着教程一步一步走,终于晚装完毕。进入mac后发现,ps2接口的键盘无法使用,usb鼠标正常使用。由于经常捣鼓windows和咱的机箱,下意识想到拔掉键盘再重新插上就行,试了下&#xf…

oracle数据库有几个服务_oracle数据库可以有几个数据库

《Oracle数据库管理与维护实战》——1.1 Oracle产品组成本节书摘来自异步社区出版社《Oracle数据库管理与维护实战》一书中的第1章,第1.1节,作者: 何伟娜 , 常建功,更多章节内容可以访问云栖社区“异步社区”公众号查看。1.1 Or…

linux上如何永久关闭selinux,Linux临时关闭和永久关闭SELinux

查看SELinux状态:[rootlocalhost ~]# getenforceEnforcing临时关闭SELinux:[rootlocalhost ~]# setenforce 0[rootlocalhost ~]# getenforcePermissive永久关闭SELinux:在 /etc/sysconfig/ 目录下修改配置文件 selinux[rootlocalhost ~]# vim /etc/sysconfig/selinux配置文件内…

python监控windows日志_Python 监控日志的简单示例

这篇文章主要为大家详细介绍了Python 监控日志的简单示例,具有一定的参考价值,可以用来参考一下。对python这个高级语言感兴趣的小伙伴,下面一起跟随512笔记的小编两巴掌来看看吧!一个简易的日志监控的脚本,功能如下&a…

c语言程序设计整人,C语言进程间通信练习作品 - 整人小程序之剪切板

主程序界面:程序介绍:如果对方执行了主程序生成的【server.exe】,【server.exe】会自复制、自启动、自删除(仿木马)。【server.exe】会后台每秒/次检测对方的剪切板,一有文本数据则在尾部加入【附加内容】,达到&#x…

python安装lap_一个python脚本解决安装mq的依赖问题

import tarfileimport sys,osfrom _utils.patrol2 import run_cmdimport zipfiledef get_version(filename):cmd"rpm -U {}".format(filename)code,resrun_cmd(cmd,cwdpkg_unzip_path)if is already installed in res or 已安装 in res:return Trueelse:return False…

c语言如何关闭线程,如何用C语言实现多线程

该楼层疑似违规已被系统折叠 隐藏此楼查看此楼Windows操作系统,C语言实现多线程:#include #include DWORD APIENTRY ThreadOne ( LPVOID threadArg ){printf ( "线程开始啦,参数是:%s\n" , (char *)threadArg );return …

linux8安装bbr_CentOS 7安装4.9内核开启BBR

最新的4.9内核合并了Google研发的BBR TCP阻塞算法,使用效果大概可以跟锐速相比。待4.9正式版发出前,CentOS并没有4.9的RPM包。那么我们可以手动编译内核,安装并启用。注意:内存小于512M的机器在编译内核bzImage的时候会出现错误。…

Android怎么自定义充电铃声,安卓手机怎么自定义充电提示音_自定义安卓充电提示音教程_3DM手游...

安卓手机其实也是可以设置充电提示音的,我们只需要下载一个第三方软件,然后在APP中进行一些简单的设置,就可以实现自定义更换手机充电提示音了。安卓手机怎么自定义充电提示音?下面小编就为大家带来了详细的教程,希望能…

rfc方式的集成 sap_转载: 与SAP集成的接口方式比较:IDOC BAPI RFC 之间的区别

se37写出来的叫function,其中可以远程调用的叫rfc,remote-enabled function,abap语法和输入输出参数就会有一些限制。bapi是sap做好的实现特定业务操作的rfc。idoc是基于sap自己的类似xml格式的文档数据交换的方式。rfc必须在线的方式调用,一般做同步的,…

android logcat 根据包名过滤,adb logcat通过包名过滤(dos命令find后跟变量)

过滤条件:该app在运行实现原理:1、获取该app运行时的pid2、通过find命令,过滤pid的日志,就是该包的运行日志实现:1、在同一目录建立一文件:getpid.batecho offadb shell "ps | grep com.example.testp…