ShuffleNet系列论文阅读笔记(ShuffleNetV1和ShuffleNetV2)

目录

    • ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices
      • 摘要
      • Approach—方法
        • Channel Shuffle for Group Convolutions—用于分组卷积的通道重排
        • ShuffleNet Unit—ShuffleNet单元
        • Network Architecture—网络体系结构
      • 总结
    • ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design
      • 摘要
      • Introduction—简介
      • 四条准则
      • Practical Guidelines for Efficient Network Design—高效网络设计的实用准则
        • G1) Equal channel width minimizes memory access cost (MAC) -- 相同通道宽度能够最小化MAC(内存访问成本)
        • G2) Excessive group convolution increases MAC—过度的组卷积会增加 MAC
        • G3) Network fragmentation reduces degree of parallelism—网络碎片化会降低并行程度
        • G4) Element-wise operations are non-negligible—Element-wise操作的影响不可忽略
      • ShuffleNet V2: an Efficient Architecture—一个高效的架构
        • 基本单元
        • ShuffleNet V2 的整体架构
      • Analysis of Network Accuracy—网络精度分析
      • 总结

ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices

论文链接:ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices

摘要

(1)CNN架构ShuffleNet是专门为计算能力有限的移动设备而设计

(2)ShuffleNet利用两种新的运算方法:

  • 分组逐点(1 × 1)卷积(pointwise group convolution)
  • 通道重排(channel shuffle)

作用:

(1)使用分组逐点卷积来降低1×1卷积的计算复杂度

(2)使用通道重排操作来帮助信息在特征通道间流动

Approach—方法

Channel Shuffle for Group Convolutions—用于分组卷积的通道重排

下图是分组卷积的图示,可以看到分组卷积参数量大大减少,计算量同样也会减少。

image-20240618165624543

本文中的pointwise group convolution其实就是用1 × 1的卷积核进行分组卷积,进一步降低计算复杂度。

优点:通过确保每个卷积仅在相应的输入通道组上运行,组卷积降低了计算成本。

但是分组卷积的副作用:阻塞通道之间的信息并削弱表征能力。

如下图所示,沿着channel分成红、绿、蓝三组,各组之间的信息是不流通的,只能融合组内的信息。

image-20240618170838959

解决方法

本文采用channel shuffle操作,通过将每个分组后的通道再分成几组子通道,并将不同分组中的不同子通道进行混合(洗牌操作),那么就可以保证不同分组间的特征通道的特征信息可以共享。

channel shuffle的作用: 跨通道信息交融。

下图中,(b) 第二个分组卷积是从第一个分组卷积里不同的组里拿数据(b是一种思想);(c) 利用通道重排产生与(b) 等效的实现(c是一种实现)

image-20240618171133024

channel shuffle通道重排过程

(c)的实现: 假设卷积层有g组,输出有g × n个通道,先将输出通道维数reshape为(g,n)的矩阵,再进行转置(transpose),展平(flatten),作为下一层的输入(即使两个卷积的组数不同,操作依然有效)

该过程可以直接调用pytorch的API实现,是可微分、可导的,计算效率很高,几乎没有额外的算力消耗,可以进行端到端的训练。

image-20240618171711349

ShuffleNet Unit—ShuffleNet单元

ShuffleNet Unit是基于Resdual block改进得到的

image-20240618172243684

(a)为一个Resdual block

①1×1卷积(降维)+3×3深度卷积+1×1卷积(升维)
②之间有BN和ReLU
③最后通过add相加

(b)为输入输出特征图大小不变的ShuffleNet Unit

①将第一个用于降低通道数的1×1卷积改为1×1分组卷积 + Channel Shuffle
②去掉原3×3深度卷积后的ReLU
③ 将第二个用于扩增通道数的1×1卷积改为1×1分组卷积

(c)为输出特征图大小为输入特征图大小一半的ShuffleNet Unit(下次阿阳模块)

①将第一个用于降低通道数的1×1卷积改为1×1分组卷积 + Channel Shuffle
②令原3×3深度卷积的步长stride=2, 并且去掉深度卷积后的ReLU
③将第二个用于扩增通道数的1×1卷积改为1×1分组卷积
④shortcut上添加一个3×3平均池化层(stride=2)用于匹配特征图大小
⑤对于块的输出,将原来的add方式改为concat方式(通道加倍)

Q1:为什么在模块输出部分的逐点分组卷积后并没有使用channel shuffle?

因为此时得到的结果已经相当不错了,所以不需要进行通道重排了

Q2:为什么去掉第二个ReLU?

这个我们在MobileNetV2(点这里)里介绍过,作者发现训练过程中depthwise部分得到卷积核会废掉,认为造成这样的原因是由于ReLU函数造成的。

Q3:为什么用concat代替add?

扩大通道尺寸,无需额外计算成本

Network Architecture—网络体系结构

不同分组数的shuffleNet网络结构如下图:

(1)首先使用的普通的3 x 3的卷积和max pool层

(2)接着分为三个阶段:

​ 每个stage都是重复堆叠了几个ShuffleNet unit

​ 对于每个stage,第一个unit采用的是stride = 2,这样特征图width和height各降低一半,而通道数增加一倍

​ 后面的都是stride=1,特征图和通道数都保持不变

(3)对于基本单元来说,其中瓶颈层,就是3 x 3卷积层的通道数为输出通道数的1/4,这和残差单元的设计理念是一样的

同时从下图可以看出,并非分组数越多,运算量越小(g = 4 ) < ( g = 8 )

image-20240618172741331

总结

通过group pointwise convolution分组1 x 1卷积和channel shuffle通道重排操作,降低参数量和计算量,扩增卷积核个数。


ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design

论文链接:ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design

摘要

神经网络架构的设计目前主要由计算复杂度的间接指标(即 FLOPs)来指导。

但是,直接指标(如速度)还依赖于其他因素。

本文主要工作

(1)提出了新的网络结构ShuffleNet V2

(2)指出过去在网络架构设计上仅注重间接指标 FLOPs 的不足,并提出两个基本原则和四个实用准则来指导网络架构设计

Introduction—简介

FLOPs作为衡量指标的不足,FLOPs是一个间接的指标。

直接指标是指速度或延迟

image-20240618185056109

四个网络架构在两个硬件平台、四种不同计算复杂度上的(验证集 ImageNet 分类)精度、速度和 FLOPs 结果。

从©和(d)可以看出,具有相似FLOPs的网络却具有不同的速度,在GPU上相同的FLOPs速度差异很大,在CPU上却很小。因此,使用FLOPs作为计算复杂度的唯一指标是不够的,可能会导致次优化设计。

FLOPS和FLOPs:

​ FLOPS: 全大写,指每秒浮点运算次数,可以理解为计算的速度,是衡量硬件性能的一个指标 (硬件)
​ FLOPs: s小写,指浮点运算数,理解为计算量,可以用来衡量算法/模型的复杂度,(模型)在论文中常用GFLOPs(1 GFLOPs = 10^9FLOPs)

下图反映了不同的轻量化模型在不同的硬件设备上的计算开销分布

element wise(逐元素操作):relu()函数激活,残差网络的连接(add)等

Data:数据的输入输出

如果只优化FLOPs(对应加法乘法运算),相当于只优化卷积运算,从图中可以看出还有很多其他的操作的开销也很大,特别是在GPU上。

image-20240618185117250

从上图可以得出以下的结论:

1.乘-加浮点运算次数FLOPs仅反映卷积层,仅为间接指标

2.不同硬件上的测试结果不同

3.数据读写的内存MAC占用影响很大

4.Element-wise逐元素操作带来的开销不可忽略

间接指标和直接指标差异的原因

(1)对速度有较大影响的几个重要因素对 FLOPs 不产生太大作用。

(2)由于平台的不同是,使用相同的FLOPs操作可能有不同的运行时间。

ShuffleNetv2提出的两个原则

第一,应该用直接指标(例如速度)替换间接指标(例如 FLOPs)。
第二,这些指标应该在目标平台上进行评估。

四条准则

准则一︰输入输出通道数相同时,内存访问量MAC最小

准则二︰分组数过大的分组卷积会增加MAC

准则三︰碎片化操作对并行加速不友好

准则四:逐元素噪作(Element-wise)带来的内存和耗时不可忽略

Practical Guidelines for Efficient Network Design—高效网络设计的实用准则

G1) Equal channel width minimizes memory access cost (MAC) – 相同通道宽度能够最小化MAC(内存访问成本)

1 × 1卷积其实是轻量化网络里面计算量最大,参数量最多,计算最密集的部分,特别是使用了深度可分离卷积之后。

1×1卷积核的参数由两个量决定:

  • 1.输入通道数C1
  • 2.输出通道数C2

假设一个1×1卷积层的输入特征通道数是c1,输出特征尺寸是h和w,输出特征通道数是c2,那么这样一个1×1卷积层的FLOPs就是下面式子所示 :

image-20240618230228907

(更具体的写法是B=1×1×c1×c2×h×w,这里省略了1×1)

假设计算设备的内存足够大能够储存整个计算图和参数,那么:

image-20240618230248711

image-20240618230418390

由中值不等式得:
image-20240619143017918

因此理论上MAC的下界由FLOPs决定,当且仅当C1 = C2 时取得最小值。

G2) Excessive group convolution increases MAC—过度的组卷积会增加 MAC

组卷积是ResNext提出的结构,使用了稀疏的平行拓扑结构来减少计算复杂度:

image-20240619115629417

作者发现,虽然使用组卷积在相同计算复杂度的情况下拓展了通道数,但是通道数的增加也使得MAC大大增加。

假设 g 是1x1组卷积的组数,则有:

image-20240619115827281

将FLOPs,也就是B代入下式中:

image-20240619120142539

即:

image-20240619120215325

B和MAC其实是耦合的,所以在比较的情况下一般控制B不变进行比较。

可以看到,对于固定的输入大小 (h,w,ci) 和计算复杂度FLOPS (B),MAC随着 g 的增大而增加

因此虽然提高g可以降低参数量、计算量降低,但是副作用就是MAC增大,MAC增大速度就会降低。因此要在速度和精度之间进行平衡。

下图是实验结果,g是分组数,可以看出组数越大速度越慢,特别是对于GPU而言。

image-20240619120833044

G3) Network fragmentation reduces degree of parallelism—网络碎片化会降低并行程度

碎片化操作:多分支、多通路,把网络变得很宽。

网络碎片化,减低模型的并行度,相应速度会慢。

GoogleNet系列就大量使用的Inception这样的multi-path结构(即存在一个lock中很多不同的小卷积或者pooling)增加了准确度:

image-20240619121340400

下图为实验结果FLOPs固定,网络越碎片化,推理速度越慢,特别是对GPU并行运算设备(红框和红框比,黄框和黄框比)和小型网络(蓝色框参数表示网络大小)。

image-20240619121552667

G4) Element-wise operations are non-negligible—Element-wise操作的影响不可忽略

这里实验发现如果将ResNet中残差单元中的ReLU和shortcut移除的话(最后一行),速度有20%的提升。单独移除也能提升速度(蓝色框内)。

image-20240619121923877

ShuffleNet V2: an Efficient Architecture—一个高效的架构

基本单元

(a)和(b)ShuffleNet V1的基本单元(主要构成pointwise group convolution和channel shuffle)。

不足之处(有待商榷)

大量使用了1×1卷积,使用了分组卷积。—— 违背了 G2
采用了类似ResNet中的瓶颈层(bottleneck layer),输入和输出通道数不同(升维再降维)。—— 违背了 G1
使用太多分组。—— 违背了 G3
短路连接中存在大量的元素级Add运算。—— 违背了G4

image-20240619122309423

©和(d)ShuffleNet V2的基本单元

©单元:ShuffleNet V2 的基本单元

(1)增加了Channel Split操作,实际上就是把输入通道分为2个部分,一半通道走左边分支,一半通道走右边分支。

(2)根据G1: 左边分支做恒等映射,右边的分支包含3个连续的卷积(有一个深度可分离卷积),并且输入和输出通道相同,每个分支中的卷积层的输入输出通道数都一致。

(3)根据G2: 两个1x1卷积不再是组卷积。

(4)根据G3: 减少基本单元数。因此有一个分支不做任何操作,直接做恒等映射。

(5)根据G4: 两个分支的输出不再是Add元素,而是concat在一起,紧接着是对两个分支concat结果进行channel shuffle,以保证两个分支信息交流。

完全满足G1和G2(恒等映射,输入输出通道一致;没用分组卷积),G3、G4(两个分支基本满足;ReLu函数的Element-wise操作不可避免)

注意: 右边分支最后那个1×1卷积后面是跟了BN以及ReLU的,这与v1先Add再ReLU不同。

(d)单元:用于空间下采样 (2×) 的 ShuffleNet V2 单元

对于下采样模块,不再有channel split,每个分支都有stride=2的下采样,最后concat在一起后,特征图空间大小减半,但是通道数翻倍。

注意:©和(d)单元都是在concat后再进行channel shuffle,以此保证通道间的信息交融。

ShuffleNet V2 的整体架构

v2在全局池化层之前增加了个conv5卷积,这是与v1的一个区别。

image-20240619124126399

Analysis of Network Accuracy—网络精度分析

ShuffleNet V2高效且准确率高的原因:

(1)每个构建模块非常高效,可以产生更多的通道和高强的网络;

(2)在每个模块中,一半的特征通道直接穿过该模块去了下一个模块(恒等映射),这可以被看作为某种“特征复用”,并且衰减指数为(1/2)^n。

image-20240619124549522

(a)是DenseNet论文中的图,表示第一个Dense Block中各个Dense Layer之间的权重绝对值。

​ DenseNet因为特征复用,所以性能很强大;

​ DenseNet训练出的特征复用模式,相邻的Dense Layer权重更大。

(b)是ShuffleNet V2各个Block之间通过channel split共享的复用通道数,相邻的block有更多的共享的复用特征,天然和DenseNet相似,因此性能也很强大。

总结

本文通过大量实验提出四条轻量化网络设计准则,对输入输出通道、分组卷积组数、网络碎片化程度、逐元素操作对不同硬件上的速度和内存访问量MAC的影响进行了详细分析。 提出ShuffleNet V2模型,通过Channel Split替代分组卷积,满足四条设计准则,达到了速度和精度的最优权衡。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/31248.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Vmware与Windows之间复制、粘贴内容、拖拽文件

Vmware17.0Ubuntu20 Vmware正确安装完linux虚拟机之后&#xff0c;这里以Ubuntu为例&#xff08;其他linux或windows系统也是类似的&#xff09;&#xff0c;如果你使用的默认配置&#xff0c;正常情况下就可以复制、粘贴和拖拽内容的&#xff0c;双方向都是支持的。如果不能复…

nvdiadocker相关配置S3Gaussian

https://download.csdn.net/download/sinat_21699465/89458214 dockerfile文件参考&#xff1a; https://download.csdn.net/download/sinat_21699465/89458214 prework&#xff1a; 显卡驱动决定了cuda版本支持的上限。例如nvdia535驱动最高支持cuda12.2所以显卡驱动版本选…

15.树形虚拟列表实现(支持10000+以上的数据)el-tree(1万+数据页面卡死)

1.问题使用el-tree渲染的树形结构&#xff0c;当数据超过一万条以上的时候页面卡死 2.解决方法&#xff1a; 使用vue-easy-tree来实现树形虚拟列表&#xff0c;注意&#xff1a;vue-easy-tree需要设置高度 3.代码如下 <template><div class"ve-tree" st…

《web应用技术》第12次课后作业

1、了解servlet技术 Servlet(server applet)&#xff1a;运行在服务器的小程序&#xff0c;Servlet就是一个接口&#xff0c;定义了Java类被浏览器访问到的规则。将来我们自定义一个类&#xff0c;实现Servlet接口&#xff0c;复写方法。 Servlet本身不能独立运行&#xff0c…

2024广东省职业技能大赛云计算赛项实战——OpenStack搭建

OpenStack搭建 前言 搭建采用双节点安装&#xff0c;即controller控制节点和compute计算节点。 CentOS7 系统选择 2009 版本&#xff1a;CentOS-7-x86_64-DVD-2009.iso 可从阿里镜像站下载&#xff1a;https://mirrors.aliyun.com/centos/7/isos/x86_64/ OpenStack使用竞赛培…

JaveEE进阶----Spring Web MVC入门

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 前言一、什么是 Spring Web MVC&#xff1f;&#xff1f;1.1MVC 定义1.2 什么是Spring MVC ?1.3过浏览器和用户程序交互 二、 RequestMapping 注解三、Postman 前言…

Python中栈的实现与应用

Python中栈的实现与应用 一、引言 栈&#xff08;Stack&#xff09;是一种重要的数据结构&#xff0c;它遵循后进先出&#xff08;LIFO&#xff0c;Last In First Out&#xff09;的原则。栈的基本操作包括入栈&#xff08;push&#xff09;和出栈&#xff08;pop&#xff09…

容器基本概念_从虚拟化技术_到容器化技术_开通青云服务器_并远程连接_容器安装---分布式云原生部署架构搭建007

这一部分,属于以前都会用到的,会快速过一遍,对于关键技术问题会加以说明 https://www.yuque.com/leifengyang/oncloud文档地址在这里,可以看,有些命令可以复制使用 可以看到容器的出现就是 目的就是,让你做的所有的软件,都可以一键部署启动 打包就是docker build 然后: 对于…

关于后端幂等性问题分析与总结

后端幂等性&#xff08;Idempotency&#xff09;是指对系统执行一次操作或多次执行相同的操作&#xff0c;其结果始终如一。在分布式系统和API设计中&#xff0c;这是一个关键概念&#xff0c;因为它能保证用户无论请求被路由到哪个节点&#xff0c;多次执行相同的请求都不会导…

陈晓婚前婚后大变样

陈晓婚前婚后大变样&#xff1f;陈妍希揭秘甜蜜与现实的碰撞在娱乐圈的星光璀璨中&#xff0c;有一对夫妻总是津津乐道&#xff0c;那就是陈晓和陈妍希。他们的爱情故事&#xff0c;从荧幕到现实&#xff0c;一直备受关注。然而&#xff0c;近日陈妍希在节目中透露&#xff0c;…

22、架构-资源与调度

1、资源与调度 调度是容器编排系统最核心的功能之一&#xff0c;“编排”一词本身便包 含“调度”的含义。调度是指为新创建的Pod找到一个最恰当的宿主机 节点来运行它&#xff0c;这个过程成功与否、结果恰当与否&#xff0c;关键取决于容器 编排系统是如何管理与分配集群节点…

Hadoop 面试题(一)

1. 简述Hadoop核心组件 &#xff1f; Hadoop是一个开源的分布式计算平台&#xff0c;其核心组件主要包括以下几个方面&#xff1a; HDFS (Hadoop Distributed File System)&#xff1a; 一个分布式文件系统&#xff0c;用于在廉价的硬件上存储和管理大量数据。 MapReduce&…

Elasticsearch**Elasticsearch自定义插件开发入门

Elasticsearch作为一个强大的搜索引擎和数据分析工具&#xff0c;其强大的扩展性是其受欢迎的重要原因之一。自定义插件开发入门** Elasticsearch作为一个强大的搜索引擎和数据分析工具&#xff0c;其强大的扩展性是其受欢迎的重要原因之一。通过自定义插件&#xff0c;用户可…

QT设计模式:备忘录模式

备忘录模式&#xff08;Memento Pattern&#xff09;是一种行为型设计模式&#xff0c;主要用于保存一个对象当前的状态&#xff0c;并在需要时恢复该状态。它常应用于以下场景&#xff1a; 撤销操作&#xff1a;如文本编辑器撤销、软件开发中的版本控制等&#xff0c;用户可以…

差分总结(一维+二维)

差分&#xff0c;可以视作前缀和的逆运算。 前缀和用于去求一个区间段的和 差分用于改变一个区间的值&#xff08;比如说某个区间都加上或者减去一个数&#xff09; P2367 语文成绩 #include<bits/stdc.h> using namespace std; #define int long long int n,p; int a…

RabbitMQ 学习笔记

RabbitMQ学习笔记 一些概念 Broker &#xff1a;RabbitMQ服务。 virtual host&#xff1a; 其实就是分组。 Connection&#xff1a;连接&#xff0c;生产者消费者与Broker之间的TCP连接。 Channel&#xff1a;网络信道&#xff0c;轻量级的Connection&#xff0c;使用Chann…

2024广东省职业技能大赛云计算赛项实战——Minio服务搭建

Minio服务搭建 前言 这道题是比赛时考到的&#xff0c;没找到具体题目&#xff0c;但在公布的样题中找到了&#xff0c;虽然很短~ 使用提供的 OpenStack 云平台&#xff0c;申请一台云主机&#xff0c;使用提供的软件包安装部署 MINIO 服务并使用 systemctl 管理 Minio是一个…

HTML静态网页成品作业(HTML+CSS)——手机电子商城网页(4个页面)

&#x1f389;不定期分享源码&#xff0c;关注不丢失哦 文章目录 一、作品介绍二、作品演示三、代码目录四、网站代码HTML部分代码 五、源码获取 一、作品介绍 &#x1f3f7;️本套采用HTMLCSS&#xff0c;未使用Javacsript代码&#xff0c;共有4个页面。 二、作品演示 三、代…

Vue 封装组件之Input框

封装Input组件:MyInput.vue <template><div class"base-input-wraper"><el-inputv-bind"$attrs"v-on"$listeners"class"e-input":style"inputStyle":value"value":size"size"input&quo…

深入解析微软Edge浏览器:探索其功能与应用

微软Edge浏览器是微软公司推出的一款现代化网页浏览器,旨在为用户提供快速、安全和高效的上网体验。本文将全面解析微软Edge浏览器,从其历史背景、核心功能、性能表现、安全特性到实际应用场景,带领读者深入了解这款浏览器的优势和使用技巧。 一、Edge浏览器的历史背景 1.…