CNN中的卷积操作与权值共享

          CNN中非常有特点的地方就在于它的局部连接权值共享,通过卷积操作实现局部连接,这个局部区域的大小就是滤波器filter,避免了全连接中参数过多造成无法计算的情况,再通过参数共享来缩减实际参数的数量,为实现多层网络提供了可能。

卷积操作

        在CNN中是利用卷积层进行特征提取的,图像的三个通道R(red)、G(green)、B(blue),分别用不同的卷积核来进行卷积操作,说起卷积核这让我想起了我之前对图像进行的滤波处理,卷积运算本质上就是在滤波器和输入数据的局部区域间做点积,所以可以用矩阵乘法来实现,其实这是一个道理,卷积核对图像的操作可以用下图来表示:

        为什么会设置不同的filter呢,因为不同的滤波器filter会得到不同的输出数据,比如颜色深浅、轮廓。相当于如果想提取图像的不同特征,则用不同的滤波器filter,提取想要的关于图像的特定信息:颜色深浅或轮廓。如下图,左边是图像输入,中间部分就是滤波器filter(带着一组固定权重的神经元):

        输入图像是32*32*3的,32表示的图像尺寸大小,3表示的它的深度(即RGB三个channel),卷积层是一个5*5*3的滤波器(filter),filter的深度必须和输入图像的深度相同,通过一个filter与输入图像的卷积可以得到一个28*28*1的特征图,下图是用了两个filter得到了两个特征图:

 权值共享

        在下图中,如果不使用权值共享,则特征图由10个32*32*1的特征图组成,每个特征图上有1024个神经元,每个神经元对应输入图像上的一块5*5*3的区域,所以一个神经元和输入图像的这块区域有75个连接,即75个权值参数,则共有75*1024*10=768000个权值参数,这对于参数的调整和传递非常不利,因此卷积神经网络引入权值共享原则,一个特征图上每个神经元对应的75个权值参数被每个神经元共享,这里的共享其实就是指的每个神经元中75个权值参数采用对应相同的权值,权值共享时,只是在每一个filter上的每一个channel中是共享的,这样便只需75*10=750个权值参数,而每个特征图的阈值也共享,即需要10个阈值,则总共需要750+10=760个参数。

神经元的偏置部分也是同一种滤波器共享的。 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/490800.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

python根据矩阵数值大小涂上不同深浅颜色

绘制矩阵颜色图 import matplotlib.pyplot as pltplt.matshow(np.random.rand(5,5), cmapplt.get_cmap(Greens), alpha0.5) # , alpha0.3 plt.show()

20150210--Smarty1-02

20150210--Smarty1-02 三、设计篇 1、Smarty注释 基本语法: {*注释内容*} 示例代码: 2、Smarty中的变量 1)从PHP中分配的变量(普通的变量、数组、对象) 基本语法: $smarty->assign(); 示例代码: demo02.php demo02.html 运行效…

python 绘制时频图 plt.specgram

时频图以横轴为时间,纵轴为频率,用颜色表示幅值。在一幅图中表示信号的频率、幅度随时间的变化 matplotlib.pyplot.specgram(x, NFFTNone, FsNone, FcNone, detrendNone, windowNone, noverlapNone, cmapNone, xextentNone, pad_toNone, sidesNone, s…

华为鸿蒙系统四大特性:基于微内核,面向全场景,分布式架构

来源:今日头条8月9日,在广东东莞召开的华为开发者大会上,华为正式发布了自研操作系统:鸿蒙OS。据华为消费者业务CEO、华为技术有限公司常务董事余承东介绍,鸿蒙OS是基于微内核的面向全场景的分布式操作系统。随着华为全…

VM虚拟机中 localhost login_UTM 2.0 虚拟机来了,解决上网和无声音问题

今天主要讲一下UTM虚拟机,如果你对UTM这款APP不太熟悉,我在这里大致讲一下,这款应用工具,它可以安装在 iPad 和 iPhone 上刷入电脑系统,举例子:在UTM中刷入win7系统。甚至还能刷入 Android 安卓系统&#x…

搅动世界的两大因素

原创:张晓峰提要:移动互联、云计算、大数据、人工智能等技术因素逐步成为新基础设施,而泛连接、泛共享、泛融合与泛协同为代表的非技术因素正在重构这个世界。二者叠加融汇、相因相生。每个人都渐进或主动或被动地“被”函数化、数字化、孪生…

amigo幸运字符什么意思_转载 | 史上最全 python 字符串操作指南

点击蓝字关注,创智助你长姿势【本文已由 清风Python 授权转载(原创)作者:王翔,转载请联系出处】字符串的定义完了,估计很多人看到这个标题就要关网页了,稍等不妨再往下看看?python 定义字符、字符串没有 j…

在物理学的语言里,“生命”是什么?

转自:Darthusian“想象一种语言就像想象一种形式的生命。”--- 路德维希.维特根斯坦,《哲学研究》当今世界人们使用大约6,800种不同的语言。不是每个词都能在不同的语言之间完美地翻译,意义有时会落入语义的裂缝。例如,日语词wabi…

HTML5中的时间类型,另外EL表达式的时间值来读取时间,并且还可以更改时间

HTML5规范里只规定date新型input输入类型,并没有规定日历弹出框的实现和样式。所以,各浏览器根据自己的设计实现日历。目前只有谷歌浏览器完全实现日历功能。相信这种局面很快就会结束,所有的浏览器最终都将会提供原生的日历组件。 如果你使用…

支付接口申请_2020新版去水印小程序搭建教程(附源码+对接支付)

可以设置小程序跳转,引流也不错支持小程序后台流量主激励视频广告用户下载一次观看一次视频广告,收入非常可观支持小程序后台流量主banner广告支持全网短视频解析,苹果安卓通用支持后台无限生成卡密支持自定义文字广告支持图片广告支持小程序…

python 绘制功率谱密度图 plt.psd

功率谱密度图以横轴为频率,纵轴为功率密度,表示信号功率密度随着频率的变化情况 python绘制功率谱密度: matplotlib.pyplot.psd(x, NFFT256, Fs2, Fc0, detrendmlab.detrend_none,windowmlab.window_hanning, noverlap0, pad_toNone,sidesd…

概述自动机器学习(AutoML)

来源:混沌巡洋舰华为年薪百万招聘的机器学习博士,其中一个的研究方向就是AutoML,今天借着最新的综述,来对AutoML进行简要的概述。机器学习是让算法自动的从数据中找出一组规则,从而提取数据中对分类/聚类/决策有帮助的特征&#x…

python assert 与 slice

assert: assert 断言的作用:assert是断言的意思,python assert 断言语句格式及用法很简单。assert断言是声明其布尔值必须为真的判定,如果发生异常就说明表达式为假,用来测试表达式,如果表达式的返回值为假…

h5 bootstrap 小程序模板_软件测试人员必知H5/小程序测试点

最近接触了较多关于H5页面的测试,H5页面的测试除了业务逻辑功能测试外,其他部分的测试方法基本是可以通用的,在此对H5页面和小程序的一些通用测试方法进行总结分享给大家01H5相关测试H5优势:1.H5可以跨平台,开发成本相对较低&…

【深度学习】这才是深度学习的本源

内容来源:2019年7月26日,在长城会主办的“GMIC之院士AI论坛”上,索尔克生物研究所计算神经生物学实验室主任特伦斯进行了以“人工智能,将成科技的最大风口”为主题的精彩分享。笔记侠作为合作方,未经主办方和讲者审核。…

KALI Linux中GURB安装失败如何处理

KALI Linux中GURB安装失败如何处理 # GRUB安装失败 # 无法将grub-pc软件包安装到/target/中,如果没有GRUB启动引导器,所安装的系统将无法启动。 解决办法: 点击返回 点击配置软件包管理 将之前设置的网络镜像“是”改为“否”&#xff0c…

d3.js 旋转图形_苏教版三年级数学上册6.1平移和旋转微课视频 | 练习

本公众号学习资源丰富!欢迎分享到班群、朋友圈、帮助更多孩子。微课视频第一课时微课视频第二课时同步练习1.连一连。升旗时国旗的运动 钟摆的运动风扇叶片的运动 平移 电梯的运动光盘在电脑里的运动 旋转 火车的…

任正非签发最新电邮:过去我们是为了赚点小钱,现在是要战胜美国

来源:蓝血研究(lanxueyanjiu)2019年7月31日,华为举行“千疮百孔的烂伊尔2飞机”战旗交接仪式,任正非在仪式上做了题为《钢铁是怎么炼成的》的讲话。他表示:人工智能才是未来的大产业,要让“人才…

wget for windows 下载与安装

wget for windows 下载与安装 wget for windows 下载链接:https://eternallybored.org/misc/wget/ 下载之后将压缩包内的wget.exe文件解压到下面的路径(注意所下载文件与个人电脑匹配(32bit或64bit)) C:\Windows\Sys…

case when 多条件_3年前的设计如今被iPhone强推 PITAKA磁吸生态设计的前瞻性到底有多可怕?...

随着iPhone12/Pro的陆续出货,很多人已经上手并在实际的生活和工作场景下体验过iPhone12。其中iPhone12系列的全新卖点MagSafe技术备受关注,其极为出色的磁性机制可实现全新的配件生态系统,为配件制造商开启了一个全新的细分市场。新技术的诞生必然带来新一波的设计趋势,配件制造…