Hebbian principle理解

http://blog.csdn.net/mao_xiao_feng/article/details/53350798

Hebbian principle

目前图像领域的深度学习,是使用更深的网络提升representation power,从而提高准确率,但是这会导致网络需要更新的参数爆炸式增长,导致两个严重的问题:
1、网络更容易过拟合,当数据集不全的时候,过拟合更容易发生,于是我们需要为网络feed大量的数据,但是制作样本集本身就是一件复杂的事情。
2、大量需要更新的参数就会导致需要大量的计算资源,而当下即使硬件快速发展,这样庞大的计算也是很昂贵的

解决以上问题的根本方法就是把全连接的网络变为稀疏连接(卷积层其实就是一个稀疏连接),当某个数据集的分布可以用一个稀疏网络表达的时候就可以通过分析某些激活值的相关性,将相关度高的神经元聚合,来获得一个稀疏的表示。
这种方法也呼应了Hebbian principle,一个很通俗的现象,先摇铃铛,之后给一只狗喂食,久而久之,狗听到铃铛就会口水连连。这也就是狗的“听到”铃铛的神经元与“控制”流口水的神经元之间的链接被加强了,而Hebbian principle的精确表达就是如果两个神经元常常同时产生动作电位,或者说同时激动(fire),这两个神经元之间的连接就会变强,反之则变弱(neurons that fire together, wire together)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/313134.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2019全球Microsoft 365开发者训练营(北京站)

Microsoft365介绍:Microsoft365不仅仅是Office 365,它还包括Windows 10操作系统,以及诸多企业级移动和安全应用。它是一套可用于从小型到集团化企业的办公、协作、沟通的企业信息化解决方案。在2017年7月11日举行的Inspire年度合作伙伴大会上…

caffe/common.cu error: function atomicadd has already been defined

http://blog.csdn.NET/houqiqi/article/details/46469981 1, 下载matio(http://sourceforge.NET/projects/matio/) 2,,安装 $ tar zxf matio-X.Y.Z.tar.gz $ cd matio-X.Y.Z $ ./configure $ make $ make check $ make install sudo ldconfig (如果不执行&#x…

微软备战 RPA 市场,Power Platform,Ready GO!

最大赌注就在刚刚,微软在 Microsoft Ignite 2019 大会上,首席执行官萨蒂亚纳德拉(Satya Nadella)宣布了 Microsoft Power Platform 新平台的发布,并且说到:在与Azure合作方面,微软365&#xff0…

matlab将struct和cell转换成matrices

http://blog.csdn.net/mushiheng/article/details/51525639 之前将数组或者矩阵保存为一个mat格式的文件,在进行load命令读取时: s1load(qiyipuzong.mat); 得到的s1是struct类型的数据,而我想要的是一个矩阵或者数组。 经过搜…

C# 8 新特性 - 只读struct成员

从C# 8开始,我们可以在struct的成员上使用readonly修饰符。 为struct的成员添加readonly修饰符就表示告诉编译器和开发者该成员不可以修改struct的状态。 看下面这个例子: 这里的ToString()方法不会修改Point这个struct的状态,所以我们可以在…

anaconda2/bin/../lib/libstdc++.so.6: version `GLIBCXX_3.4.20' not found Import No module named googl

http://blog.csdn.net/reallocing1/article/details/53066065 conda install libgcc No module named google protobuf conda install protobuf

.NET Core 3.0 中间件 Middleware

中间件官网文档解释:中间件是一种装配到应用管道以处理请求和响应的软件 每个中间件:选择是否将请求传递到管道中的下一个组件。可在管道中的下一个组件前后执行工作。使用 IApplicationBuilder 创建中间件管道ASP.NET Core 请求管道包含一系列请求委托&…

spyder 护眼背景

Tools->Preferences->Syntax coloring->SpyderDark IPython Console->Dark Background

重磅!微软发布 Visual Studio Online:Web 版 VS Code + 云开发环境

今天(北京时间 2019 年 11 月 4 日),在 Microsoft Ignite 2019 大会上,微软正式发布了 Visual Studio Online 公开预览版!概览Visual Studio Online 提供了由云服务支撑的开发环境。无论是一个长期项目,或是…

python打印数组中期望元素的位置

http://blog.csdn.net/goofysong/article/details/52160012 print np.where(arrthe number you want) import numpy as np np.set_printoptions(thresholdnp.inf)

Ubuntu Linux将支持所有树莓派设备

Canonical 近期公开了对 Raspberry Pi 4 的支持计划,并表示将支持所有 Raspberry Pi 设备。随着 Ubuntu Server 19.10 版本的发布,Canonical 宣布正式支持 Raspberry Pi 4,Raspberry Pi 4 性能强大,但成本较低,可以在边…

ubuntu分解压缩包

https://blog.gtwang.org/linux/split-large-tar-into-multiple-files-of-certain-size/ 使用 split 分割檔案 如果要將一個大檔案分割成許多個小檔案,可以使用 split 配合 -b 參數指定每個小檔案的大小,並指定輸出檔名的開頭名稱: split …

面试官:你连RESTful都不知道我怎么敢要你?

加个“星标★”,每天11.50,好文必达全文约4000字,预计阅读时间8分钟面试官:了解RESTful吗?01 前言回归正题,看过很多RESTful相关的文章总结,参齐不齐,结合工作中的使用,非…

Ubuntu 设置下载路径

http://blog.csdn.net/dslztx/article/details/46848373 在Ubuntu的中文环境中,默认的桌面文件夹是“$HOME/桌面”,默认的下载文件夹是“$HOME/下载”,其他文件夹也是类似的 包含中文的文件夹名,使得我们在使用Shell操作的时候&…

深入理解.NET Core的基元(二) - 共享框架

原文:Deep-dive into .NET Core primitives, part 2: the shared framework作者:Nate McMaster[1] 译文:深入理解.NET Core的基元(二) - 共享框架 作者:Lamond Lu本篇是之前翻译过的《深入理解.NET Core的基…

libjpeg: cannot open

实现caffe yolov2,直接用Makefile.config指令编译没问题, 用nsight编译却出了问题: 1. libjpeg.so.9: cannot open shared object file: No such file or directory 2. libpng16.so.16: No such file or directory 第一个问题&#xff0c…

net core WebApi——使用xUnits来实现单元测试

前言从开始敲代码到现在,不停地都是在喊着记得做测试,记得自测,测试人员打回来扣你money之类的,刚开始因为心疼钱(当然还是为了代码质量),就老老实实自己写完自己跑一遍,没有流程没有…

python利用opencv标注bounding box

http://blog.csdn.net/xieqiaokang/article/details/60780608 1. 函数 用 OpenCV 标注 bounding box 主要用到下面两个工具——cv2.rectangle() 和 cv2.putText()。用法如下: # cv2.rectangle() # 输入参数分别为图像、左上角坐标、右下角坐标、颜色数组、粗细 cv2…

ImportError: libicui18n.so.56 and/or libicui18n.so.58 when importing cv2

自己的解决办法: 我的报错是lib中缺少.so.56,于是我从 https://anaconda.org/conda-forge/icu/files 里面下载了放到lib中,python就能正常import cv2了。 再放上比较靠谱的其他人的办法: https://github.com/conda-forge/geo…

微软发布 SQL Server 2019 新版本

2019 年 11 月 4 日,微软在美国奥兰多举办的 Ignite 大会上发布了关系型数据库 SQL Server 的新版本。与之前版本相比,新版本的 SQL Server 2019 具备以下重要功能:在 Linux 和容器中运行的能力,连接大数据存储系统的 PolyBase 技…