人工神经网络——笔记摘抄1

一、人工神经网络简介

        人工神经网络(Artificial Neural Networks,ANN)基本组成成分是:输入(感知)器加权求和(信息汇聚)传递(信息传输)器输出(响应)器组成。

        决定神经网络信息处理性能的三大要素:激励函数学习算法拓扑结构

 二、人工神经网络研究热点

 ①激励函数——反应神经元输入累积和与输出之间的函数关系。

    激活函数的种类:线性恒等函数;阈值型激励函数(如阶跃函数);非线性激励函数(常指sigmod函数,即S形函数,分为单极性S形函数和双极性S形函数两种);分段线性函数概率型激励函数(利用一个随机函数来描述输出状态为1或0的概率,它重点描述状态的统计概率)。

  目前关于激活函数的研究有两个方向:1>复杂形势的函数用作激励函数;2>某线性无关或正交的函数系。前者有可调激励函数(Tunable Activation Function,TAF)神经元模型,具有可调节的权值、阈值(偏置)、激励函数族的参数,优点是学习速度快,网络结构简单,逼近性能好。后者用线性无关或者正交的函数组作为激励函数的神经网络被称为基函数神经网络,包括:高斯基函数神经网络,径向基函数神经网络,小波基函数神经网络,傅里叶基函数神经网络,正交多项式基函数,Legendre正交基钱箱神经网络,Laguerre正交基前向神经网络,Gegenbauer神经网络,Hermite前向神经网络,复指数Fourier神经元网络等神经网络模型。

②学习算法——为使神经网络执行某种任务,需使用有效的学习算法来调节神经元的互联权值或偏置,这就算神经网络的学习修正过程。

     1>有监督学习(有教师学习):采用纠错规则,在学习过程中需要提供与网络输入相对应的期望输出,并根据神经网络的实际输出与期望输出之间的误差信号对应地调整网络的连接权值以使该误差不断缩小,进而使得下一次学习完成后该神经网络的输出更接近期望结果,直至达到所要求的逼近精度(性能指标)。

     2>无监督学习(无教师学习):神经网络根据其特有的结构、外部输入信号特征和学习规则来调节自身参数或结构,其结果是使神经网络的输出能够反映输入的某种固有特性。一般认为这种学习模式中神经网络的学习评价标准隐含于网络内部。

    3>混合型学习算法

    4>强化学习算法

    5>预置型学习算法

☆☆权值调整算法:典型的就是最速梯度下降的误差回传算法,可搜索到最优连接权值,但迭代(收敛)时间长,易陷入局部极小值,学习精度不高,学习率难选取。

                                    基于矩阵逆和伪逆的思想尝试直接确定该类神经网络的最优权值,有点是在ms级的时间内直接计算确定该类神经网络的最优连接权值,学习精度也大大提高。

③拓扑结构

      1>前向网络:多采用层次型结构,以层的形式组织起来,各层顺序相联,网络中各神经元接收前一级的输入,并输出到下一级,神经元自身及神经元之间都不存在连接,即网络中没有反馈型物理连接。由输入层,隐藏层,输出层构成。隐层神经元不与外接发生直接的联系,它从网络内部接受输入信息,所产生的输出也只作用于该神经网络中的其他神经元。隐节点过少,学习达不到期望的收敛精度;相反,隐节点过多,网络学习性能得到加强。隐神经元数目的选取直接影响到神经网络拓扑结构和网络性能。

      2>反馈型网络:是一种从输出到输入或网络各层具有反馈连接的网络结构。在反馈网络中,输入信号决定网络的初始状态,经过一系列变换(转移)后网络逐渐稳定和接近平衡状态(稳态),稳态结果就作为反馈网络的最终结果而输出。

☆☆典型的钱箱神经网络是反向误差传播神经网络(Error Back Propagation Neural Network,BP神经网络),而典型的反馈神经网络是Hopfield类型神经网络。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/246715.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Recall(召回率) Precision(准确率) F-Measure E值 sensitivity(灵敏性) specificity(特异性)漏诊率 误诊率 ROC AUC

Berkeley Computer Vision page Performance Evaluation 机器学习之分类性能度量指标 : ROC曲线、AUC值、正确率、召回率 True Positives, TP:预测为正样本,实际也为正样本的特征数 False Positives,FP:预测为正样本,实际为负…

人工神经网络——笔记摘抄2

一、模式识别系统的主要目标 模式识别系统的主要目标是在特征空间和解释空间之间找个一种映射关系。 二、模式识别系统的构成 ①数据获取:将对象属性转换为计算机可以接受的数值或者符号串集合。数值或者符号串组成的空间称为模式空间。 ②预处理:为…

防止过拟合以及解决过拟合

本文转载:http://blog.sina.com.cn/s/blog_53c47a2f0102vjyf.html 过拟合:为了得到一致假设而使假设变得过度复杂称为过拟合。“一个过拟合的模型试图连误差(噪音)都去解释(而实际上噪音又是不需要解释的)&…

关于协方差矩阵需要注意的一个事项

协方差矩阵是衡量样本的属性(即维度)之间的关系,而不是样本与样本之间的关系。 比如有100个样本,每个样本10个属性,那么计算得到的协方差矩阵一定是10*10的,而不是100*100的,这个一定要注意。 协方差矩阵主要是为了分…

多GPU运行Deep Learning 和 并行Deep Learning(待续)

本文论述了 Deep learning运行所需的硬件配置,多GPU运行Deep Learning,设置Deep Learning的数据并行和 模型并行。详情请参考下文 http://timdettmers.com/category/hardware/ http://blog.csdn.net/jiandanjinxin/article/details/74938468

牛人主页(主页有很多论文代码)【真的好强大】

转自:http://blog.sina.com.cn/s/blog_6833a4df01012bcf.html 牛人主页(主页有很多论文代码) Serge Belongie at UC San DiegoAntonio Torralba at MITAlexei Ffros at CMUCe Liu at Microsoft Research New EnglandVittorio Ferrari at Univ…

Linux的常用经典命令(持续更新)

找工作笔试面试那些事儿(16)—linux相关知识点(1) 找工作笔试面试那些事儿(17)—linux测试题 vim编辑器操作命令大全-绝对全 - CSDN博客 Linux进阶资源 Command line one-liners the-art-of-command-line Linux工具快速教程 快乐的 Linux 命令行 Linux Tutorial UNIX Tutoria…

[C语言]为什么要有include?——从Hello World说起

本文转自:http://mp.weixin.qq.com/s?__bizMzAwOTgzNzQyMw&mid433613487&idx1&sn803995d612faadce6e4418789a6a65a8&scene2&srcid0312ElIT9UmR0ZygPGHxDxs2&fromtimeline&isappinstalled0#wechat_redirect 大家都会写的Hello World程序…

【caffe-Windows】cifar实例编译之model的使用

本文讲解如何对网上下载的一个图片利用训练好的cifar模型进行分类 第一步 上一篇文章训练好以后会得到两个文件 从网上查阅资料解释来看,第一个caffemodel是训练完毕得到的模型参数文件,第二个solverstate是训练中断以后,可以用此文件从中断…

Python 命令汇总

python 库windows安装 兵种:python程序员。 等级:二级。 攻击:较高。 防御:普通。 价格:低。 天赋:胶水,我方有c程序员时,速度可达到c程序员的80%。 天赋:成熟&…

spectral hashing--谱哈希源码解析

论文里面看到了谱哈希用来找子集的用处,不管有没有用,先转再说 原文地址:http://blog.sina.com.cn/s/blog_67914f290101d2xp.html 最近看了有关谱哈希的一些东西,记录一下备忘。理解十分粗浅,敬请各位大牛指导。 一、…

【PTVS+Theano+CPU/GPU】在windows下使用VS安装theano深度学习工具

唉。好不容易折腾完毕caffe,突然发现caffe比较适合搭建卷积神经网络,而对于DBN和LSTM的搭建好像比较麻烦,相关教程没有找到,手头上又有一个theano的代码想调试看看,所以入坑了。 准备工具: VS2013:链接&a…

人工神经网络——【BP】反向传播算法证明

第一步:前向传播 【注】此BP算法的证明仅限sigmoid激活函数情况。本博文讲道理是没错的,毕竟最后还利用代码还核对了一次理论证明结果。 关于更为严谨的BP证明,即严格通过上下标证明BP的博客请戳这里 简单的三层网络结构如下 参数定义&…

参数模型和非参数模型的区别

原文地址:http://blog.csdn.net/gao1440156051/article/details/44003051 参数与非参数模型  用代数方程、微分方程、微分方程组以及传递函数等描述的模型都是参数模型。建立参数模型就在于确定已知模型结构中的各个参数。通过理论分析总是得出参数模型。非参数模…

【matlab函数】——str2func函数的使用

官方点的叫法,在网上被称为函数句柄 用途在于,比如你定义了两个函数:strupper()用于寻找字符串的大写字母数目;strlower()用于寻找字符串的小写字母数目 现在使用str在这里面调换使用如下: funcstr;%统一前缀 myfuncstr2func(fu…

什么是NP完全问题?

本文转自:http://blog.csdn.net/xueyong4712816/article/details/6509592 NP完全问题,是世界七大数学难题之一,排在百万美元大奖的首位,够诱惑力吧!咋不求得奖只需要了解了解它是什么就可以了。 什么是NP完全问题,NPN…

【caffe-Windows】微软官方caffe之 matlab接口配置

前言 按照微软的官方地址配置可能会出现一个问题caffe_.mexw64找不到引用模块问题,或者在matlab里面压根找不到caffe_这个函数,下面会提到这两个问题。还是按照步骤来吧 【PS1】有GPU同样按照下述步骤,进行即可 【PS2】文章在matlab2013a、…

【混淆矩阵】matlab画混淆矩阵

主要借鉴此博客代码:http://blog.csdn.net/sherry_gp/article/details/50560003 但是这个博主的代码达不到我想要的效果,所以修改了一下 我想要实现的效果是:给定一列的预测标签,以及这一列标签的哪一部分理应属于哪一部分标签。…

【caffe-Windows】mnist实例编译之model的生成

其实这个和cifar的实例基本相同,只不过数据转换的方法不一样 【说明,此博客按照我自己的路径设置的相关操作,读者如果自行选择其他路径,记得在bat和prototxt等文件修改路径】 第一步 下载数据集THE MNIST DATABASE of handwrit…

吉布斯采样——原理及matlab实现

原文来自:https://victorfang.wordpress.com/2014/04/29/mcmc-the-gibbs-sampler-simple-example-w-matlab-code/ 【注】评论区有同学指出译文理论编码有误,请参考更官方的文献,个人当时仅验证过红色字体部分理论与维基百科中二位随机变量吉…