数学建模 —— 人工神经网络(6)

目录

一、人工神经网络

1.1 人工神经网络结构

1.2 神经元/感知器

1.3 激活函数

1.3.1 sign函数

1.3.2 sigmoid函数(Logistic函数)

1.3.3 tanh双曲正切函数

1.3.4 ReLU函数

1.4 分类

二、BP人工神经网络

2.1 概述

2.2 处理过程

2.3 例题

2.4 Matlab实现

2.4.1 一个简单程序

2.4.2 newff——BP神经网络参数设置函数

2.4.3 train——BP神经网络训练函数


一、人工神经网络

1.1 人工神经网络结构

1.2 神经元/感知器

1.3 激活函数

1.3.1 sign函数

                     

1.3.2 sigmoid函数(Logistic函数)

                    

1.输出映射在 ( 0 1 ) 之间,输出 范围 有限
2.单调连续,易于求导
3.优化 效果 稳定
4.适合用于输出层感知器的激活函数

   

1.因为 sigmoid 函数具有的饱和 性,容易 产生梯度 消失,导致 训练 失效
2.输出 并不是以 0 中心

       可以看出,sigmoid函数的导数只有在x=0附近的时候有比较好的激活性,在正负饱和区的梯度都接近于0,造成梯度弥散,无法完成深层网络的训练。

1.3.3 tanh双曲正切函数

             

1.取值 范围为 [- 1 1]
2.在 特征相差明显时的应用效果 较好,在循环 训练过程中会不断扩大特征 效果
3.是 0 均值
4.应用中比 sigmoid 函数有更强的 应用性
5.同样 具有饱和 性,也 会造成梯度 消失

1.3.4 ReLU函数

                                        

                                 

1.用于 某些算法(如随机梯度下降) 时,收敛速度较快
2.当 x <0 时, ReLU 饱和;当 x > 0 时,则 不存在饱和 问题
3.在 x > 0 时保持梯度不 衰减,从而 缓解梯度消失 问题。但随着训练推进,部分 输入会落入硬饱和 区,导致 对应权重无法 更新,导致神经元死亡
4.输出 均值也大于 0
5.偏移 现象和神经元死亡会共同影响网络的收敛性。

1.4 分类

(1)拓扑结构划分

        两层、三层、多层神经网络

(2)结点间的连接方式划分

        层间连接、层内连接

(3)结点间的连接方向划分

        前馈式神经网络BP(Back Propagation)、反馈式神经网络(Feedback)

二、BP人工神经网络

2.1 概述

        BP人工神经网络一种按误差逆传播算法训练的多层前馈网络,是目前应用最广泛的神经网络模型之一

        BP网络能学习和存贮大量的输入-输出模式映射关系,而无需事前揭示描述这种映射关系的数学方程        

 

2.2 处理过程

(1)初始化网络权值和处理单元的阈值

        最简单的办法就是随机初始化,分别wijwjkwklbijbjkbkl赋随机值

(2)信号的前向传播,计算各处理单元的输出

        按照网络连接以及组合函数和激活函数关系公式,逐层计算隐藏层处理单元和输出层处理单元的输入和输出。

 (3)误差后向传播

对于训练数据xi,输出应为yl,与人工神经网络实际输出Ol存在差异

定义系统的总输出误差为系统输出层各处理单元输出误差的平均值

即各输出Ol与训练数据yl的差异),

输出与其期望值的均方差

 

 需要根据差异的情况对系统内各连接的权值进行调整,使二者相等或逼近 yl

(4)模型评估

(5)模型应用

2.3 例题

 

2.4 Matlab实现

2.4.1 一个简单程序

P=[0 1 2 3 4 5 6 7 8 9 10];          %输入
T=[0 1 2 3 4 3 2 1 2 3 4];           %期望输出
ff=newff(P,T,20);                    %建立一个BP网络,包含20个节点的隐含层
ff.trainParam.epochs=50;             %最大训练次数
ff=train(ff,P,T);                    %训练
Y1=sim(ff,P);                        %仿真
plot(P,T,'o-');

2.4.2 newff——BP神经网络参数设置函数

功能:构建一个BP神经网络

(1)net=newff(P, T, S)

P:  R*Q1矩阵,表示创建的神经网络中,输入层有R个神经元。每行对应一

     个神经元输入数据的典型值,实际应用中常取其最大最小值。

T:  SN*Q2矩阵,表示创建的网络有SN个输出层节点,每行是输出值的典型

     值。

S:  标量或向量,用于指定隐藏层神经元个数,若隐藏层多于一层,则写成

     行向量的形式。

(2)net=newff(P, T, S, TF, BTF, BLF, PF, IPF, OPF, DDF)

TFi:    i层节点的传递函数,包括线性传递函数purelin, 正切S型传递函数

           tansig,对数S型传递函数logsig,默认为“tansig”

BTF:  训练函数,用于网络权值和阈值的调整,默认为基于莱文贝格-马夸

           特共轭梯度法的训练函数trainlm,其他参数见下表所示;

一般在使用过程中设置这2个参数,后面5个参数采用系统默认参数。

BP神经网络训练函数

训练函数的意义

MATLAB中相应的函数

梯度下降法

traingd

动量反传的梯度下降法

traingdm

动态自适应学习率的梯度下降法

traingda

带动量动态自适应学习率的梯度下降法

traingdx

弹性梯度下降法

trainrp

量化共轭梯度法

traincg

莱文贝格-马夸特共轭梯度法

trainlm

弗莱彻-里夫斯共轭梯度法

traingf

波拉克-里比埃共轭梯度法

traingp

鲍威尔-比尔共轭梯度法

traingb

2.4.3 train——BP神经网络训练函数

功能:用训练函数训练BP神经网络

[net, tr]=train(NET, P, T)

NET:  待训练网络;

     P:  输入数据矩阵;

     T:  期望输出数据矩阵;

  net:  训练好的网络;

     tr:  训练过程记录。

BP神经网络训练函数

训练参数名称及默认值

属性

net.trainParam.epochs=100

最大训练次数

net.trainParam.goal=0

训练目标

net.trainParam.show=25

两次显示之间的训练次数(无显示时取NAN

net.trainParam.time=inf

最大训练时间(秒)

net.trainParam.max_fail=5

确认失败的最大次数

net.trainParam.min_grad=1e-6

最小性能梯度

net.trainParam.lr=0.2

学习速率

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/20576.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Android Studio插件开发 - Dora SDK的IDE插件

IDE插件开发简介 Android Studio是一种常用的集成开发环境&#xff08;IDE&#xff09;&#xff0c;用于开发Android应用程序。它提供了许多功能和工具&#xff0c;可以帮助开发人员更轻松地构建和调试Android应用程序。 如果你想开发Android Studio插件&#xff0c;以下是一…

移动系统编程-安装和运行Ionic应用程序 (Installation and Running Ionic Apps)

安装 (Installation) 假设您已经安装了Node.js和Angular&#xff0c;您可以使用以下命令安装Ionic&#xff1a; npm install -g ionic/cli您也可以不使用CLI安装Ionic&#xff0c;但如果您使用的是最新版本的Cordova&#xff0c;这样做可能会导致版本不匹配&#xff0c;不推荐…

基础技术-ELF系列(3)-libelf使用

成就更好的自己 本篇是基础技术系列中ELF相关技术的第三篇&#xff0c;也是计划中的最后一篇&#xff08;后续遇到问题可能还会有后续&#xff09;。本文将会以上一篇文章中提到的实际问题写一段Demo为例&#xff0c;着重讲解一下libelf库的基本使用。 没有看过之前文章的朋友…

【技术实操】银河高级服务器操作系统实例分享,数据库日志文件属主不对问题分析

1. 问题现象描述 2023 年 06 月 30 日在迁移数据库过程中&#xff0c;遇到数据库 crash 的缺陷&#xff0c;原因如下&#xff1a;在数据库启动时候生成的一组临时文件中&#xff0c;有 owner 为 root 的文件&#xff0c; 文件权限默认为 640&#xff0c; 当数据库需要使用的时…

「C系列」C 基本语法

文章目录 一、C 基本语法1. **程序结构**2. **数据类型**3. **变量声明**4. **运算符**6. **函数**7. **指针**8. **数组**9. **结构体和联合体**10. **预处理指令**11. **内存管理** 二、C 关键字1. 整体概览2. 具体关键字数据类型关键字控制流关键字其他关键字C11新增关键字总…

高速服务区智慧公厕管理系统引导屏UI界面展示

在现代社会&#xff0c;高速服务区作为人们出行途中的重要休憩场所&#xff0c;其各项设施的智能化水平也在不断提升。其中&#xff0c;智慧公厕管理系统的出现&#xff0c;为人们带来了更加便捷、舒适的如厕体验&#xff0c;而引导屏 UI 界面更是这一系统的重要展示窗口。 智慧…

mdk 编程入门:探索编程世界的神秘之旅

mdk 编程入门&#xff1a;探索编程世界的神秘之旅 在科技日新月异的今天&#xff0c;编程已成为一项不可或缺的技能。MDK编程作为其中的一员&#xff0c;以其独特的魅力和广泛的应用领域吸引着越来越多的初学者。那么&#xff0c;如何入门MDK编程呢&#xff1f;本文将带你走进…

Python | Leetcode Python题解之第126题单词接龙II

题目&#xff1a; 题解&#xff1a; class Solution:def findLadders(self, beginWord: str, endWord: str, wordList: List[str]) -> List[List[str]]:ans []if endWord not in wordList:return anssize len(beginWord)cur_word_set {beginWord}ws set(wordList)# 用于…

MySQL开发教程和具体应用案例

一、MySQL开发教程 初识数据库 定义:数据仓库,安装在操作系统之上,用于存储和管理数据。 分类:关系型数据库(如MySQL、Oracle、SQL Server)和非关系型数据库(如Redis、MongoDB)。 SQL:结构化查询语言,用于管理和操作关系型数据库。 操作数据库 创建、修改、删除…

【LeetCode 637】二叉树的层平均值

1. 题目 2. 分析 没啥好说的&#xff0c;这题很简单&#xff0c;希望能在5min内搞定。遇到问题要快速排查&#xff0c;不要怀疑编译器。 3. 代码 # Definition for a binary tree node. # class TreeNode: # def __init__(self, val0, leftNone, rightNone): # …

nacos配置发布流程代码示例

在 Nacos 中发布配置通常不需要直接编写代码&#xff0c;而是通过 Nacos 的管理界面或者使用 Nacos 提供的客户端 SDK 来完成。不过&#xff0c;如果想要通过编程的方式来发布配置&#xff0c;可以使用 Nacos 的客户端 SDK。 以下是一个使用 Java 和 Nacos 客户端 SDK 发布配置…

如何在 Linux VPS 上自定义你的 Bash 提示符

前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家。点击跳转到网站。 简介 在管理 Linux 服务器时,您将花费大量时间使用命令行。对于大多数人来说,这意味着与 Bash shell 一起花费大量时间。 虽然大多数发行版为用户和 root 提供了合理…

WPF Binding对象、数据校验、数据转换

在WinForm中&#xff0c;我们要想对控件赋值&#xff0c;需要在后台代码中拿到控件对象进行操作&#xff0c;这种赋值形式&#xff0c;从根本上是无法实现界面与逻辑分离的。 在WPF中&#xff0c;微软引入了Binding对象&#xff0c;通过Binding&#xff0c;我们可以直接将控件与…

CSS双飞翼布局

双飞翼布局是一种经典的CSS布局模式&#xff0c;主要用于实现左右两列固定宽度&#xff0c;中间列自适应的布局。 比如&#xff1a;写一个左中右布局占满全屏&#xff0c;其中左、右两块固定宽 200px&#xff0c;中间自适应&#xff0c;要求先加载中间块。 <!DOCTYPE html…

启动u盘恢复成普通u盘

DiskUtility&#xff08;磁盘工具&#xff09;恢复可启动U盘为普通存储设备。点击顶部菜单栏的"抹掉"按钮。 u盘启动盘怎么恢复成u盘

Re0:从零开始的C++游戏开发【中】

Re0:从零开始的C游戏开发 &#xff08;中&#xff09; 这是蒟蒻观看B站upVoidmatrix的课程从零开始的提瓦特幸存者的个人笔记【自用】 前言&#xff1a;采用适用于小白的easyx图形库。 第三集 提瓦特の幸存者 3.1 程序动画实现及角色移动 在开始之前&#xff0c;我们应该认…

如何使用Dora SDK完成Fragment流式切换和非流式切换

我想大家对Fragment都不陌生&#xff0c;它作为界面碎片被使用在Activity中&#xff0c;如果只是更换Activity中的一小部分界面&#xff0c;是没有必要再重新打开一个新的Activity的。有时&#xff0c;即使要更换完整的UI布局&#xff0c;也可以使用Fragment来切换界面。 何…

ArrayList和LinkedList对比,ArrayList使用注意事项

ArrayList和LinkedList对比&#xff0c;ArrayList使用注意事项 ArrayList 和 LinkedList 是 Java 中常用的两种集合类&#xff0c;它们在内部实现和性能上有一些重要的区别。 ArrayList: ArrayList 是基于动态数组实现的。它内部使用一个数组来存储元素&#xff0c;当数组空间…

Vue3实战笔记(59)—从零开始掌握Vue3插槽机制,进阶与提高

文章目录 前言一、具名插槽二、高级列表组件示例总结 前言 接上文&#xff0c;接下来看一点稍微复杂的&#xff1a;具名插槽 一、具名插槽 子组件 MyComponent.vue&#xff1a; <template><div><slot name"header"></slot><slot><…

点到线段的最短矩离 及垂足的计算

过P做MN的垂线&#xff0c;垂足为Q&#xff0c;若Q在线段MN以内(包括与点M点N重合)&#xff0c;则最短距离为垂线段长度&#xff0c;若垂足在MN以外&#xff0c;则最短距离为PM&#xff0c;PN中的较小者。&#xff08;若P与MN共线&#xff0c;垂线长度为零&#xff0c;同样适用…