了解神经网络中的激活函数

一、激活函数的特征

  1. 非线性,激活函数必须是非线性函数。
  2. 可微性,训练网络模型时,基于梯度的模型最优化方法要求激活函数必须是可导的。
  3. 单调性,单调递增或单调递减,单调函数保证模型的简单。
  4. 隐藏层一般需要使用激活函数已引入非线性,输入层不需要。输出层如果是回归问题也是不需要的,如果是多分类问题,使用softmax函数将输出转化为概率分布,如果是二分类问题,可以使用sigmoid函数。

二、常见的激活函数

  1. sigmoid函数

    sigmoid激活函数: f ( x ) = 1 1 + e − x f(x)=\frac{1}{1+e^{-x}} f(x)=1+ex1,其导数为: f ′ ( x ) = f ( x ) ( 1 − f ( x ) ) f'(x)=f(x)(1-f(x)) f(x)=f(x)(1f(x)),导数的取值范围[0, 1/4],sigmoid在使用反向传播来训练神经网络时,会产生梯度消失的问题,另外sigmoid处理后的输出数据是一个非负值,在反向传播过程中会增加梯度的不稳定性。

  2. tanh函数

    tanh激活函数: f ( x ) = e x − e − x e x + e − x f(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}} f(x)=ex+exexex,其导数为: f ′ ( x ) = 1 − f ( x ) 2 f'(x)=1-f(x)^2 f(x)=1f(x)2,导数的取值范围为[0, 1],反向传播过程中衰减速度比sigmoid要慢,经过tanh激活函数处理后的输出均值约为0(这相当于做了归一化),所以tanh比sigmoid具有更稳定的梯度,但是依然无法避免梯度消失的问题。

  3. 近似生物神经元的激活函数

    如ReLU,softplus等,还有Leaky ReLU,ELU,Softmax等。

三、常见的神经网络模型

神经网络类型主要特点典型应用场景
前馈神经网络信息单向流动,无反馈循环;层级结构清晰;常用于分类和回归问题图像分类、文本分类、回归预测
反馈神经网络(RNN)信息可以在网络中循环传播,具有记忆能力;适用于序列数据自然语言处理(机器翻译、情感分析)、语音识别、时间序列预测
卷积神经网络(CNN)利用卷积核提取局部特征,适用于图像、视频等数据图像分类、目标检测、图像分割
循环神经网络变种(LSTM、GRU)改进RNN,解决了长期依赖问题,更好地处理长序列数据自然语言处理、语音识别
生成对抗网络(GAN)由生成器和判别器组成,通过对抗学习生成新的数据图像生成、数据增强
图神经网络(GNN)处理图结构数据,适用于社交网络、分子结构等社交网络分析、药物发现

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/58702.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Apache Dubbo (RPC框架)

本文参考官方文档:Apache Dubbo 1. Dubbo 简介与核心功能 Apache Dubbo 是一个高性能、轻量级的开源Java RPC框架,用于快速开发高性能的服务。它提供了服务的注册、发现、调用、监控等核心功能,以及负载均衡、流量控制、服务降级等高级功能。…

利用钉钉与金蝶云星空进行付款单自动化集成

钉钉数据集成到金蝶云星空:付款申请单下推生成付款单的技术实现 在企业日常运营中,数据的高效流转和准确处理是业务顺利进行的关键。本文将分享一个具体的系统对接集成案例:如何将钉钉平台上的付款申请单,通过轻易云数据集成平台…

前端八股文第七篇

61. React 中有对状态管理做进一步封装吗 在 React 中,除了可以使用原生的状态管理方式(即使用组件的 state 属性)外,还有一些第三方库对状态管理进行了进一步封装,以提供更强大和便捷的状态管理功能。其中最常见的是…

青少年编程能力等级测评CPA Python编程(一级)

青少年编程能力等级测评CPA Python编程(一级) (考试时间90分钟,满分100分) 一、单项选择题(共20题,每题3.5分,共70分) 下列语句的输出结果是( )。 print(35*2) A&a…

JavaScript语法基础(函数,对象,常用类Array,String,Math和Date)【超详细!!!新手入!!!】

一、函数 1、函数的定义 函数指的是一段可被重复调用的代码块。函数与变量不同,需要先定义再调用。 定义函数的语法格式为: function 函数名(参数1,参数2,...) { 语句; …

每日OJ题_牛客_NC6二叉树中的最大路径和_树形DP_C++_Java

目录 牛客_NC6二叉树中的最大路径和_树形DP 题目解析 C代码 Java代码 牛客_NC6二叉树中的最大路径和_树形DP 二叉树中的最大路径和_牛客题霸_牛客网 (nowcoder.com) 描述: 二叉树里面的路径被定义为:从该树的任意节点出发,经过父>子或者子>…

PG数据库 jsonb字段 模糊查询

背景: 项目由于多语言的设计,将字段设置成json字段类型,同时存储中文和英文 页面上通过输入框实现模糊的查询 一、表结构:name字段设置jsonb类型 二、表数据 3、Mybatis编写sql select pp.name ->>zh-CN as pmsProductNam…

啊手动阀示范点

1、阿发是否 2、撒阿斯顿发生 目录 1、阿发是否 2、撒阿斯顿发生

黑龙江某涝区泵闸站自动化、信息化改造项目案例

项目背景 黑龙江某地区紧邻松花江,雨季时降雨量增大,排水渠水位上涨,如果出现排涝不及时,水位过高时会漫入周边农田,引发洪涝灾害,对作物生长造成重大损害。为应对这一问题,自今年起&#xff0c…

奥数与C++小学四年级(第十八题 小球重量)

参考程序代码&#xff1a; #include <iostream> #include <vector>int main() {// 小球的重量std::vector<int> weights {1, 2, 3, 4, 5};// 用来存储可能的结果int a, b, c, d, e, x;// 穷举所有可能的 a, b, c, d, e 的组合for (int i 0; i < weight…

建筑行业知识库搭建:好处、方法与注意事项

在建筑行业&#xff0c;知识管理对于提升项目效率、降低成本、增强创新能力以及构建竞争优势具有至关重要的作用。搭建一个高效、系统的建筑行业知识库&#xff0c;不仅有助于实现知识的有效沉淀与便捷共享&#xff0c;还能促进知识在项目实践中的灵活应用&#xff0c;从而加速…

openCV基础-图像预处理Day26

图像预处理 ​ 在计算机视觉和图像处理领域&#xff0c;图像预处理是一个重要的步骤&#xff0c;它能够提高后续处理&#xff08;如特征提取、目标检测等&#xff09;的准确性和效率。OpenCV 提供了许多图像预处理的函数和方法&#xff0c;以下是一些常见的图像预处理操作&…

2.WebSocket进阶: 深入探究实时通信的最佳实践与优化技巧

系列目录 1.探索WebSocket&#xff1a;实时网络的心跳&#xff01; 序言 WebSocket作为Web实时通信的重要技术&#xff0c;广泛应用在需要快速响应的应用场景中&#xff0c;比如实时游戏、金融行情、在线聊天等。在基础理解上&#xff0c;我们知道WebSocket实现了客户端与服…

控制器一些不常用的的功能说明

1、IIC的特殊功能 1.1、IIC的10bit设备地址 10bit地址格式与7bit地址不同&#xff0c;分发送方向和接收方向。 1.1.1、发送方向 第一个字节的前7位是1111 0XX&#xff1a;XX是10bit地址的最高有效位的前两位 第一个字节的第8bit是读写位&#xff1a;决定传输方向 第二个字节…

git创建分支、删除分支、推送分支到远程等操作

git创建本地分支(不切换) git branch new-branch 切换到新的分支 git checkout new-branch git删除本地分支 git branch -d new-branch git branch -D new-branch(强制删除) 将本地分支推送到远程 git push origin new-branch 删除远程分支 git push origin --delete new-b…

ssm+vue657基于spring和vue开发的web新闻流媒体平台

博主介绍&#xff1a;专注于Java&#xff08;springboot ssm 等开发框架&#xff09; vue .net php phython node.js uniapp 微信小程序 等诸多技术领域和毕业项目实战、企业信息化系统建设&#xff0c;从业十五余年开发设计教学工作 ☆☆☆ 精彩专栏推荐订阅☆☆☆☆☆不…

[Web安全 网络安全]-学习视频分享汇总(持续更新中)

文章目录&#xff1a; 一&#xff1a;工具 Burp Suite 二&#xff1a;数据库 三&#xff1a;前端 1.HTMLCSSJS 2.PHP 四&#xff1a;全套视频 五&#xff1a;分散视频 1.SQL注入漏洞 2.文件漏洞 2.1 文件上传 2.2 文件包含 2.3 文件下载 3.XSS漏洞 4.CSRF漏洞 …

因特网的概述和三种交换方式

计算机网络 第一part 因特网概述 网络&#xff0c;互联网&#xff0c;因特网 网络&#xff08;Network&#xff09;由若干结点和连接这些结点的链路组成&#xff0c;如下图所示 多个网络通过路由器互连起来&#xff0c;形成互联网&#xff08;internet&#xff09;&#x…

Spring Boot 3项目创建与示例(Web+JPA)

以下是一个Spring Boot 3.3.4整合JPA的示例,它展示了如何在Spring Boot应用程序中使用JPA进行数据持久化。 版本与环境 Spring Boot 3.3.4数据库: MySQL 8.0.40, MySQL的安装使用可以参考: MySQL 8 下载与安装攻略JDK 17Maven 3.6项目创建 可以使用Spring Initializr 初始…

龙迅#LT8668EX显示器图像处理芯片 适用于HDMI1.4+VGA转4PORT LVDS,支持4K30HZ分辨率,可做OSD菜单亮度调节!

1. 一般说明 LT8668EX 是 Lontium 的第二代 LCD 控制器&#xff0c;基于 ClearEdge 技术&#xff0c;支持 VGA 接口和 HDMI 接口&#xff0c;符合 HDMI 1.4 规范。它可以支持带 HDMI 接口的双模 DP。为了向后兼容&#xff0c;该 LCD 控制器还包括一个高性能模拟接口&#xff0…