深度学习常见激活函数：ReLU，sigmoid，Tanh，softmax，Leaky ReLU，PReLU，ELU整理集合，应用场景选择

文章目录

  • 1、ReLU 函数（隐藏层中是一个常用的默认选择）
    • 1.1 优点
    • 1.2 缺点
  • 2、sigmoid 函数
    • 2.1 优点
    • 2.2 缺点
  • 3、Tanh 函数
    • 3.1 优点
    • 3.2 缺点
  • 4、softmax 函数（多分类任务最后一层都会使用）
  • 5、Leaky ReLU 函数
    • 5.1 优点
    • 5.2 缺点
  • 6、PReLU 函数
  • 7、ELU 函数
  • 搭建神经网络，应该如何选择激活函数？
  • 总结

1、ReLU 函数（隐藏层中是一个常用的默认选择）

整流线性单元（Rectified linear unit，ReLU） 是现代神经网络中最常用的激活函数，大多数前馈神经网络默认使用的激活函数，它提供了一种非常简单的非线性变换。给定元素 x，ReLU 函数被定义为该元素与 0 的最大值。ReLU函数定义如下：
在这里插入图片描述
代码：

import numpy as np
import matplotlib.pyplot as plt# 定义ReLU函数
def relu(x):return np.maximum(0, x)# 生成一些输入值，这里可以设置成其他的数值
x_values = np.linspace(-5, 5, 100)# 计算对应的ReLU输出值
y_values = relu(x_values)# 绘制ReLU函数的图像
plt.plot(x_values, y_values, label='ReLU Function')
plt.title('ReLU Activation Function')
plt.xlabel('Input')
plt.ylabel('Output')
plt.axhline(0, color='black',linewidth=0.5)
plt.axvline(0, color='black',linewidth=0.5)
plt.grid(color = 'gray', linestyle = '--', linewidth = 0.5)
plt.legend()
plt.show()

生成图像如下：

在这里插入图片描述

1.1 优点

  • 在 x > 0 区域上，不会出现梯度饱和、梯度消失的问题，梯度永远是常量；
  • 它在训练神经网络时能够加速收敛，并且计算相对简单；
  • 计算复杂度低，不需要进行指数运算，只要一个阈值就可以得到激活值。

1.2 缺点

  • 容易出现 神经元坏死现象（dead relu problem），最直观的结果就是，输入到 relu 函数中的值如果存在负数，则最终经过 relu 之后变成 0，极端情况下是输入relu的所有值全都是负数，则relu activated之后的结果均为0。
    在这里插入图片描述

产生这种现象的两个原因：参数初始化不合理；learning rate 太高导致在训练过程中参数更新太大。

2、sigmoid 函数

sigmoid 函数又称 Logistic 函数，用于隐层神经元输出，它将范围 (-inf,inf) 中的任意输入压缩到区间 (0,1) 中的某个值，可以用来做二分类。sigmoid 函数定义如下：
在这里插入图片描述

代码：

# -*-coding:utf-8-*-
import numpy as np
import matplotlib.pyplot as plt# 定义Sigmoid函数
def sigmoid(x):return 1 / (1 + np.exp(-x))# 生成一些输入值
x_values = np.linspace(-7, 7, 200)# 计算对应的Sigmoid输出值
y_values = sigmoid(x_values)# 绘制Sigmoid函数的图像
plt.plot(x_values, y_values, label='Sigmoid Function')
plt.title('Sigmoid Activation Function')
plt.xlabel('Input')
plt.ylabel('Output')
plt.axhline(0, color='black',linewidth=0.5)
plt.axvline(0, color='black',linewidth=0.5)
plt.grid(color = 'gray', linestyle = '--', linewidth = 0.5)
plt.legend()
plt.show()

生成图像如下：

在这里插入图片描述

2.1 优点

  • sigmoid 函数的输出在 (0,1) 之间，输出范围有限，优化稳定，可以用作输出层；
  • 它是个连续函数，便于求导。

2.2 缺点

  • sigmoid 函数在变量取绝对值非常大的正值或负值时会出现饱和现象，意味着函数会变得很平，并且对输入的微小改变会变得不敏感。在反向传播时，当梯度接近于0，权重基本不会更新，很容易就会出现梯度消失的情况，从而无法完成深层网络的训练。
  • 计算复杂度高，因为 sigmoid 函数是指数形式。

3、Tanh 函数

Tanh 函数也称为双曲正切函数，取值范围为 (-1,1)。Tanh函数定义如下：
在这里插入图片描述

它的导数是：

在这里插入图片描述

代码：

import numpy as np
import matplotlib.pyplot as plt# 定义 tanh 函数
def tanh(x):return np.tanh(x)# 定义 tanh 函数的导数
def tanh_derivative(x):return 1 - np.tanh(x)**2# 生成一些输入值
x_values = np.linspace(-5, 5, 200)# 计算 tanh 函数的输出值和导数值
y_tanh = tanh(x_values)
y_derivative = tanh_derivative(x_values)# 绘制 tanh 函数及其导数在同一坐标轴中的图像
plt.plot(x_values, y_tanh, label='tanh Function')
plt.plot(x_values, y_derivative, label='tanh Derivative')
plt.title('tanh Function and its Derivative')
plt.xlabel('Input')
plt.ylabel('Output / Derivative')
plt.axhline(0, color='black', linewidth=0.5)
plt.axvline(0, color='black', linewidth=0.5)
plt.grid(color='gray', linestyle='--', linewidth=0.5)
plt.legend()
plt.show()

生成图像如下：
在这里插入图片描述
Tanh 函数图像及导数图像如上，当输入接近 0 时，Tanh 函数的导数接近最大值 1。可理解为 sigmoid 函数的变形，输入在任一方向上远离 0 点，导数越接近 0。
在这里插入图片描述

3.1 优点

  • 与 sigmoid 函数相同；

3.2 缺点

  • Tanh 仍然存在梯度饱和与 exp 计算复杂的问题。

4、softmax 函数（多分类任务最后一层都会使用）

使用 sigmoid 激活函数可以处理二分类任务，而在处理多分类问题的时，就需要使用 softmax 函数。它将一个实数向量（通常称为 logits）转换为概率分布。

输出规则： 将输入向量中的每个元素转换为一个位于 (0, 1) 之间的值，使得所有元素的和等于 1。这种转换后的好处是向量可以解释为一个概率分布，其中每个元素表示对应类别的概率。softmax 函数公式如下：

在这里插入图片描述
代码：

import numpy as np
import matplotlib.pyplot as plt# 定义 Softmax 函数
def softmax(x):exp_x = np.exp(x)return exp_x / np.sum(exp_x, axis=-1, keepdims=True)# 生成一些输入值
x_values = np.linspace(-5, 5, 200)# 计算对应的 Softmax 输出值
y_values = softmax(x_values)# 绘制 Softmax 函数的图像
plt.plot(x_values, y_values)
plt.title('Softmax Function')
plt.xlabel('Input')
plt.ylabel('Output Probability')
plt.axhline(0, color='black', linewidth=0.5)
plt.axvline(0, color='black', linewidth=0.5)
plt.grid(color='gray', linestyle='--', linewidth=0.5)
plt.show()

生成图像如下：

在这里插入图片描述

5、Leaky ReLU 函数

渗漏整流线性单元(Leaky ReLU)，为了彻底避免 dead ReLU 现象。用一个类似 0.01 的小值来初始化神经元，从而使得 ReLU 在负数区域更偏向于激活而不是死掉。这里的斜率都是确定的，当然，这里的参数是可以调整的。

代码：

import numpy as np
import matplotlib.pyplot as plt# 定义 Leaky ReLU 函数
def leaky_relu(x, alpha=0.01):return np.maximum(alpha * x, x)# 生成一些输入值
x_values = np.linspace(-5, 5, 200)# 计算对应的 Leaky ReLU 输出值
y_values = leaky_relu(x_values)# 绘制 Leaky ReLU 函数的图像
plt.plot(x_values, y_values, label='Leaky ReLU Function')
plt.title('Leaky ReLU Activation Function')
plt.xlabel('Input')
plt.ylabel('Output')
plt.axhline(0, color='black', linewidth=0.5)
plt.axvline(0, color='black', linewidth=0.5)
plt.grid(color='gray', linestyle='--', linewidth=0.5)
plt.legend()
plt.show()

生成图像如下：
在这里插入图片描述

5.1 优点

  • Leaky ReLU 在负数输入上有一个小的斜率，可以避免神经元“死亡”问题。

5.2 缺点

  • 尽管 Leaky ReLU 解决了某些问题，但并非总是最佳选择。在某些情况下，其他激活函数，如 Parametric ReLU 或者 Exponential Linear Unit (ELU)，可能表现更好。

6、PReLU 函数

参数整流线性单元(Parametric Rectified linear unit，PReLU)，用来解决 ReLU 带来的神经元坏死的问题。公式如下：

在这里插入图片描述
或者
在这里插入图片描述

其中，α 不是固定的超参数，通常初始化为一个小的正数，通过反向传播学习。它在输入小于零时允许一个小的斜率，而不是将其置零。
代码：

import numpy as np
import matplotlib.pyplot as plt# 定义 PReLU 函数
def prelu(x, alpha=0.01):return np.where(x > 0, x, alpha * x)# 生成一些输入值
x_values = np.linspace(-5, 5, 200)# 计算 PReLU 函数的输出值
y_values = prelu(x_values)# 绘制 PReLU 函数的图像
plt.plot(x_values, y_values, label='PReLU Function')
plt.title('PReLU Activation Function')
plt.xlabel('Input')
plt.ylabel('Output')
plt.axhline(0, color='black',linewidth=0.5)
plt.axvline(0, color='black',linewidth=0.5)
plt.grid(color='gray', linestyle='--', linewidth=0.5)
plt.legend()
plt.show()

生成图像如下：
在这里插入图片描述

区别：Leaky ReLU 和 PReLU 在解决激活函数中的问题（如死亡神经元）上有一些相似之处，但 PReLU 提供了更多的灵活性。

7、ELU 函数

指数线性单元(ELU)：具有 ReLU 的优势，没有 Dead ReLU 问题，输出均值接近0，实际上 PReLU 和 Leaky ReLU 都有这一优点。有负数饱和区域，从而对噪声有一些鲁棒性。可以看做是介于 ReLU 和 Leaky ReLU 之间的一个函数。当然，这个函数也需要计算 exp，从而计算量上更大一些。公式如下：
在这里插入图片描述

代码：

import numpy as np
import matplotlib.pyplot as plt# 定义 ELU 函数
def elu(x, alpha=1.0):return np.where(x > 0, x, alpha * (np.exp(x) - 1))# 生成一些输入值
x_values = np.linspace(-5, 5, 200)# 计算 ELU 函数的输出值
y_values = elu(x_values)# 绘制 ELU 函数的图像
plt.plot(x_values, y_values, label='ELU Function')
plt.title('ELU Activation Function')
plt.xlabel('Input')
plt.ylabel('Output')
plt.axhline(0, color='black', linewidth=0.5)
plt.axvline(0, color='black', linewidth=0.5)
plt.grid(color='gray', linestyle='--', linewidth=0.5)
plt.legend()
plt.show()

生成图像如下：
在这里插入图片描述

搭建神经网络，应该如何选择激活函数？

  • 如果搭建的神经网络的层数不多，优先考虑 sigmoid、tanh、relu 函数，这些都是可以的，如果搭建的网络层数较多，选择不当会造成梯度消失的问题，此时一般不宜选择sigmoid、tanh激活函数，最好选择 relu 激活函数。
  • 在二分类问题中，网络的最后一层适合使用sigmoid激活函数；而多分类任务中，网络的最后一层使用softmax激活函数。

总结

ReLU（Rectified Linear Unit）：
优势： 计算简单，且在许多情况下表现良好。它将负数部分置为零，有助于网络稀疏性，有利于反向传播。
注意事项： 对于一些极端情况，可能存在“死神经元”问题，即某些神经元在训练过程中永远不会被激活，导致无法更新权重。

Sigmoid 函数：
优势： 将输出限制在 (0, 1) 范围内，适用于二元分类问题。
注意事项： 容易发生梯度消失的问题，尤其是在深层网络中，导致梯度较小的权重无法有效地更新。

Tanh 函数：
优势： 类似于 Sigmoid，但输出范围在 (-1, 1)。对于中心化的数据，Tanh 可能更适合。
注意事项： 仍然存在梯度消失的问题。

Softmax 函数：
优势： 用于多类别分类问题，将输出转化为概率分布。
注意事项： 对于二元分类问题，通常使用 Sigmoid 而不是 Softmax。

Leaky ReLU：
优势： 在 ReLU 的基础上解决了死神经元问题，允许小于零的斜率。
注意事项： 仍然可能存在一些负数输出。

Parametric ReLU (PReLU)：
优势： 允许负数部分有可学习的参数。
注意事项： 需要更多的计算资源。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/163527.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

mongo DB -- aggregate分组查询后字段展示

mongo DB -- aggregate分组查询后字段展示

一、分组查询 在mongoDB中可以使用aggregate中的$group操作对集合中的文档进行分组,但是查询后的数据不显示其他字段,只显示分组字段 aggregate进行分组示例 db.collection.aggregate([{$group: {_id: "$field"}},]) 查询后显示 展开只显示两个字段 二、显示所有字段…
阅读更多...
APM工具skywalking部署

APM工具skywalking部署

一 整体架构 整个架构，分成上、下、左、右四部分： 上部分 Agent ：负责从应用中，收集链路信息，发送给 SkyWalking OAP 服务器。目前支持 SkyWalking、Zikpin、Jaeger 等提供的 Tracing 数据信息。而我们目前采用的是&…
阅读更多...
SQL基础理论篇（九）：存储过程

SQL基础理论篇（九）：存储过程

文章目录 简介存储过程的形式定义一个存储过程使用delimiter定义语句结束符存储过程中的三种参数类型流控制语句 存储过程的优缺点参考文献 简介 存储过程Stored Procedure，SQL中的另一个重要应用。 前面说的视图，只能勉强跟编程中的函数相似&#xff…
阅读更多...
小程序订阅消息

小程序订阅消息

wx.requestSubscribeMessage({tmplIds: [2IdqlWrqSbjAurzIuW8imeK-ftS8gbhYdZ0icdE],success(res) {console.log(res);// 处理用户授权结果},fail(err) {console.error(err);// 处理授权请求失败}});
阅读更多...
重磅！1区、60年老牌期刊被踢？共5本被剔除！11月SCIE/SSCI期刊目录更新！

重磅！1区、60年老牌期刊被踢？共5本被剔除！11月SCIE/SSCI期刊目录更新！

期刊动态：2023年11月SCI、SSCI期刊目录更新 2023年11月20日，科睿唯安更新了WOS期刊目录，继上次10月WOS期刊目录剔除7本SCIE&SSCI期刊之后，此次11月更新又有5本期刊发生变动，其中有4本SCIE期刊被剔除，1…
阅读更多...
微信运营神器：从群发到批量添加，让你的微信营销更轻松

微信运营神器：从群发到批量添加，让你的微信营销更轻松

在这个数字化时代，微信已经成为了我们生活中不可或缺的一部分。对于许多企业和个人来说，微信营销也是非常重要的一部分。但是，微信营销并不是一件容易的事情，需要花费大量的时间和精力。为了解决这个问题，今天我们将向…
阅读更多...
Linux本地MinIO存储服务远程调用上传文件

Linux本地MinIO存储服务远程调用上传文件

🔥博客主页： 小羊失眠啦. 🎥系列专栏：《C语言》 《数据结构》 《Linux》《Cpolar》 ❤️感谢大家点赞👍收藏⭐评论✍️ 前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，…
阅读更多...
淘宝返利APP草柴如何绑定淘宝账号？

淘宝返利APP草柴如何绑定淘宝账号？

草柴APP是一款淘宝、天猫、京东大额优惠券领取及购物返利省钱工具。通过草柴APP绑定淘宝账号，可领取淘宝大额内部隐藏优惠券，领取成功再购物可享券后价优惠，确认收货后可获得淘宝返利。 淘宝返利APP草柴如何绑定淘宝账号？ 1、手…
阅读更多...
Docker 快速搭建 Gitlab 服务

Docker 快速搭建 Gitlab 服务

linux环境： 使用 vim 编辑 hosts 文件： vim /etc/hosts按 I 进入编辑模式，在文件末行追加上虚拟机的 IP 和要设置的域名： 192.168.1.17 gitlab.kunwu.toplwindows环境： Windows 系统的 hosts 文件位于 C:\Windows\S…
阅读更多...
万宾科技智能井盖传感器效果，特点有哪些？

万宾科技智能井盖传感器效果，特点有哪些？

现在城市发展越来越好，对基础设施的改造越来越多，比如修路搭桥、整改生态等都是为民服务的好工程。平时走在路上我们享受着平整的路面，井然有序的交通也为我们带来很大的方便。但是一个又一个的井盖看起来无关紧要，实际上如果路上…
阅读更多...
投标文件的注意事项

投标文件的注意事项

一、检查标书 1.1有时候标书需要从别的地方复制黏贴文件，记住复制内容可以，但是不要复制“落款和时间”的格式，落款和时间的格式借鉴你的招标文件中给响应文件格式的落款和时间，切记！ 1.2检查标书是否有空页&#xf…
阅读更多...
数据科学导论——数据预处理

数据科学导论——数据预处理

第1关：引言-根深之树不怯风折，泉深之水不会涸竭 第2关：数据清理-查漏补缺 import numpy as np import pandas as pd import matplotlib.pyplot as plt def student():train = pd.read_csv(Task1/diabetes_null.csv, na_values=[#NAME?])train[Insulin] = train[Insulin].f…
阅读更多...
maxwell采集数据到kafka报错

maxwell采集数据到kafka报错

问题： 启动maxwell后出现数据更新后就出现以下报错。 13:29:14,727 ERROR MaxwellKafkaProducer - TimeoutException Position[BinlogPosition[binlog.000002:12215591], lastHeartbeat1700717043797] -- maxWellData: medical:consultation:[(id,212)] 13:29:14,7…
阅读更多...
Raptor安装

Raptor安装

Raptor官网:https://raptor.martincarlisle.com/ 进入官网后，下拉找到 Download RAPTOR，windows系统的选择Windows Users 下载完成后打开，选择“next” 修改一下路径，不要放到C: 继续next 完结撒花
阅读更多...
vue3的单组件的编写(三）【响应式 API 之 toRef 与 toRefs】

vue3的单组件的编写(三）【响应式 API 之 toRef 与 toRefs】

响应式 API 之 toRef 与 toRefs 前面讲了 ref 和 reactive 这两种响应式API ，为了方便开发者使用，vue3 还出了两个用来 reactive 转换为 ref 的API，分别是 toRef 和 toRefs 。 🌈什么是toRef 与 toRefs 这两个API看拼写能猜到&…
阅读更多...
css渐变详解（重复性线性渐变、径向渐变、重复性径向渐变的使用）

css渐变详解（重复性线性渐变、径向渐变、重复性径向渐变的使用）

目录 线性渐变 重复性线性渐变 径向渐变 重复性径向渐变的使用 线性渐变 线性渐变是向下、向上、向左、向右、对角方向的颜色渐变。 其语法格式为： background-image: linear-gradient(side-or-corner|angle, linear-color-stop); 参数说明如下： …
阅读更多...
Linux 安装显卡驱动

Linux 安装显卡驱动

Linux 安装显卡驱动
阅读更多...
scrapy框架流程

scrapy框架流程

1、Scrapy从Spider子类中提取start_url,然后构造为request请求对象 2、将request请求对象传递给爬虫中间件 3、将request请求对象传递给Scrapy引擎（核心代码） 4、将request请求对象传递给调度器（它负责对多个request安排，好比交…
阅读更多...
Python计算DICOM图像两点真实距离

Python计算DICOM图像两点真实距离

Python计算DICOM图像两点真实距离 对比测量结果图Code对比测量结果图 DICOM阅读器(小赛看看)测量结果 python测量结果 Code import numpy as np import cv2 import math import pydicom from pydicom.pixel_data_handlers.util import convert_color_spaceds = pydicom.dc…
阅读更多...
高通Camera HAL3: CamX、Chi-CDK要点

高通Camera HAL3: CamX、Chi-CDK要点

目录 一、概述 二、目录 三、CamX组件之前的关系 一、概述 高通CamX架构是高通实现的相机HAL3架构，被各OEM厂商广泛采用。 二、目录 代码位于vendor/qcom/proprietary下： camx：通用功能性接口的代码实现集合chi-cdk：可定制化…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023