掌握激活函数(一):深度学习的成功之源

文章目录

  • 引言
  • 基本概念
  • 常用激活函数举例
    • Sigmoid激活函数
      • 公式
      • Sigmoid函数的数学特性
      • 示例
        • 基于NumPy和PyTorch实现Sigmoid函数
        • 将Sigmoid函数应用于二分类任务
      • Sigmoid激活函数的局限性举例
    • ReLU激活函数
      • 公式
      • ReLU函数的数学特性
      • ReLU函数的特点
      • 示例
        • 基于NumPy和PyTorch实现ReLU函数
        • 搭建基于ReLU函数的卷积神经网络(CNN)
  • 结束语

引言

深度学习作为人工智能领域的一颗璀璨之星,其背后的神经网络模型是无数智能应用的基石。而在这些神经网络中,激活函数担任了不可或缺的角色。它们如同魔法一般,为神经网络带来了非线性特性,使其能够学习和模拟复杂的现实世界模式。没有激活函数,深度学习模型充其量只是一堆线性回归的堆叠。本文将带您逐渐深入掌握激活函数的原理、类型以及在深度学习中的应用,让您真正领略这背后的“魔法”之源。


基本概念

激活函数,也称为非线性激活函数,是神经网络中每一层的输出函数。在神经网络的构建中,激活函数发挥着至关重要的作用。它不仅赋予了神经元非线性特性,使得神经网络能够学习和模拟复杂的、非线性的数据模式,更是神经网络表达能力的核心驱动力。没有激活函数,神经网络将仅能执行线性的计算,极大地限制了其应用范围和表达能力。


常用激活函数举例

Sigmoid激活函数

Sigmoid函数是一种非常常用的激活函数,它可以将任何输入值映射到0到1之间。这个特性使得Sigmoid函数在二分类问题中特别受欢迎,因为输出可以被解释为属于某一类的概率

公式

Sigmoid函数的数学特性

特性描述
非线性Sigmoid函数可以将输入映射到0-1之间的任意值,允许神经网络学习和模拟复杂的非线性模式。
饱和性当输入值远离0时,Sigmoid函数的输出会非常接近0或1,这种现象称为饱和。
可微分性Sigmoid函数是连续且可微的,这意味着基于梯度的优化算法(如反向传播)能够有效地用于训练神经网络。

示例

基于NumPy和PyTorch实现Sigmoid函数
# 基于NumPy实现Sigmoid函数
import numpy as npdef sigmoid(x):# 将输入值转换为浮点数x = np.float32(x)# 计算sigmoid值return 1 / (1 + np.exp(-x))# 基于PyTorch实现Sigmoid函数(使用PyTorch的内置函数torch.sigmoid())
import torch  # 创建一个张量  
x = torch.tensor([-1.0, 0.0, 1.0])  # 应用sigmoid函数  
y = torch.sigmoid(x)  print(y)# 基于PyTorch实现Sigmoid函数(手动实现)
import torch  def sigmoid(x):  return 1 / (1 + torch.exp(-x))# 创建一个张量  
x = torch.tensor([-1.0, 0.0, 1.0])# 应用sigmoid函数  
y = sigmoid(x)  
将Sigmoid函数应用于二分类任务
import torch  
import torch.nn as nn  
import torchvision.transforms as transforms  
import torchvision.datasets as datasets  # 定义超参数  
input_size = 784       # 输入图像的维度(28*28)  
hidden_size = 100       # 隐藏层的大小  
num_epochs = 10           # 训练周期数  
batch_size = 100           # 批处理大小  
learning_rate = 0.001       # 学习率  # 加载数据集并进行预处理  
transform = ... # 待定
train_dataset = ... # 待定
test_dataset = ... # 待定
train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=batch_size, shuffle=True)  
test_loader = torch.utils.data.DataLoader(test_dataset, batch_size=batch_size, shuffle=False)  # 定义模型结构  
class NeuralNetwork(nn.Module):  def __init__(self, input_size, hidden_size):  super(NeuralNetwork, self).__init__()  self.fc1 = nn.Linear(input_size, hidden_size)   self.relu = nn.ReLU()  self.fc2 = nn.Linear(hidden_size, 1)    self.sigmoid = nn.Sigmoid()  # 添加Sigmoid激活函数  def forward(self, x):  out = self.fc1(x)  out = self.relu(out)  out = self.fc2(out)  out = self.sigmoid(out)  # 在输出层使用Sigmoid激活函数  return out  # 实例化模型、损失函数和优化器  
model = NeuralNetwork(input_size, hidden_size)  
criterion = ... # 待定
optimizer = torch.optim.Adam(model.parameters(), lr=learning_rate)  # 使用Adam优化器  # 训练模型  
for epoch in range(num_epochs):  for i, (images, labels) in enumerate(train_loader):  # 遍历每个批次的数据  # 将图像张量转换为2D张量(矩阵)形式,并作为模型的输入  inputs = images.view(-1, input_size)  labels = labels.long()  # 将标签转换为长整数型张量  # 前向传播,计算输出结果  outputs = model(inputs)  loss = criterion(outputs, labels)  # 计算损失值  # 反向传播,更新权重参数  optimizer.zero_grad()  # 清空梯度缓存,以便计算新的梯度值  loss.backward()  # 计算梯度值并累积在模型参数上  optimizer.step()  # 更新模型参数  

Sigmoid激活函数的局限性举例

Sigmoid函数在深度学习模型中作为激活函数使用,其局限性主要表现在以下几个方面:

  1. 梯度消失问题:当输入值非常大或非常小时,Sigmoid函数的导数趋近于0。在深度神经网络中,误差反向传播时,梯度会逐层乘以激活函数的导数。当层数较深时,梯度的连乘可能导致梯度变得非常小,甚至接近于0,使得参数无法有效更新,这就是所谓的梯度消失问题
  2. 输出非0均值:Sigmoid函数的输出值恒大于0,不是0均值的。这会导致后层的神经元的输入是非0均值的信号,对梯度产生影响,进而影响网络的收敛速度(参考链接)。
  3. 容易饱和:Sigmoid函数在输入值较大或较小时容易进入饱和区,此时函数的输出对输入的变化不敏感,可能导致模型训练困难。

ReLU激活函数

和Sigmoid函数一样,ReLU(Rectified Linear Unit)函数也是非常常用的激活函数。它将负值映射为0,对于正值则直接输出其本身。

公式

ReLU函数的数学特性

特性描述
简单性ReLU函数仅需比较输入值和0的大小来确定输出值,计算效率高。
非线性ReLU函数实际上是非线性的,能够引入非线性因素,增强模型的表达能力。
激活稀疏性当输入值小于0时,ReLU函数的输出为0,只激活输入中的一部分神经元,增强模型的泛化能力和鲁棒性。
缓解梯度消失问题与传统的激活函数(如Sigmoid)相比,ReLU有助于缓解梯度消失问题,因为它的梯度在正区间为1,有助于更好地传播梯度。

ReLU函数的特点

  1. 线性与非线性:ReLU函数在输入值大于0时表现为线性函数,即f(x)=x,这有助于提高计算速度。而在输入值小于或等于0时,ReLU函数表现为非线性,即输出值为0。这种线性与非线性的结合使得ReLU函数在深度学习中具有很好的性能。

  2. 简单高效:ReLU函数的计算过程非常简单,只需要一次比较操作和一次赋值操作,因此计算速度非常快。这使得ReLU函数在训练深度神经网络时非常高效,可以显著加速模型的收敛速度。

  3. 缓解梯度消失问题:与Sigmoid等激活函数相比,ReLU激活函数的梯度在反向传播过程中不会消失,有助于提高训练速度和模型的收敛效果。

  4. 神经元"死亡"问题:与Sigmoid函数类似,ReLU函数也可能导致某些神经元在训练过程中始终处于"死亡"状态(即输出值一直为0),这可能会影响模型的性能。为了解决这个问题,一些变体的ReLU激活函数也被开发出来,如Leaky ReLU和Parametric ReLU等。

示例

基于NumPy和PyTorch实现ReLU函数
# 基于NumPy实现ReLU函数
import numpy as np  def relu(x):  return np.maximum(0, x)# 基于PyTorch实现ReLU函数(使用PyTorch的内置函数F.relu())
import torch.nn.functional as F# 创建一个张量  
x = torch.tensor([-1.0, 0.0, 1.0])  # 应用sigmoid函数  
y = F.relu(x)print(y)
搭建基于ReLU函数的卷积神经网络(CNN)
import torch  
import torch.nn as nn  # 定义一个简单的卷积神经网络  
class SimpleCNN(nn.Module):  def __init__(self):  super(SimpleCNN, self).__init__()  # 第一个卷积层,使用32个3x3的卷积核,输入通道数为1,输出通道数为32,ReLU激活函数  self.conv1 = nn.Conv2d(1, 32, 3, padding=1)  # 第二个卷积层,使用64个3x3的卷积核,输入通道数为32,输出通道数为64,ReLU激活函数  self.conv2 = nn.Conv2d(32, 64, 3, padding=1)  # 全连接层,输入节点数为64*7*7(假设输入图像大小为28x28),输出节点数为10(假设有10个类别)  self.fc = nn.Linear(64 * 7 * 7, 10)  # 输出层,全连接层的输出作为输入,输出节点数为10,使用softmax激活函数  self.out = nn.LogSoftmax(dim=1)  def forward(self, x):  # 通过第一个卷积层和ReLU激活函数  x = self.conv1(x)  x = nn.functional.relu(x)  # 通过第二个卷积层和ReLU激活函数  x = self.conv2(x)  x = nn.functional.relu(x)  # 将卷积层的输出展平,作为全连接层的输入  x = x.view(x.size(0), -1)  # 通过全连接层和softmax激活函数  x = self.fc(x)  x = self.out(x)  return x

在这个示例中:

  • 我们定义了一个名为SimpleCNN的类,继承自nn.Module。这是PyTorch中定义神经网络的标准方式。
  • __init__方法中,我们定义了网络中的各个层。首先有两个卷积层,每个卷积层后都使用了ReLU激活函数。然后是一个全连接层,最后是一个输出层。
  • forward方法中,我们定义了数据在网络中的前向传播过程。数据首先通过两个卷积层和ReLU激活函数,然后被展平以便输入全连接层,最后通过全连接层和输出层。
  • 我们使用了nn.functional模块中的函数来应用ReLU激活函数(nn.functional.relu)和Softmax激活函数(nn.functional.log_softmax)。注意,ReLU激活函数的参数默认为0,因此不需要额外指定。

结束语

  • 亲爱的读者,感谢您花时间阅读我们的博客。我们非常重视您的反馈和意见,因此在这里鼓励您对我们的博客进行评论。
  • 您的建议和看法对我们来说非常重要,这有助于我们更好地了解您的需求,并提供更高质量的内容和服务。
  • 无论您是喜欢我们的博客还是对其有任何疑问或建议,我们都非常期待您的留言。让我们一起互动,共同进步!谢谢您的支持和参与!
  • 我会坚持不懈地创作,并持续优化博文质量,为您提供更好的阅读体验。
  • 谢谢您的阅读!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/582144.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C++第1关:HelloWorld文件

任务描述 题目描述:向文件in.txt中写入字符串HelloWorld。 相关知识(略) 编程要求 根据提示,在右侧编辑器Begin-End处补充代码,完成本关要求。 测试说明 平台会对你编写的代码进行测试,若与预期输出一致&#xf…

【Java集合类不安全示例】

文章目录 一、List二、Set三、Map 提示:以下是本篇文章正文内容,下面案例可供参考 一、List 代码如下(示例): public class ZZZZZZZZZZ {public static void main(String[] args) {// ArrList 非线程安全的集合List&l…

软件测试/测试开发丨学习笔记之Python控制流-分支、循环

分支判断 什么是分支判断 一条一条语句顺序执行叫做顺序结构分支结构就是在某个判断条件后,选择一条分支去执行 1. IF if condition_1:statement_block_1 elif condition_2:statement_block_2 else:statement_block_32. if 嵌套 在嵌套 if 语句中,可…

文件过大放不了U盘?三个方法非常简单~

文件过大放不了U盘我们可以从文件过大这个角度来解决一下这个问题,可以借助一些工具把文件压缩后,体积变小后,再放入U盘,使得u盘得到高效的利用,下面是推荐的一些好用的软件。 一、嗨格式压缩大师 是一款可以压缩多种…

数据结构学习 Leetcode474 一和零

关键词:动态规划 01背包 一个套路: 01背包:空间优化之后dp【target1】,遍历的时候要逆序遍历完全背包:空间优化之后dp【target1】,遍历的时候要正序遍历 目录 题目: 思路: 复杂…

BloombergGPT—金融领域大模型

文章目录 背景BloombergGPT数据集金融领域数据集通用数据集分词 模型模型结构模型相关参数训练配置训练过程 模型评估评估任务分布模型对比金融领域评估通用领域评估 背景 GPT-3的发布证明了训练非常大的自回归语言模型(LLM)的强大优势。GPT-3有1750亿个…

【vtkWidgetRepresentation】第十六期 vtkContourRepresentation(四)

很高兴在雪易的CSDN遇见你 VTK技术爱好者 QQ:870202403 前言 本文分享vtkContourRepresentation关联的Widget---vtkContourWidget的源码解析,希望对各位小伙伴有所帮助! vtkAbstractWidget中本以为没有什么特别需要注意的地方,就没有分享出来。通常Widget中的操作或参数…

LeetCode 每日一题 Day 26 ||枚举

2735. 收集巧克力 给你一个长度为 n 、下标从 0 开始的整数数组 nums ,表示收集不同巧克力的成本。每个巧克力都对应一个不同的类型,最初,位于下标 i 的巧克力就对应第 i 个类型。 在一步操作中,你可以用成本 x 执行下述行为&am…

《深入理解C++11:C++11新特性解析与应用》笔记四

第四章 新手易学,老兵易用 4.1 右尖括号>的改进 在 C98 中,有一条需要程序员规避的规则:如果在实例化模板的时候出现了连续的两个右尖括号 >,那么它们之间需要一个空格来进行分隔,以避免发生编译时的错误。C98 会将>&g…

ubuntu22下安装minconda

bing 搜索 canda install 找到官方网站 https://docs.conda.io/projects/miniconda/en/latest/ 这里我们安装minconda。 官网有安装方法。 mkdir -p ~/miniconda3 wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh…

makefile快速入门(精简版)

WHAT Makefile 是一种文本文件,由一系列规则(Rules)组成,每个规则描述了一个或多个目标(Target)和相应的依赖关系(Dependencies),以及构建目标所需的命令(Com…

【K8S 二进制部署】部署单Master Kurbernetes集群

目录 一、基本架构和系统初始化 1、集群架构: 2、操作系统初始化配置: 2.1、关闭防火墙和安全机制: 2.2、关闭swap 2.3、根据规划设置主机名 2.4、三台主机全部互相映射 2.5、调整内核参数 3、时间同步(所有节点时间必须同…

Linux系列之不解压直接查看gzip压缩日志

Linux系列之不解压直接查看gzip压缩日志文件 在Linux服务器上,日志文件经常会用gzip格式进行压缩,以节省磁盘,对于这种压缩文件,需要解压?然后再用cat、grep这些命令进行查看?其实不需要,Linux…

Vue解决跨域问错误:has been blocked by CORS policy 后端跨域配置

解决跨域问题后端跨域配置代码: /*** 作者 hua* 描述 跨域配置*/ Configuration public class WebConfiguration implements WebMvcConfigurer {/*** 跨域配置对象* return CorsConfiguration对象*/private CorsConfiguration corsConfig() {CorsConfiguration cor…

考研结束,以下事情要抓紧做了!

Hello,大家好,我是 Sunday。 首先恭喜大家考研结束,也在这里祝各位考研的同学们可以 成功上岸 ✿✿ヽ(▽)ノ✿。 不过,考试结束并不是一个终点,而是另外一个新的起点。摆在大家面前的,还有很多新的问题&a…

百度CTO王海峰:飞桨开发者已达1070万

目录 写在前面 飞桨开发者已达1070万 文心一言用户规模破亿,日提问量快速增长 写在前面 “文心一言用户规模突破1亿。”12月28日,百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰在第十届WAVE SUMMIT深度学习开发者大会上宣布。会上&…

北航人机交互复习

人机交互 根据学过的内容,说明我们为什么要研究人机交互 人机交互需求推动:追求高效、安全、舒适、准确人机交互产业推动:相关产业发展,技术发展使幻想变为可能,譬如,苹果人机交互界面开发技术推动&#…

面试算法76:数组中第k大的数字

题目 请从一个乱序数组中找出第k大的数字。例如,数组[3,1,2,4,5,5,6]中第3大的数字是5。 分析 面试题59中介绍过一种基于最小堆的解法。这种解法的数据位于一个数据流中,不能一次…

【AIGC_MIDJOURNEY】专业提示词+配图分析

prompt : landscape of beautiful forest, lush foliage and water falls, crystal clear lake, fire flies, twinkling lights , rococo, art nouveau, --ar 16:9 这个提示词描述了一个美丽的森林景观,包括茂密的植被和瀑布,清澈见底的湖泊,…

干货!一文详解车间管理的五大基本方法

车间管理是制造型企业生产过程中的重要环节,它直接影响着企业的生产效率、成本控制、产品质量以及员工的士气与工作效率。优秀的车间管理不仅能够提升产品的质量和生产力,还能降低运营成本,从而在激烈的市场竞争中为企业赢得优势。 为了帮助…