【激活函数--下】非线性函数与ReLU函数

文章目录

      • 一、非线性函数在神经网络中的重要性
      • 二、ReLU函数介绍及其实现
        • 2.1 ReLU函数概述
        • 2.2 ReLU函数的Python实现及可视化

一、非线性函数在神经网络中的重要性

在神经网络中,激活函数的选择对于网络的性能和能力至关重要。阶跃函数和Sigmoid函数除了是激活函数的具体实例外,它们还有一个共同的特性——非线性。这两种函数虽然在形式上有所不同,但都不是线性的,这使得它们在处理复杂问题时非常有用。

非线性与线性函数的区别

  • 线性函数:形式上可以表示为 h ( x ) = c x h(x) = cx h(x)=cx(其中 c c c 是常数),图形是一条直线。线性函数简单且易于计算,但它在功能上有限。
  • 非线性函数:不呈直线形态,可以是曲线或折线等。非线性函数能够处理更复杂的数据模式,是神经网络设计中不可或缺的。

神经网络为何需要非线性激活函数

在神经网络中使用非线性激活函数至关重要,原因包括:

  1. 层叠效应
    • 如果使用线性函数作为激活函数,无论网络有多少层,最终输出都是输入的线性组合。实际上,多层线性网络可以被等效为一个没有隐藏层的网络。
    • 例如,如果激活函数是线性的 h ( x ) = c x h(x) = cx h(x)=cx,那么三层网络中的操作 y ( x ) = h ( h ( h ( x ) ) ) y(x) = h(h(h(x))) y(x)=h(h(h(x))) 等同于 y ( x ) = c 3 x y(x) = c^3x y(x)=c3x。这意味着多层的效果可以被单一变换替代,从而无法利用多层结构的优势。
  2. 表达能力
    • 非线性函数使得神经网络可以学习和模拟任何形式的复杂函数,这是理解深层网络能成功解决各种难题的关键。
    • 线性函数由于其形式上的限制,不能模拟数据中的复杂模式和关系。

考虑一个使用线性激活函数的简单三层神经网络,其操作可以简化为一次线性变换。这表明,增加层数(即使是使用线性激活函数)并没有增加网络对数据的解释能力或学习能力。相反,非线性激活函数通过每一层的变换使得网络能逐层构建越来越复杂的数据表示和功能分解。

因此,在设计神经网络时,选择合适的非线性激活函数是至关重要的,它决定了网络能处理的复杂性和灵活性。常用的非线性激活函数包括Sigmoid、ReLU及其变种等,它们各有优势和应用场景,使得神经网络能在多种任务中表现出色。

二、ReLU函数介绍及其实现

2.1 ReLU函数概述

ReLU(修正线性单元)函数是神经网络中广泛使用的激活函数之一,尤其是在深度学习模型中。相较于早期常用的Sigmoid函数,ReLU因其简单性和在训练深层网络时表现出的效率而受到青睐。ReLU函数的定义如下:
h ( x ) = { x if  x > 0 0 if  x ≤ 0 h(x) = \begin{cases} x & \text{if } x > 0 \\ 0 & \text{if } x \leq 0 \end{cases} h(x)={x0if x>0if x0
ReLU函数的特点

  • 非线性:尽管ReLU在正数部分是线性的,但整体上它是一个非线性函数,因为它在零点处引入了一个非线性变化(从0变到正值)。
  • 计算简单:ReLU函数只需判断输入是否大于0,这使得它在计算上比Sigmoid或tanh等传统激活函数要简单得多。
  • 缓解梯度消失问题:在正数区间,ReLU的导数是常数(1),这有助于缓解深度网络中的梯度消失问题。
2.2 ReLU函数的Python实现及可视化

在Python中,使用NumPy库可以非常容易地实现ReLU函数。这里我们使用np.maximum函数来实现,np.maximum用于比较两个数组并返回各元素的最大值:

import numpy as npdef relu(x):return np.maximum(0, x)

这种实现方法允许输入是一个数字、一个列表或一个NumPy数组,输出将是相同形状的数组,其中每个元素都是应用了ReLU函数的结果。

使用Matplotlib库,我们可以绘制ReLU函数的图形,以更好地理解其行为:

import matplotlib.pyplot as plt
import numpy as np# 定义ReLU函数
def relu(x):return np.maximum(0, x)# 生成数据
x = np.arange(-6, 7, 0.1)
y = relu(x)# 绘图
plt.plot(x, y)
plt.title("ReLU Function")
plt.xlabel("x")
plt.ylabel("h(x)")
plt.ylim(-1, 5)  # 设置y轴的范围
plt.show()

绘制出的图形清晰地展示了ReLU函数在 x = 0 x=0 x=0时的突变,这是由0转变到正值的关键特性。

在这里插入图片描述

ReLU由于其在正区间内保持恒定的梯度和在实际应用中的高效性,已成为许多深度学习模型的首选激活函数。然而,它也有缺点,例如在输入小于等于0时梯度为0,这可能导致某些神经元在训练过程中“死亡”,即不再对任何数据产生变化。尽管如此,ReLU仍是现代神经网络架构中不可或缺的组成部分。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/12081.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

数据可视化-课堂记录

week02 # 数据可视化的发展历史 作用 格式塔原则 # 数据可视化的流程# 数据分析 指标体系建设 确定一个行业指标体系实现报表(power bi python matplotlib seaborn pyecharts echarts) # 数据分析面试 技术:sqlexcelpythonpowerbispss …

JS 实现冒泡排序

冒泡排序原理: 升序冒泡:两次循环,相邻元素两两比较,如果前面的大于后面的,就交互位置; 降序冒泡:两次循环,相邻元素两两比较,如果前面的小于后面的,就交互…

stable-diffusion-webui配置

源码地址 https://github.com/AUTOMATIC1111/stable-diffusion-webui.git报错Fresh install fail to load AttributeError: NoneType object has no attribute _id pydantic降级 pip uninstall pydantic pip install pydantic1.10.11记得要把clip-vit-large-patch14放在opena…

业务逻辑攻击是什么,如何有效进行防护

想象一下:您的开发团队刚推出了一款令人惊叹的全新应用程序,它具有顶级的API安全性,通过客户端保护对其进行了强化,甚至还设置了针对机器人攻击的防御措施。你感到这款产品很有安全保障,自己的团队出色地完成了工作。 …

解决Java Web应用中下载文件无法打开的问题

在Java Web应用中,文件下载是一个常见的功能。但有时候,即使代码看起来正确,下载的文件却无法正确打开。 问题描述 假设我们有以下代码用于下载文件: response.addHeader("Content-Disposition", "attachment;fi…

服务器通的远程桌面连接不上,关于服务器通畅但远程桌面连接不上问题的专业分析

在日常的企业IT管理中,服务器远程桌面连接是一个重要的操作功能。然而,有时会出现服务器网络通畅,但远程桌面无法连接的情况。 问题分析 1. 防火墙或安全组设置问题:服务器的防火墙或安全组可能阻止了远程桌面连接的端口&#xf…

adobe安装“Error:SyntaxError:JSON Parse error:Unexpec

mac电脑安装Adobe时,会提示错误“Error:SyntaxError:JSON Parse error:Unexpected EOF”,这是怎么回事儿的,不管您是安装AI、PS、PR还是LR,如果也遇到相同的问题,可以参考一下方法解决: 「adobe安装提示错误…

Java RMI反序列化总结篇-01

1.java rmi反序列化 RMI 允许一个应用程序访问另外一个服务器或虚拟机上的对象,方法和服务,它使远程方法调用就像在本地调用一样简单。它为用户屏蔽了底层的网络传输细节,使用的时候只需适当处理异常即可。所以 RMI 是非常容易使用的&#x…

Kubernetes集群安装

Kubernetes集群安装 环境准备 192.168.1.53 k8s-master 192.168.1.52 k8s-node-1 192.168.1.51 k8s-node-2 设置三台机器的主机名: Master上执行: [rootlocalhost ~]# hostnamectl --static set-hostname k8s-masterNode1上执行: [ro…

vue3+vite项目部署服务器,选择非根目录访问

背景 vue3vite项目,需要部署服务器。 但是根目录已经部署了另外一个项目A了,这个时候要在部署另外一个项目B。 问题 比如你的地址是http://test.com 之前直接输入http://test.com即可访问A项目 如果B项目也这么干的话就冲突了 访问A:http…

哪款骨传导耳机最值得入手?精选5款顶尖配置的骨传导耳机,闭眼入也不踩雷!

作为一名有着多年工作经验的数码博主,我见证了无数因盲目追求新颖而引发的听力问题。在此,我必须郑重提醒大家,虽然市面上充斥着众多声称能提供卓越音质和佩戴舒适度的骨传导耳机品牌,但它们之间存在大量劣质产品,这类…

centos7安装zabbix-server

zabbixan-server安装 环境安装zabbix安装zabbix配置apachezabbix-UI前端配置修改zabbix为中文语言 环境 准备: centos7系统、mysql数据库/MariaDB数据库 mysql数据库可参照:https://blog.csdn.net/weixin_61367575/article/details/138774428?spm1001.…

算法-卡尔曼滤波之卡尔曼滤波的第二个方程:预测方程(状态外推方程)

在上一节中,使用了静态模型,我们推导出了卡尔曼滤波的状态更新方程,但是在实际情况下,系统都是动态,预测阶段,前后时刻的状态是改变的,此时我们引入预测方程,也叫状态外推方程&#…

企业为什么进行大数据迁移以及注意事项

在当今数字化时代,数据的迁移成为了企业优化其数据架构、提高数据处理能力、确保业务连续性和数据安全的关键步骤。企业可能出于多种原因,如成本效益、性能提升、系统升级、数据集中管理或云服务集成等,选择将数据从一个存储系统迁移到另一个…

Spring Boot 整合讯飞星火3.5通过接口Api接口实现聊天功能(首发)复制粘贴即可使用,后续更新WebSocket实现聊天功能

程序员必备网站&#xff1a; 天梦星服务平台 (tmxkj.top)https://tmxkj.top/#/ 1.pom.xml <dependency><groupId>com.alibaba</groupId><artifactId>fastjson</artifactId><version>1.2.72</version></dependency><depen…

html5关于WebSocket的一些特点与用例

WebSocket通信机制是一种在单个TCP连接上进行全双工通信的协议&#xff0c;它允许服务器主动向客户端推送数据&#xff0c;而无需等待客户端的请求。以下是WebSocket通信的主要机制&#xff1a; 握手协议&#xff1a;WebSocket通信的第一步是通过HTTP协议进行握手。当客户端发…

C++ QT设计模式:访问者模式

基本概念 访问者模式&#xff08;Visitor Pattern&#xff09;是一种行为型设计模式&#xff0c;它允许你在不改变被访问类的前提下&#xff0c;定义对其进行操作的新操作。 实现的模块有&#xff1a; ObjectStructure&#xff08;对象结构&#xff09;&#xff1a;用于存储…

轻松拿下指针(5)

文章目录 一、回调函数是什么二、qsort使用举例三、qsort函数的模拟实现 一、回调函数是什么 回调函数就是⼀个通过函数指针调⽤的函数。 如果你把函数的指针&#xff08;地址&#xff09;作为参数传递给另⼀个函数&#xff0c;当这个指针被⽤来调⽤其所指向的函数 时&#x…

计算模型的边界

https://github.com/libigl/libigl.git 这是几何计算库&#xff0c;可以计算出模型的边界 #define _CRT_SECURE_NO_WARNINGS#include <iostream>#include <igl/boundary_loop.h>#include <igl/list_to_matrix.h>int main(){std::vector<std::vector<…

肺部营养“救星”,让每次呼吸更自由

​#肺科营养#朗格力#班古营养#复合营养素#肺部营养# 正常的健康人,每天自由幸福的呼吸。但是对于肺病患者来说,特别是慢阻肺人群,每一次呼吸都可能是一场挑战,每一口气都显得弥足珍贵。 肺病患者号称沉默的“呼吸杀手”,它虽然沉默,但不代表它没能力,除了引起肺功能下降,氧气…