PyTorch学习笔记之激活函数篇(四)

4、 Leaky ReLU 函数

4.1 公式

Leaky ReLU函数的公式:

f ( x ) = { x , x > = 0 λ x , x < 0 , λ ∈ ( 0 , 1 ) f(x) =\begin{cases} x&,x>=0 \\ \lambda x&,x<0,\lambda \in(0,1) \end{cases} f(x)={xλx,x>=0,x<0,λ(0,1)
Leakly ReLU函数的导函数:

f ′ ( x ) = { 1 , x > = 0 λ , x < 0 , λ ∈ ( 0 , 1 ) f'(x) = \begin{cases} 1&,x>=0 \\ \lambda &,x<0,\lambda \in(0,1) \end{cases} f(x)={1λ,x>=0,x<0,λ(0,1)

4.2 对应的图像

在这里插入图片描述

4.3 生成对应的图像代码

import numpy as np
import matplotlib.pyplot as plt# 定义LeakyReLU函数
def leaky_relu(x, alpha=0.01):return np.where(x >= 0, x, alpha * x)# 定义LeakyReLU的导数函数
def leaky_relu_derivative(x, alpha=0.01):return np.where(x >= 0, 1, alpha)# 生成x值的范围
x = np.linspace(-10, 10, 100)# 计算LeakyReLU函数值
y_leaky_relu = leaky_relu(x)# 计算LeakyReLU导数值
y_leaky_relu_derivative = leaky_relu_derivative(x)# 绘制LeakyReLU函数图像
plt.figure(figsize=(10, 5))
plt.subplot(1, 2, 1)
plt.plot(x, y_leaky_relu, label='LeakyReLU')
plt.title('LeakyReLU Function')
plt.xlabel('x')
plt.ylabel('y')
plt.legend()# 绘制LeakyReLU导数图像
plt.subplot(1, 2, 2)
plt.plot(x, y_leaky_relu_derivative, label='LeakyReLU Derivative')
plt.title('LeakyReLU Derivative')
plt.xlabel('x')
plt.ylabel('dy/dx')
plt.legend()# 显示图像
plt.tight_layout()
plt.show()

4.4 优点与不足

Leaky ReLU函数(ReLU的改进):
1、与ReLU函数相比,把x的非常小的线性分量给予负输入(0.01x)来调整负值的零梯度问题;有助于扩大 ReLU 函数的范围,通常𝜆λ的值为 0.01 左右;函数范围是负无穷到正无穷。
2、LeakyRelu激活函数通过在负半轴添加一个小的正斜率(使得负轴的信息不会全部丢失)来解决ReLU激活函数的“死区”问题,该斜率参数𝜆λ是手动设置的超参数,一般设置为0.01。通过这种方式,LeakyRelu激活函数可以确保模型训练过程中神经元的权重在输入小于0的情况下依然会得到更新。
3、不会出

4.5 Leaky ReLU 函数

在PyTorch中,torch.leaky_relu 函数是用于实现 Leaky ReLU 激活函数的。Leaky ReLU 是一种改进的 ReLU(Rectified Linear Unit)函数,它允许小的非零梯度当输入值为负时。这有助于解决ReLU在负值区域的神经元“死亡”问题。

torch.leaky_relu 的基本使用如下:

import torch# 创建一个张量
x = torch.tensor([-5.0, -3.0, 0.0, 2.0, 5.0])# 应用 Leaky ReLU 函数
y = torch.leaky_relu(x, negative_slope=0.01)print(y)

这里,negative_slope 参数控制负值区域的斜率。默认值是 0.01,这意味着当输入值小于零时,输出将是输入值乘以 0.01。对于非负输入值,Leaky ReLU 的行为类似于普通的 ReLU 函数,即输出就是输入值本身。

如果你想要在一个神经网络模型中使用 Leaky ReLU,你可以在定义模型时将其作为激活函数使用,例如:

import torch.nn as nnclass MyModel(nn.Module):def __init__(self):super(MyModel, self).__init__()self.fc1 = nn.Linear(10, 50)self.leaky_relu = nn.LeakyReLU(negative_slope=0.01)self.fc2 = nn.Linear(50, 1)def forward(self, x):x = self.fc1(x)x = self.leaky_relu(x)x = self.fc2(x)return xmodel = MyModel()

在这个例子中,nn.LeakyReLU 被用作 MyModel 模型中的一个层,它将应用于全连接层 self.fc1 的输出。在模型的前向传播过程中,数据会首先通过全连接层,然后经过 Leaky ReLU 激活函数,最后再通过另一个全连接层。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/753645.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

JavaScript做一个贪吃蛇小游戏,无需网络直接玩。

用JavaScript做一个贪吃蛇小游戏&#xff0c;无需网络 > 打开即可玩。 html代码&#xff1a; <!DOCTYPE html> <html lang"zh"> <head><meta charset"UTF-8"><title>Title</title><style>#game{width: 344p…

Mysql 死锁案例4-delete 相邻记录导致死锁

死锁复现 CREATE TABLE t (id int(11) NOT NULL,c int(11) DEFAULT NULL,d int(11) DEFAULT NULL,PRIMARY KEY (id),KEY c (c) ) ENGINEInnoDB DEFAULT CHARSETutf8;/*Data for the table t */insert into t(id,c,d) values (0,0,0),(5,5,5),(10,10,10),(15,15,15) 事务1事…

“先干后看”式循环

题目&#xff1a;计算 &#xff0c;直到最后一项小于 。 注意题目要求&#xff1a;计算到最后一项小于 。也就是这一项是要参与到计算中的&#xff0c;计算完这一项才能触发循环停止条件。 这种先运算后判断的情况很对do-while循环的胃口。 do就是做嘛&#xff0c;while就是…

代码随想录算法训练营第二十七天(二十六填休息) | 39. 组合总和、40、组合总和 II、131. 分割回文串

代码随想录算法训练营第二十七天&#xff08;二十六填休息&#xff09; | 39. 组合总和、40、组合总和 II、131. 分割回文串 39. 组合总和题目解法 40、组合总和 II题目解法 131. 分割回文串题目解法substr()用法 感悟 39. 组合总和 题目 解法 初始解法&#xff1a;出现重复组…

.NET高级面试指南专题十八【 外观模式模式介绍,提供了简化的接口,隐藏系统的复杂性】

介绍&#xff1a; 外观模式是一种结构设计模式&#xff0c;它提供了一个统一的接口&#xff0c;用于访问子系统中的一组接口。外观模式定义了一个高层接口&#xff0c;使得子系统更容易使用。 原理&#xff1a; 外观类&#xff08;Facade Class&#xff09;&#xff1a;提供了一…

可视化场景(5):生产监控,比摄像头好用多了。

hello&#xff0c;我是贝格前端工场&#xff0c;本期分享可视化大屏在生产监控场景的应用&#xff0c;如需要定制&#xff0c;可以与我们联络&#xff0c;开始了。 实时监控 可视化大屏可以实时展示生产线上的各种关键指标和数据&#xff0c;如生产速度、设备状态、产量、质量…

html密码访问单页自定义跳转页面源码

内容目录 一、详细介绍二、效果展示1.部分代码2.效果图展示 三、学习资料下载 一、详细介绍 密码访问单页自定义跳转页面&#xff0c;修改了的密码访问单页&#xff0c;添加了js自定义密码跳转页面。需要正确输入密码才能跳转目标网址。 二、效果展示 1.部分代码 代码如下&…

亚马逊、速卖通如何实现批量注册自动养号?

亚马逊和速卖通作为全球领先的跨境电商平台&#xff0c;其账号对于卖家而言具有重要的商业价值。随着跨境电商行业的蓬勃发展&#xff0c;越来越多的人对亚马逊、速卖通账号的需求日益增长&#xff0c;这也催生了批量注册和自动养号的需求。 跨境智星作为一款集成了批量注册账号…

每日五道java面试题之mybatis篇(二)

目录&#xff1a; 第一题. Mybatis优缺点第二题. Hibernate 和 MyBatis 的区别?第三题. MyBatis编程步骤是什么样的&#xff1f;第四题. 请说说MyBatis的工作原理第五题. MyBatis的功能架构是怎样的? 第一题. Mybatis优缺点 优点 与传统的数据库访问技术相比&#xff0c;ORM…

Leetcode 3.18

Leetcode hot100 二叉树1.路径总和 III2.路径总和 II3.二叉树的所有路径4.二叉树的最近公共祖先 回溯1.电话号码的字母组合 二叉树 1.路径总和 III 路径总和 III 思路&#xff1a;我们访问每一个节点 node&#xff0c;检测以 node 为起始节点且向下延深的路径有多少种。递归遍…

【ACL2023获奖论文】比你想的更弱:对弱监督学习的批判性审视

【ACL 2023获奖论文】主题论文奖&#xff1a;7.Weaker Than You Think: A Critical Look at Weakly Supervised Learning 写在最前面引言正文问题1&#xff1a;对WSL来说&#xff0c;clean data是否必要&#xff1f;问题2&#xff1a;WSL需要多少的clean data&#xff1f;问题3…

elasticsearch基础学习

elasticsearch简介 什么是elasticsearch elasticsearch&#xff08;简称es&#xff09;&#xff0c;其核心是 Elastic Stack&#xff0c;es是一个基于 Apache Lucene&#xff08;TM&#xff09;的开源的高扩展的分布式全文检索引擎&#xff0c;它可以近乎实时的存储、检索数据…

如何在开放麒麟系统安装cpolar内网穿透实现公网环境下SSH远程连接

文章目录 1. 安装SSH服务2. 本地SSH连接测试3. openKylin安装Cpolar4. 配置 SSH公网地址5. 公网远程SSH连接小结 6. 固定SSH公网地址7. SSH固定地址连接 openKylin是中国首个基于Linux 的桌面操作系统开发者平台&#xff0c;通过开放操作系统源代码的方式&#xff0c;打造具有自…

裸金属租赁的意义

裸金属&#xff0c;这个名词听起来好“硬核”&#xff0c;如果对于一个新手来讲&#xff0c;怎么也不会将这个概念和IT行业、计算机、服务器等内容进行关联&#xff0c;它可能更应该是工业领域的一种产品或者物质&#xff0c;可真正关联到其实际概念恰恰与当前的主流行业如&…

论文阅读——Align before Fuse

Align before Fuse: Vision and Language Representation Learning with Momentum Distillation image-text contrastive learning(ITC)用在单模态&#xff0c;masked language modeling (MLM) and image-text matching (ITM) 用在多模态。 单模态编码器的表示上引入了中间图像…

机器学习中的基础问题总结

介绍&#xff1a;总结面试经常问到的一些机器学习知识点&#xff08;必会&#x1f31f;&#xff09; 基础知识点梳理 模型评估一、L1、L2正则化1、L1正则与L2正则有何不同&#xff1f;2、为什么正则化可以防止过拟合&#xff1f;3、为什么L1正则具有稀疏性&#xff1f;&#xf…

JMeter之IP欺骗技术(模拟不同的IP地址并发请求)

我们在做压力测试时&#xff0c;有这样的场景和需求&#xff0c;希望模拟的批量用户来自不同的IP地址。如果小伙伴用LR是很容易实现的&#xff0c;用IP欺骗即可实现。那么对于用JMeter小伙伴是不是就不能享受这一技术了呢&#xff0c;答案是否定的&#xff0c;JMeter一样可以实…

【晴问算法】入门篇—贪心算法—整数配对

题目描述 有两个正整数集合S、T&#xff0c;其中S中有n个正整数&#xff0c;T中有m个正整数。定义一次配对操作为&#xff1a;从两个集合中各取出一个数a和b&#xff0c;满足a∈S、b∈T、a≤b&#xff0c;配对的数不能再放回集合。问最多可以进行多少次这样的配对操作。 输入描…

Elasticsearch:调整近似 kNN 搜索

在我之前的文章 “Elasticsearch&#xff1a;调整搜索速度”&#xff0c;我详细地描述了如何调整正常的 BM25 的搜索速度。在今天的文章里&#xff0c;我们来进一步探讨如何提高近似 kNN 的搜索速度。希望对广大的向量搜索开发者有一些启示。 Elasticsearch 支持近似 k 最近邻…

一、yocto 编译raspberrypi 4B并启动

yocto 编译raspberrypi 4B并启动 yocto 编译raspberrypi 4B并启动环境准备代码下载编译及配置烧录 yocto 编译raspberrypi 4B并启动 本篇文章为基于raspberrypi 4B单板的yocto实战系列的开篇之作。 环境准备 最近到手一个树莓派4B&#xff0c;准备拿来玩一玩&#xff0c;下面…