PyTorch入门学习(十):神经网络-非线性激活

目录

一、简介

二、常见的非线性激活函数

三、实现非线性激活函数

四、示例:应用非线性激活函数


一、简介

在神经网络中,激活函数的主要目的是引入非线性特性,从而使网络能够对非线性数据建模。如果只使用线性变换,那么整个神经网络就会退化为一个线性模型,因为线性函数的组合仍然是线性的。非线性激活函数通过引入非线性性质,使神经网络能够适应更复杂的数据。

二、常见的非线性激活函数

ReLU(Rectified Linear Unit)

ReLU 是一种广泛使用的非线性激活函数。它的数学表达式如下:

f(x) = max(0, x)

ReLU 将小于零的输入值设为零,而大于零的输入值保持不变。这种性质使得神经网络能够学习到稀疏特征,加速训练,以及更好地处理梯度消失问题。在 PyTorch 中,可以使用 torch.nn.ReLU() 实现 ReLU 激活。

Sigmoid 函数

Sigmoid 函数是另一种非线性激活函数,它的数学表达式如下:

f(x) = 1 / (1 + exp(-x))

Sigmoid 函数将输入值映射到 0 到 1 之间,它在二元分类问题中广泛使用。然而,Sigmoid 函数在深度神经网络中容易出现梯度消失问题。在 PyTorch 中,可以使用 torch.nn.Sigmoid() 实现 Sigmoid 激活。

三、实现非线性激活函数

在 PyTorch 中,实现非线性激活函数非常简单。首先定义一个继承自 nn.Module 的类,然后在 forward 方法中应用所需的激活函数。下面是一个使用 ReLU 和 Sigmoid 激活函数的示例:

import torch
from torch import nn
from torch.nn import ReLU, Sigmoidclass MyModel(nn.Module):def __init__(self):super(MyModel, self).__init()self.relu = ReLU()self.sigmoid = Sigmoid()def forward(self, x):x_relu = self.relu(x)x_sigmoid = self.sigmoid(x)return x_relu, x_sigmoid

在上面的示例中,首先导入必要的库,然后定义了一个自定义模型 MyModel,它包含了 ReLU 和 Sigmoid 激活函数。在 forward 方法中,分别应用了这两个激活函数。

四、示例:应用非线性激活函数

下面将看到一个具体的示例,把非线性激活函数应用于图像数据。然后使用 PyTorch 和 CIFAR-10 数据集,这是一个广泛使用的图像分类数据集。最后使用 ReLU 和 Sigmoid 激活函数,并使用 TensorBoard 可视化结果。

import torch
from torch import nn
from torch.nn import ReLU, Sigmoid
from torch.utils.tensorboard import SummaryWriter
from torch.utils.data import DataLoader
import torchvision.datasets# 加载 CIFAR-10 数据集
dataset = torchvision.datasets.CIFAR10("D:\\Python_Project\\pytorch\\dataset2", train=False, transform=torchvision.transforms.ToTensor(), download=True)
dataloader = DataLoader(dataset, batch_size=64)# 定义自定义模型
class MyModel(nn.Module):def __init__(self):super(MyModel, self).__init__()self.relu = ReLU()self.sigmoid = Sigmoid()def forward(self, x):x_relu = self.relu(x)x_sigmoid = self.sigmoid(x)return x_relu, x_sigmoid# 创建模型实例和 TensorBoard 编写器
model = MyModel()
writer = SummaryWriter("logs")
step = 0# 遍历数据集并应用模型
for data in dataloader:imgs, targets = dataoutput_relu, output_sigmoid = model(imgs)writer.add_images("input", imgs, step)writer.add_images("output_relu", output_relu, step)writer.add_images("output_sigmoid", output_sigmoid, step)step += 1writer.close()

在上面的示例中,首先加载 CIFAR-10 数据集,然后定义了一个自定义模型 MyModel,其中包含了 ReLU 和 Sigmoid 激活函数。遍历数据集,将输入图像和经过激活函数处理后的输出图像写入 TensorBoard,以便进行可视化。

通过这个示例,可以看到非线性激活函数如何改变输入数据,引入非线性特性,从而增强神经网络的建模能力。

参考资料:

视频教程:PyTorch深度学习快速入门教程(绝对通俗易懂!)【小土堆】

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/127531.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

OpenCV 笔记(4):图像的算术运算、逻辑运算

Part11. 图像的算术运算 图像的本质是一个矩阵,所以可以对它进行一些常见的算术运算,例如加、减、乘、除、平方根、对数、绝对值等等。除此之外,还可以对图像进行逻辑运算和几何变换。 我们先从简单的图像加、减、逻辑运算开始介绍。后续会有…

文件fd.

共识原理: 1.文件 内容 属性 2.文件分为打开的文件 和 没打开的文件 3.打开的文件: 谁打开? 进程! ----本质是研究进程和文件的关系! 根据冯诺依曼原理,文件被打开,必须先被加载到内存!不然CPU怎么访问它 那么是文件内容被加载&#xff…

redis如何保证和mysql数据的一致性

Redis和MySQL是两种不同的数据库系统,它们在数据一致性方面有不同的特点和应用场景。保证Redis和MySQL数据的一致性通常需要考虑以下几个方面: 双写策略: 一种常见的方法是采用双写策略,即将更新操作同时写入Redis和MySQL。这确保…

JS计算中出现无限小数位的情况

原因分析: 在开发中遇到了浮点数转换为百分数的问题,用浮点数乘以100结果产生了一堆小数位。查资料发现原因是由于计算机计算会先把数字转换成二进制计算,然后在转换为10进制,导致精度丢失。 在计算机角度,计算机算的…

系列七、Mybatis的二级缓存

一、概述 Mybatis的二级缓存是多个sqlSession共享的,其作用域是mapper的同一个namespace,不同的sqlSession执行两次相同的查询,mybatis会将第一次执行完的数据放到二级缓存中(坑:需要执行close操作,要不然不…

C#学习系列之虚方法和多态

C#学习系列之虚方法和多态 啰嗦设计原则(六大类其中之一)基类的引用使用 共性与差异虚方法和多态的武器使用 其他总结 啰嗦 基础学习。 设计原则(六大类其中之一) **依赖倒置原则:**依赖抽象类,不依赖具体…

通过Python脚本支持OC代码重构实践(二):数据项提供模块接入数据通路的代码生成

作者 | 刘俊启 导读 在软件开发中,经常会遇到一些代码问题,例如逻辑结构复杂、依赖关系混乱、代码冗余、不易读懂的命名等。这些问题可能导致代码的可维护性下降,增加维护成本,同时也会影响到开发效率。这时通常通过重构的方式对已…

创建ABAP数据库表和ABAP字典对象-使用基本类型增加账号字段03

新增字段 现在你将增加字段:account_number,基于基本类型 1.输入以下内容(包括句点),然后选择“代码补全”(Ctrl空格): key account_number : abap.2.从下拉列表中选择numc(len)并指定len为8。另外,指定这个关键字段为not null: key accoun…

频频让“智造大佬”们追加投资,长沙凭啥?

文 | 智能相对论 作者 | 范柔丝 自2021年长沙将每年11月1日确定为长沙“企业家日”后,今年已到了第三个长沙“企业家日”。 在完美闭幕的2023年第三届长沙“企业家日”活动中,长沙发布了民企研发投入增量10强、湘商回归标志性项目10强、湘商回归突出贡…

网络综合和简化实频理论学习概述

0、网络综合和简化实频理论学习概述 1、电路综合原理与实践—电抗函数的综合原理 介绍了策动点阻抗函数的综合方法(考尔Ⅰ型和Ⅱ型、福斯特Ⅰ型和Ⅱ型、考尔Ⅰ型和Ⅱ型),并给出了基于策动点阻抗函数的综合示例和Matlab代码 2、电路综合原理…

sql server数据库跟踪——SQL Server Profiler解析

工具: SQL Server Profiler这个工具是SQL Server数据库自带的语句执行跟踪工具,常使用于分析软件修改数据库时所执行的语句,适合用来研究软件运行数据库的原理。 打开方式: 本机安装了SQL server的话,都是自带的。直接…

useEffect如何模拟生命周期?

文章目录 前言介绍后言 前言 hello world欢迎来到前端的新世界 😜当前文章系列专栏:react.js 🐱‍👓博主在前端领域还有很多知识和技术需要掌握,正在不断努力填补技术短板。(如果出现错误,感谢大家指出)&am…

hdlbits系列verilog解答(优化32位加法器)-27

文章目录 一、问题描述二、verilog源码三、仿真结果一、问题描述 行波进位加法器(参见前一个练习)的一个缺点是,加法器计算执行的延迟(在最坏的情况下,从最初进位开始)相当慢,并且第二级加法器在第一阶段加法器完成之前无法开始计算其执行。这会使加法器变慢。其中一项…

java读取.properties文件,通过key获取value

1.将xx.properties文件放置在src/main/resources/config目录下(config是自己建的目录) 2. 通过ApplicationHome类获取target路径 ApplicationHome applicationHome new ApplicationHome(this.getClass());String path applicationHome.getSource().ge…

c++设计模式二:原型模式

使用场景:当需要构建多个相同的类对象时,而且该类对象结构较为复杂,如果每个都重新组织构建会很麻烦。 其实,就是写一个拷贝构造函数,或者写一个拷贝每个成员变量的clone()方法。 举例说明:比如一个相亲网站…

R语言如何写一个爬虫代码模版

R语言爬虫是利用R语言中的网络爬虫包,如XML、RCurl、rvest等,批量自动将网页的内容抓取下来。在进行R语言爬虫之前,需要了解HTML、XML、JSON等网页语言,因为正是通过这些语言我们才能在网页中提取数据。 在爬虫过程中,…

阿里云无影升级2.0 云电脑解决方案时代到来

10月31日,杭州云栖大会上,阿里云宣布无影全新升级2.0:从云电脑到云上解决方案,帮助中小企业更便捷地构建云上办公,并开放无影产品及解决方案能力,为生态合作伙伴提供企业云平台,帮助其打造定制化…

无需服务器内网穿透Windows下快速搭建个人WEB项目

📑前言 本文主要是windows下内网穿透文章,如果有什么需要改进的地方还请大佬指出⛺️ 参考自:Windows搭建web站点:免费内网穿透发布至公网 🎬作者简介:大家好,我是青衿🥇 ☁️博客首…

[C++ ]:5.类和对象中(运算符重载补充)+ 类和对象下(初始化列表)

类和对象中(运算符重载补充) 类和对象下(初始化列表) 一.运算符重载补充:1.流插入运算符:1.考虑到隐含的参数指针:2.进行优化!2-1:解决办法:友元2-2&#xff…

Websocket传递JWT令牌

在访问带有[Authorize]的方法的时候,需要前端通过自定义报文头的形式将JWT令牌传递给后端进行验证,否则是不能访问带有[Authorize]的方法。 [Authorize]是用于限制对web应用程序中某些操作或控制器的访问。当[授权]属性应用于操作或控制器时,…