pytorch学习(十)优化函数

优化函数主要有,SGD, Adam,RMSProp这三种,并且有lr学习率,momentum动量,betas等参数需要设置。

通过这篇文章,可以学到pytorch中的优化函数的使用。

1.代码

代码参考《python深度学习-基于pytorch》,改了一下网络结构,其他没变化。

import torch
import torch.utils.data as Data
import torch.nn.functional as Func
import matplotlib.pyplot as pltLR =0.01
BATCH_SIZE = 20
EPOCH = 12#生成数据
#将一维变成二维数据
x = torch.unsqueeze(torch.linspace(-1,1,1000),dim=1)
y = x.pow(2) + 0.1 * torch.normal(torch.zeros(*x.size()))A = x.size()
B = x.size()torch_dataset = Data.TensorDataset(x,y)
data_loader = Data.DataLoader(dataset=torch_dataset,batch_size= BATCH_SIZE,shuffle=False)class Net(torch.nn.Module):def __init__(self):super(Net, self).__init__()self.hidden1 = torch.nn.Linear(1,20)self.hidden2 = torch.nn.Linear(20, 40)self.predict = torch.nn.Linear(40,1)def forward(self,x):x = Func.relu(self.hidden1(x))x = Func.relu(self.hidden2(x))x = self.predict(x)return xnet_SGD = Net()
net_Momentum = Net()
net_PMSProp = Net()
NET_Adam = Net()nets = {net_SGD,net_Momentum,net_PMSProp,NET_Adam }opt_SGD = torch.optim.SGD(net_SGD.parameters(),lr=LR)
opt_Momentum = torch.optim.SGD(net_Momentum.parameters(),momentum=0.3,lr=LR)
opt_PMSProp = torch.optim.RMSprop(net_PMSProp.parameters())
opt_Adam = torch.optim.Adam(NET_Adam.parameters(),lr=LR,betas=(0.9,0.99))optimizers = {opt_SGD,opt_Momentum, opt_PMSProp, opt_Adam}loss_func = torch.nn.MSELoss()loss_his =[[],[],[],[]]for epoch in range((EPOCH)):for step,(batch_x,batch_y) in enumerate(data_loader):for net, opt, l_his, in zip(nets, optimizers,loss_his):output = net(batch_x)loss = loss_func(output,batch_y)opt.zero_grad()loss.backward()opt.step()l_his.append(loss.data.numpy())
labels = ['SGD','SGD_Momentum','RMSProp','Adam']#可视化
for i, l_his in enumerate(loss_his):plt.plot(l_his,label = labels[i])
plt.legend(loc='best')
plt.xlabel('steps')
plt.ylabel('loss')
# plt.ylim((0,0.8))
plt.show()

2.结果

通过测试,发现每一次的结果都不一样,每一次结果的显示图也不一样。因为shuffle=True。

为shuffle=True时候显示的其中一个结果为:

当shuffle为False时,发现也不稳定,其中一张结果显示为:

3.大家copy代码后,可以调一调batch_size,lr,momentum,betas等参数。

其中lr动态修改学习率的代码为:

print(opt_SGD.param_groups)
opt_SGD.param_groups[0]['lr']*=0.1
opt_SGD.param_groups[0]['momentum']

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/48610.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

postman使用说明

Postman是一款非常流行的API开发、测试和文档生成工具,它可以帮助开发人员轻松地创建和管理API请求,并提供了强大的功能来模拟和测试API响应。在本文中,我将介绍如何使用Postman来创建和管理API请求,以及如何使用它的高级功能来测…

Java里的引用详解

1.体验方法引用 方法引用的出现原因 在使用Lambda表达式的时候,我们实际上传递进去的代码就是一种解决方案:拿参数做操作 那么考虑一种情况:如果我们在Lambda中所指定的操作方案,已经有地方存在相同方案,那是否还有必要…

2024最新教程,在docker中安装kali,并配置ssh连接

docker的基本使用:搭建高效攻防靶场vulfocus与Docker仓库管理实战:从听说到入门 拉取kali官方镜像 docker pull kalilinux/kali-rolling 启动一个kali镜像,将容器中的22端口映射到主机100端口,方便ssh直接连接 docker run -it…

白骑士的PyCharm教学基础篇 1.3 调试与运行

系列目录 上一篇: 配置与调试环境 配置调试环境 选择解释器 在 PyCharm 中选择正确的 Python 解释器:依次点击 “File” -> “Settings” -> “Project: [项目名]” -> “Project Interpreter”,选择或添加解释器。 配置运行/…

Model Import Settings

前言 在可视化3D世界中,模型是3D世界的核心,你可以没有贴图,可以没有特效,甚至可以没有用户交互界面,但必须得有模型来描述世界的基本样貌。 在3D世界中,由点线面构成了模型的轮廓;由UV和纹理&a…

Java 集合框架:Java 中的优先级队列 PriorityQueue 的实现

大家好,我是栗筝i,这篇文章是我的 “栗筝i 的 Java 技术栈” 专栏的第 018 篇文章,在 “栗筝i 的 Java 技术栈” 这个专栏中我会持续为大家更新 Java 技术相关全套技术栈内容。专栏的主要目标是已经有一定 Java 开发经验,并希望进…

在JavaScript 中,== 和 === 的区别

在 JavaScript 中, 和 是用来比较两个值是否相等的运算符,它们之间有一些重要的区别: 运算符(相等运算符): 运算符会在比较之前进行类型转换。如果两个操作数类型不同, 会尝试将它们转换为相…

用不同的url头利用Python访问一个网站,把返回的东西保存为txt文件

这个需要调用requests模块(相当于c的头文件) import requests 还需要一个User-Agent头(这个意思就是告诉python用的什么系统和浏览器) Google Chrome(Windows): Mozilla/5.0 (Windows NT 10.0; Win64; x64…

【Git命令】git rebase之合并提交记录

使用场景 在本地提交了两个commit,但是发现根本没有没必要分为两次,需要想办法把两次提交合并成一个提交;这个时候可以使用如下命令启动交互式变基会话: git rebase -i HEAD~N这里 N 是你想要重新调整的最近的提交数。 如下在本地…

vscode配置django环境并创建django项目(全图文操作)

文章目录 创建项目工作路径下载python插件:创建虚拟环境选择虚拟环境在虚拟环境中安装Django创建Django项目 创建项目工作路径 下载python插件: 创建虚拟环境 >python:create 于是会多出一个.venv的目录 选择虚拟环境 在虚拟环境中安装Django …

MySQL 数据库 day 7.16

ok了家人们今天继续记录一下数据库,看看今天学了什么。 一.事物概述 1.1 环境准备 -- 账户表 create table account( id int primary key auto_increment, name varchar(20), money double );insert into account values (null,张三,1000); insert into account values (n…

解决Linux桌面初始化问题

问题 启动vnc桌面,提示问题 定位 从[t]csh手册 可以看到,其初始化流程 经定位,是.cshrc的这段代码存在,导致桌面初始化异常。 [wanlin.wangicinfra-cn-172-16-0-115 ~]$ cat .cshrc ...部分省略... # Environment for anac…

Unity UGUI 之 Canvas Scaler

本文仅作学习笔记与交流,不作任何商业用途 本文包括但不限于unity官方手册,唐老狮,麦扣教程知识,引用会标记,如有不足还请斧正 1.什么是Canvas Scaler Unity - 手册:Canvas Scaler 重点:虽然叫…

【springboot】中使用--WebMvcConfigurer

WebMvcConfigurer 一、页面跳转控制器step1:创建视图,resources/templates/index.htmlstep2:创建SpringMVC配置类step3:测试功能 二、数据格式化step1:创建 DeviceInfo 数据类step2:自定义 Formatterstep3: 登记自定义的 DeviceFormatterstep4: 新建 Con…

Flutter中GetX的用法(超详细使用指南之路由依赖管理篇)

目录 1.前言 2.GetX 依赖管理概述 1.GetX 依赖管理的基本概念 2.与其他依赖管理工具的比较 3. 基础依赖注入 1.Get.put 2.Get.lazyPut 3.Get.putAsync 4.高级依赖注入 1.使用Get.create 2.依赖生命周期管理 5. 参考资料 1.前言 今天这篇博客主要介绍Getx的三大功能…

Powershell 使用介绍

0 Preface/Foreword 0.1 参考文档 Starting Windows PowerShell - PowerShell | Microsoft Learn 1 Powershell 介绍 2 命令介绍 2.1 新建文件夹 New-Item -Path C:\GitLab-Runner -ItemType Directory 2.2 切换路径 cd C:\GitLab-Runner 2.3 下载文件 Invoke-WebRequ…

java基于ssm+vue 药品网购平台

1用户前台功能模块 1.1前台首页 前台首页详情页面:首页、药品信息、疫情常识、保健品推荐、个人中心、后台管理、购物车等操作。程序效果图如下图1所示: 前台页面等内容,如图1所示。 1.2个人中心 在前台页面查看个人中心用户注册、登录&am…

云计算遭遇的主要安全威胁

以下是详细说明云计算遭遇的所有主要安全威胁: 1. 数据泄露 描述:数据泄露是指未经授权的情况下访问和获取敏感数据。云计算环境中的数据泄露通常由于不安全的配置、软件漏洞或内部威胁造成。 案例: Capital One数据泄露:2019…

【proteus经典实战】LCD滚动显示汉字

一、简介 Proteus是一款功能丰富的电子设计和仿真软件,它允许用户设计电路图、进行PCB布局,并在虚拟环境中测试电路功能。这款软件广泛应用于教育和产品原型设计,特别适合于快速原型制作和电路设计教育。Proteus的3D可视化功能使得设计更加直…

多任务高斯过程数学原理和Pytorch实现示例

高斯过程其在回归任务中的应用我们都很熟悉了,但是我们一般介绍的都是针对单个任务的,也就是单个输出。本文我们将讨论扩展到多任务gp,强调它们的好处和实际实现。 本文将介绍如何通过共区域化的内在模型(ICM)和共区域化的线性模型(LMC)&…