pytorch 查看当前学习率_pytorch实现查看当前学习率

在pytorch训练过程中可以通过下面这一句代码来打印当前学习率

print(net.optimizer.state_dict()['param_groups'][0]['lr'])

补充知识:Pytorch:代码实现不同层设置不同的学习率,选择性学习某些层参数

1,如何动态调整学习率

在使用pytorch进行模型训练时,经常需要随着训练的进行逐渐降低学习率,在pytorch中给出了非常方面的方法:

假设我们定义了一个优化器:

该优化器的初始化学习为0.01,

如果我们学习每个"n" 个epoch把学习率降低为原来的0.9倍,则需要声明一个学习率调节器:

torch.optim.lr_scheduler.StepLR(optimizer, step_size, gamma=0.1, last_epoch=-1)

其中:

optimizer: 前面声明的优化器;

step_size: 每step_size个epoch学习率降低为原来的gamma倍,

last_epoch: 当前所处的epoch

例如:

另外其他常用的更新策略类似:

torch.optim.lr_scheduler.ExponentialLR(optimizer, gamma, last_epoch=-1)

torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max, eta_min=0, last_epoch=-1)

torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer, mode='min', factor=0.1, patience=10, verbose=False, threshold=0.0001, threshold_mode='rel', cooldown=0, min_lr=0, eps=1e-08)

torch.optim.lr_scheduler.LambdaLR(optimizer, lr_lambda, last_epoch=-1)

2,如何选择性学习某些参数

对于我们现有的模型model,通过调整参数的requires_grad 属性控制该模型是否参与求导运算

如果模型中包含多个子模块,可用通过

sub_block = model.children()

获取该模块,然后通过迭代索引的方式获取参数:

for name, param in sub_block.named_parameters()

以上这篇pytorch实现查看当前学习率就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持服务器之家。

原文链接:https://blog.csdn.net/weixin_38314865/article/details/103938504

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/345213.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【渝粤题库】广东开放大学 建设监理 形成性考核

选择题 题目:建设工程监理是针对()所实施的监督管理。 题目:按照建筑法规定,建设工程监理实施的前提是()。 题目:我国政府于()宣布在我国实行建设监理制。 题…

将Host Cobol批次和Monolith Webapps移动到云和微服务

在Amazon Event “从大型机到微服务– Vanguard迁移到云”中非常有趣的演示。 以下部分可用作迁移模式 :如何从大型机迁移到微服务的不同方式: 重新托管 再造 重构 使用Linux和Java重新平台 回购 退役 全部结合 该演示文稿还展示了Vanguard的Cloud…

flutterapp部分手机无法打开_Flutter应用程序在最新更新后无法运行

Environment DetailsWindows VS CodeFlutter 1.17.5 • channel stable • https://github.com/flutter/flutter.gitFramework • revision 8af6b2f038 (3 days ago) • 2020-06-30 12:53:55 -0700Engine • revision ee76268252Tools • Dart 2.8.4Error From Debug ConsoleE…

【渝粤题库】广东开放大学 文化市场营销 形成性考核 (2)

选择题 题目: 国际投资中的政治风险防范主要表现在生产和经营战略及( )上。 选择一项: 题目: 国际投资时投资者对东道国投资经济环境首要考虑的经济政策是( ) 选择一项: 题目:用于文化产业生产和经营消费…

【渝粤题库】广东开放大学 物业管理实务 形成性考核 (2)

选择题 题目:房地产属于非货币性资产,其拥有者可以很快将房地产兑换成现金。 题目: 物业经营管理既包括保证物业正常使用的运行操作管理活动,也包括将物业作为一种收益性资产所进行的一系列的经营活动。 题目:政府干预…

android动态添加的页面怎么加功能_Android跳转应用安装页面

一.低版本跳转方式Intent intent new Intent(Intent.ACTION_VIEW);intent.setDataAndType(uri,"application/vnd.android.package-archive");intent.setFlags(Intent.FLAG_ACTIVITY_NEW_TASK);startActivityForResult(intent, 666);uri是apk的uri记得不要忘了在mani…

【渝粤题库】广东开放大学 计算机英语 形成性考核

👉关注我,看答案👈 选择题 题目:The fourth generation computers, such as microcomputers, appearing in the mid-1970s, were based on(). 题目:The second generation computers, introduced in the early 1960s, were based …

字节数组转为二进制数 c#_如何使用字节序列化双精度数组(二进制增量编码,用于低差单调浮点数据集)...

字节数组转为二进制数 c#低延迟系统需要高性能的消息处理和传递。 由于在大多数情况下,数据必须通过有线传输或序列化才能保持持久性,因此编码和解码消息已成为处理管道的重要组成部分。 高性能数据编码的最佳结果通常涉及应用程序数据细节的知识。 本文…

【渝粤题库】陕西师范大学100091 现代教育技术学 作业(专升本)

的有关程序和文件。 D计算机软件按照其功能和应用范围的不同,可分为系统软件和应用软件两大类。 9、计算机辅助测验系统的结构与功能是( ) A计算机辅助测验系统是计算机管理教学的重要应用领域。 B利用计算机可以大大简化题库的建设、试卷的生…

java用户的登录图片_Java 如何用 token 做用户登录认证

1、什么是 token???Token 是服务端生成的一串字符串,以作客户端进行请求的一个令牌。2、token 做用户登录认证● 流程3、 Java 实现● 用户登录生成 token,保存到 Redis 中最简单的 token 可由 uid (用户唯一的身份标识…

【渝粤题库】陕西师范大学151204 中级财务会计作业(笔试题型)

《中级财务会计(专升本)》作业 一、单项选择 1、应收账款的产生原因是( )。 A、现销 B、赊销 C、现购 D、赊购 2、在物价持续上涨期间,能使企业当期利润最小的存货计价方法是( )。 A、后进先出法 B、先进先出法 C…

【渝粤题库】陕西师范大学152210 现代社会调查理论与方法

陕西师范大学 内 部 题 库 教育 (yuyueshool) 编制 陕西师范大学 内 部 题 库 教育 (yuyueshool) 编制 《现代社会调查理论与方法》作业 一、填空题 1.社会调查的作用,从大的方面说,主要体现在描述状况…

服务器安装mysql要密码_在阿里云服务器上安装mysql及重置密码

参考链接:https://www.cnblogs.com/ljysy/p/10324854.html下载与安装MySQL:这里采用Yum管理好了各种rpm包的依赖,能够从指定的服务器自动下载RPM包并且安装,所以在安装完成后必须要卸掉,否则会自动更新。1.安装MySQL官…

Corda服务的异步流调用

如何使流程更快? 如果您已经与Corda合作了一段时间,那么您很有可能已经考虑过这一点。 您可以通过以下几方面进行合理的调整来提高性能:事务大小,优化查询并减少整个Flow执行过程中所需的网络跃点数。 在某种程度上,还…

【渝粤题库】陕西师范大学164117 企业组网技术 作业 (高起专)

《企业组网技术》作业 一、单选题(每题4分,共60分) 1. 下列关于网络操作系统叙述错误的是( )。 A. 是计算机和用户之间的接口 B. 只能在相同的系统间进行连接和操作 C. 具有网络通信和网络服务的功能 D. 管理计算机的硬…

【渝粤题库】陕西师范大学165209 组织职业生涯管理 作业(专升本)

《组织职业生涯管理》作业答案 一、单选题 1、人力资源供过于求的表现不包括_________ A、职业岗位缺乏 B、社会就业不足 C、政府促进就业政策 D、职业选择余地较大 2、职业的个人功能不包括___________ A、社会稳定的安全阀 B、获取利益的手段 C、个人发挥才能的手段 D、社会贡…

【渝粤题库】陕西师范大学191203 法理学导论 作业

《法理学导论》作业 一、单项选择题 1、下列关于法理学属性的说法,正确的是:法理学属于( ) A理论法学 B法律史学 C国内应用法学。 D比较法学。 2、下列说法不正确的是( ) A先有法、法律,后有法学…

jsf 后台参数到页面_JSF:直接从页面将参数传递给JSF操作方法,这是JavaEE 6+的一个不错的功能...

jsf 后台参数到页面其中一个JSF 2不错的特点出现在Java企业版的JavaEE 6 ,是你可以传递参数给喜欢的commandButton和commandLink组件的任何动作元件操作方法。 基于此,您可以最小化托管bean中的方法数量。 另外,为了最小化在bean内部设置的…

mysql odbc ado性能差异_ODBC、OLEDB和ADO之间的关系 ,以及性能比较

学习了.net视频之后,对里面涉及到的数据库连接部分中的一些概念表示很无语。网上很多相关资料,但除了网站不一样外,基本上内容都神一样的一致。现在,我就通过结合看到的一些资料再加上自己的理解试图去解释一下,有不对…

【渝粤题库】陕西师范大学200731 计算机组成原理

《计算机组成原理》作业 一、填空 1.电子数字计算机从1946年诞生至今,按其工艺和器件特点,大致经历了四代变化。第一代从  年开始;第二代从  年开始;第三代从   年开始,采用  ;第四代从…