深度学习基础知识 给模型的不同层 设置不同学习率

深度学习基础知识 给模型的不同层 设置不同学习率

  • 1、使用预训练模型时,可能需要将
  • 2、学习率设置方式:

1、使用预训练模型时,可能需要将

(1)预训练好的 backbone 的 参数学习率设置为较小值,
(2)backbone 之外的部分 (新增的部分,一般为分类头、检测头,等),需要使用较大的学习率。

2、学习率设置方式:

在定义优化器的时候,用 list 将参数设置为不同的组,每个组( list 中的每个元素 )用字典表示,在字典中指明 参数组、该组的学习率

optimizer = optim.SGD([{'params': params_group_1, 'lr': 0.001},{'params': params_group_2, 'lr': 0.0005}])
  • params_group_1 和 params_group_2 可以是任何实现了 iter() 方法的对象,例如 list、tuple
from collections import OrderedDict
import torch.nn as nn
import torch.optim as optimnet=nn.Sequential(OrderedDict([("linear1",nn.Linear(10,20)),("linear2",nn.Linear(20,30)),("linear3",nn.Linear(30,40))
]))print(net)linear3_params=list(map(id,net.linear3.parameters()))
base_params=filter(lambda p: id(p) not in linear3_params,net.parameters())optimizer=optim.SGD([{"params":base_params},   # 未指定学习率的,使用默认学习率0.001{"params":net.linear3.parameters(),"lr":0.0005}],lr=0.01,momentum=0.9
)
print(optimizer)
print(optimizer.param_groups[0]["lr"])
print(optimizer.param_groups[1]["lr"])

打印结果如下所示:
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/104306.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

自己搭建的若依DEMO地址

自己搭建的若依demo地址 链接: link

深入了解Spring Boot Actuator

文章目录 引言什么是ActuatorActuator的底层技术和原理端点自动配置端点请求处理端点数据提供端点数据暴露 如何使用Actuator添加依赖访问端点自定义端点 实例演示结论 引言 Spring Boot Actuator是一个非常强大且广泛使用的模块,它为Spring Boot应用程序提供了一套…

需永远在线的游戏公司,如何在线替换开源存储?

小帅是一个酷爱游戏的玩家,他玩一款游戏已经很久了,始终乐在其中。 这款游戏风靡全球,在中国手游出海榜单中,长期位居榜首。 他不知道的是,就在他玩游戏的过程中,这款游戏的出品公司,其实已经…

​人机交互中的反馈与前馈

人机交互中的反馈和前馈,是指在用户与机器进行交互的过程中,人机二者对输入的信息做出回应的方式。 反馈:反馈是从机器到人的信息传递过程,主要用于告知用户他们的操作或请求的结果。当用户执行某个操作时,机器通过适当…

云原生之使用Docker部署ServerBee服务器监控工具

云原生之使用Docker部署ServerBee服务器监控工具 一、ServerBee介绍1.1 ServerBee简介1.2 ServerBee特点 二、本地环境介绍2.1 本地环境规划2.2 本次实践介绍 三、本地环境检查3.1 检查Docker服务状态3.2 检查Docker版本3.3 检查docker compose 版本 四、下载serverbee镜像五、…

oracle、mysql、postgresql数据库的几种表关联方法

简介 在数据开发过程中,常常需要判断几个表直接的数据包含关系,便需要使用到一些特定的关键词进行处理。在数据库中常见的几种关联关系,本文以oracle、mysql、postgresql三种做演示 创建测试数据 oracle -- 创建表 p1 CREATE TABLE p1 (tx…

Java 序列化2

Java 序列化 目录 Java 序列化 序列化对象 反序列化对象 Java 提供了一种对象序列化的机制,该机制中,一个对象可以被表示为一个字节序列,该字节序列包括该对象的数据、有关对象的类型的信息和存储在对象中数据的类型。 将序列化对象写入文…

当你在 Tubi 是一位 Tech Lead

在过去,我们邀请了 Tubi 技术团队的许多资深工程师,听他们分享了作为资深工程师的一些故事。今天,我们将镜头转向那些在 Tubi 担任 Tech Lead 的工程师,他们选择了在独立开发之外,承担一定的技术管理工作: …

rust宏

宏看起来和函数很像,只不过名称末尾有一个感叹号 ! 。 宏并不产生函数调用,而是展开成源码,并和程序的其余部分一起被编译。 Rust宏和C不同,Rust的宏会展开为抽象语法树(AST,abstract syntax tree&#xff…

SAP PP cs62 提示 输入更改号 - BOM 有历史需求

以上是业务操作人员的 账户 但是IT aLL 这边是warning 不是error 遂去查OSS suim 找 C_STUE_NOH权限对象 赋予权限后 解决了

Hadoop高可用集群(HA)一键启动脚本

高可用集群启动时,需要分别在每个节点上都执行zkServer.sh start启动zookeeper,这个过程比较麻烦,并且当我们节点增多时,这个过程无疑不增加了我们的工作量,因此我们可以写一个一键启动所有节点zookeeper的脚本 脚本实…

Excel 数学

SUM(C1:J1) SUM加總/加法公式=SUM(要加總的範圍)(加總快捷鍵 Alt ) SUM(Sheet1:Sheet4!A1) 跨頁加總公式SUM (分頁:分頁!各分頁要加總的儲存格)SUMIF(D1:D16,"大名",F1:F16) …

XXL-Job分布式任务调度框架-单机模式和分片模式执行任务4

一 调度模式分类 1.1 调度模式 1.单个任务:一个任务实例便可完成 a)单机单任务:单机模式下任何路由模式都只有一个实例执行 b)集群单任务:由路由策略(广播模式除外)选择其中一个实例完成 2.集群部署:每个实例都同时执行一部分…

【c++源码】老飞飞源码完整v15源码(包含数据库前端后端源文件)

老飞飞源码完整v15源码(包含数据库前端后端源文件)整套程序未加密,资源开放。对于研究游戏流程开发非常有帮助,程序仅供参考学习游戏开发流程。以及框架内容。 测试环境搭建 Visual Studio 2013 SQL Server 2008r Windows 10 和 1…

ArduPilot开源飞控之AP_AHRS

ArduPilot开源飞控之AP_AHRS 1. 源由2. 框架设计2.1 启动代码2.2 任务代码 3. 重要例程3.1 init3.2 update 4. 外部AHRS传感模块4.1 init4.2 update 5. 参考资料 1. 源由 AHRS(Attitude Heading Reference System): 飞控最为重要的一个任务就是姿态、位置、方向计算。 本章节…

有趣的 scanf()

限制接收内容 这里的意思是直接收a、b、c作为ch的内容,遇到其它字符放入缓冲区中。 【scanf("%[...]",ch);只接收[]中的内容作为字符串的内容,将其它的内容放入缓冲区中】 这里将aaa后面的h放入缓冲区,但是没有抛弃掉,故而无法接收…

unity 实现拖动ui填空,并判断对错

参考:https://ask.csdn.net/questions/7971448 根据自己的需求修改为如下代码 使用过程中,出现拖动ui位置错误的情况,修改为使用 localPosition 但是吸附到指定位置却需要用的position public class DragAndDrop : MonoBehaviour, IBeginDr…

如何使用C/C++刷新在终端上已经打印的内容

写本文的起源是因为在安装一些工具的时候,发现在终端上并行安装的情况下,显示安装信息是会修改之前已经打印出来的内容,这是怎么做到的呢?抱着对这个问题的好奇我进行了一些探索。 终端是如何运行的 首先是最关键的问题&#xf…

算法通过村第十四关-堆|青铜笔记|堆结构

文章目录 前言堆的概念和特征堆的构成过程插入操作删除操作总结 前言 若执于空,空亦为障。 --彼得马西森《雪豹》 堆结构是一种非常重要的基础数据结构,也是算法的重要内容,很多题目甚至只能通过用堆来进行,所以我们必须明确什么类…

运维 | 如何在 Centos7.x 上安装 telnet 命令行工具

运维 | 如何在 Centos7.x 上安装 telnet 命令行工具 简介 Telnet 是用于通过TCP/IP网络远程登录计算机的协议。一旦与远程计算机建立了连接,它就会成为一个虚拟终端且允许你与远程计算机通信 快速安装 检测是否安装 rpm -qa telnet-server rpm -qa telnet执行安…