pytorch 正向与反向传播的过程 获取模型的梯度(gradient),并绘制梯度的直方图

记录一下怎样pytorch框架下怎样获得模型的梯度

文章目录

    • 引入所需要的库
    • 一个简单的函数
    • 模型梯度获取
      • 先定义一个model
      • 如下定义两个获取梯度的函数
      • 定义一些过程与调用上述函数的方法
      • 可视化一下梯度的histogram

引入所需要的库

import os
import torch
import torch.nn as nn
import torch.nn.functional as F
from collections import OrderedDict

一个简单的函数

z=3y2=3(x+2)2z = 3y^2 = 3(x+2)^2z=3y2=3(x+2)2

out=mean(z)\text{out} = \text{mean}(z)out=mean(z)

∂z∂x=6(x+2)2\frac{\partial z}{\partial x} = \frac{6(x+2)}{2}xz=26(x+2)
大家想想,这里的公式为什么要除2?

代码如下:

x = torch.tensor([[1., 2.]], requires_grad=True)
y = x + 2
z = 3 * y.pow(2)
out = z.mean()  # you can try sum() to see what is the result.
out.backward()print(f"x: {x}")
print(f"y->x: {y}")
print(f"z->y->x: {z}")
print(f"out: {out}")
print(f"out->z->y->x: {x.grad}")

输出如下

x: tensor([[1., 2.]], requires_grad=True)
y->x: tensor([[3., 4.]], grad_fn=<AddBackward0>)
z->y->x: tensor([[27., 48.]], grad_fn=<MulBackward0>)
out: 37.5
out->z->y->x: tensor([[ 9., 12.]])

这里解释一下,x 是定义一个tensor,并设置requires_grad=True,这个意思就是x需要计算梯度。其它的注释已经标注挺清楚的了

模型梯度获取

先定义一个model

class ToyModel(nn.Module):def __init__(self, in_channels, out_channels, num_classes=2):super().__init__()# tmp only for testing, not validself.tmp = nn.Conv2d(in_channels, in_channels * 2, (3, 3))self.dim = out_channelsself.conv1 = nn.Conv2d(in_channels=in_channels,out_channels=in_channels * 2,kernel_size=(3, 3),stride=(1, 1),padding=0)self.conv2 = nn.Conv2d(in_channels=in_channels * 2,out_channels=out_channels,kernel_size=(3, 3),stride=(1, 1),padding=0)self.pool = nn.AdaptiveAvgPool2d(output_size=(1))self.fc = nn.Linear(out_channels, num_classes, bias=False)def forward(self, x):x = F.relu(self.conv1(x))x = F.relu(self.conv2(x))x = self.pool(x)x = self.fc(x.view(-1, self.dim))return x

如下定义两个获取梯度的函数

def get_model_histogram(model):"""Description:- get norm gradients from model, and store in a OrderDictArgs:- model: (torch.nn.Module), torch modelReturns:- grads in OrderDict"""grads = OrderedDict()for name, params in model.named_parameters():grad = params.gradif grad is not None:tmp = {}params_np = grad.numpy()histogram, bins = np.histogram(params_np.flatten())tmp['histogram'] = list(histogram)tmp['bins'] = list(bins)grads[name] = tmpreturn grads
def get_model_norm_gradient(model):"""Description:- get norm gradients from model, and store in a OrderDictArgs:- model: (torch.nn.Module), torch modelReturns:- grads in OrderDict"""grads = OrderedDict()for name, params in model.named_parameters():grad = params.gradif grad is not None:grads[name] = grad.norm().item()return grads

定义一些过程与调用上述函数的方法

torch.manual_seed(0)
num_data = 40
toy_model = ToyModel(3, 64, 2)
data = torch.randn(num_data, 3, 224, 224)
label = torch.randint(0, 2, (num_data,))
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.SGD(toy_model.parameters(), lr=1e-3)
toy_model.train()
for i, data in enumerate(data):data = data.unsqueeze(0)out = toy_model(data)target = label[i].unsqueeze(0)loss = criterion(out, target)loss.backward()if (i + 1) % 10 == 0:print('=' * 80)# fix 2022-04-27 histo not defined# print(get_model_norm_gradient(toy_model))histo = (get_model_histogram(toy_model))print(histo)optimizer.step()optimizer.zero_grad()

get model norm gradient的输出如下

================================================================================
OrderedDict([('conv1.weight', 0.1473149210214615), ('conv1.bias', 0.16713829338550568), ('conv2.weight', 0.9203198552131653), ('conv2.bias', 0.5442095994949341), ('fc.weight', 1.7258217334747314)])
================================================================================
OrderedDict([('conv1.weight', 0.0349930003285408), ('conv1.bias', 0.03801438584923744), ('conv2.weight', 0.20729205012321472), ('conv2.bias', 0.12616902589797974), ('fc.weight', 0.39913201332092285)])
================================================================================
OrderedDict([('conv1.weight', 0.07812522351741791), ('conv1.bias', 0.08833323419094086), ('conv2.weight', 0.49012720584869385), ('conv2.bias', 0.2875416576862335), ('fc.weight', 0.9168939590454102)])
================================================================================
OrderedDict([('conv1.weight', 0.14530049264431), ('conv1.bias', 0.16511967778205872), ('conv2.weight', 0.9190732836723328), ('conv2.bias', 0.5398930907249451), ('fc.weight', 1.7265493869781494)])
torch.manual_seed(0)
num_data = 40
toy_model = ToyModel(3, 64, 2)
data = torch.randn(num_data, 3, 224, 224)
label = torch.randint(0, 2, (num_data,))
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.SGD(toy_model.parameters(), lr=1e-3)
toy_model.train()
for i, data in enumerate(data):data = data.unsqueeze(0)out = toy_model(data)target = label[i].unsqueeze(0)loss = criterion(out, target)loss.backward()if (i + 1) % 10 == 0:print('=' * 80)# fix 2022-04-27 histo not defined# print(str(get_model_histogram(toy_model)))histo = (get_model_histogram(toy_model))print(histo)optimizer.step()optimizer.zero_grad()

get model histogram 输出如下,输出太多,只显示最后一条输入了

================================================================================
OrderedDict([('conv1.weight', {'histogram': [4, 2, 13, 27, 76, 22, 11, 5, 1, 1], 'bins': [-0.036256444, -0.028072663, -0.019888882, -0.0117051015, -0.0035213209, 0.0046624597, 0.012846241, 0.021030022, 0.029213801, 0.037397582, 0.045581363]}), ('conv1.bias', {'histogram': [1, 2, 0, 0, 1, 0, 1, 0, 0, 1], 'bins': [-0.028756114, -0.012518765, 0.0037185834, 0.019955931, 0.03619328, 0.05243063, 0.06866798, 0.08490533, 0.101142675, 0.11738002, 0.13361737]}), ('conv2.weight', {'histogram': [15, 10, 35, 245, 1828, 970, 230, 68, 40, 15], 'bins': [-0.07653718, -0.060686104, -0.044835035, -0.028983962, -0.013132891, 0.0027181804, 0.018569252, 0.034420323, 0.050271396, 0.066122465, 0.08197354]}), ('conv2.bias', {'histogram': [1, 0, 1, 8, 12, 28, 5, 6, 0, 3], 'bins': [-0.21087514, -0.16971013, -0.1285451, -0.0873801, -0.04621508, -0.005050063, 0.036114953, 0.07727997, 0.11844498, 0.15961, 0.20077501]}), ('fc.weight', {'histogram': [1, 7, 11, 12, 33, 33, 12, 11, 7, 1], 'bins': [-0.41966814, -0.33573452, -0.2518009, -0.16786726, -0.08393363, 0.0, 0.08393363, 0.16786726, 0.2518009, 0.33573452, 0.41966814]})])

可视化一下梯度的histogram

import matplotlib.pyplot as plt
import matplotlib%matplotlib inline
  • 可视化conv2.weight
data = histo['conv2.weight']
bins = data['bins']
histogram = data['histogram']
max_idx = np.argmax(histogram)
min_idx = np.argmin(histogram)
width = abs(bins[max_idx] - bins[min_idx])plt.figure(figsize=(9, 6))
plt.bar(bins[:-1], histogram, width=width)
plt.show()

在这里插入图片描述

  • 可视化conv2.bias
data = histo['conv2.bias']
bins = data['bins']
histogram = data['histogram']
max_idx = np.argmax(histogram)
min_idx = np.argmin(histogram)
width = abs(bins[max_idx] - bins[min_idx])plt.figure(figsize=(9, 6))
plt.bar(bins[:-1], histogram, width=width)
plt.show()

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/260453.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2012-9

响应式设计的典范 http://www.bostonglobe.com/ 网站测试页面 http://www.webpagetest.org/ 编程算法 http://blog.sina.com.cn/s/articlelist_1647038822_1_1.html C Programmers Cookbook http://www.cppblog.com/mzty/category/7609.html Blade 是一个现代构建系统&#xff…

PV操作 (转载)

PV操作与信号量的处理相关&#xff0c;P表示通过的意思&#xff0c;V表示释放的意思。信号量是最早出现的用来解决进程同步与互斥问题的机制&#xff0c;包括一个称为信号量的变量及对它进行的两个原语操作。 信号量&#xff08;semaphore&#xff09;的数据结构为一个值和一个…

ubuntu升级python_Ubuntu 升级python3为更高版本【已实测】

2020-04-13 更新安装步骤&#xff1a; 1. 先update一下 sudo apt update 2. 安装依赖库 sudo apt-get install zlib1g-dev libbz2-dev libssl-dev libncurses5-dev libsqlite3-dev libreadline-dev tk-dev libgdbm-dev libdb-dev libpcap-dev xz-utils libexpat1-dev liblzma-d…

mysql5.0 java连接_Java连接mysql5.0

网上的资料真烂&#xff0c;千篇一律的拷贝的&#xff0c;根本不能用&#xff0c;鄙视&#xff01; 正题&#xff1a; 到MYSQL网站下载mysql-connector-java-5.0.4.zip文件&#xff0c;解压&#xff1b; 解压后有一个文件&#xff1a;mysql-connector-java-5.0.4-bin.jar 把这个…

Framework打包

2019独角兽企业重金招聘Python工程师标准>>> iOS app需要在许多不同的CPU架构下运行&#xff1a; arm7: 在最老的支持iOS7的设备上使用 arm7s: 在iPhone5和5C上使用 arm64: 运行于iPhone5S的64位 ARM 处理器 上 i386: 32位模拟器上使用 x86_64: 64为模拟器上使用…

windows 10 下利用WSL的Linux环境实现vscode C/C++环境的配置

本文主要结合二个工具&#xff0c;介绍如何在windows搭建Linux开发环境&#xff1a; WSL(Windows Subsystem for Linux)VSCode(Visual Studio Code) 文章目录WSL安装VSCode安装配置Linux下的C/C环境1. 打开WSL的控制台2. 更新ubuntu软件3. 安装GCC和GDB4. 配置VSCode(1). 打开…

java类初始化顺序

转自&#xff1a;http://zangweiren.iteye.com/blog/208122 对于静态变量、静态初始化块、变量、初始化块、构造器&#xff0c;它们的初始化顺序以此是&#xff08;静态变量、静态初始化块&#xff09;>&#xff08;变量、初始化块&#xff09;>构造器。我们也可以通过下…

Java 8 - Interface Default Method接口默认方法

Java 8 相比于Java 7 推出了几大特色&#xff08;features&#xff09;(接口默认方法)default methods in interface, &#xff08;接口静态方法&#xff09;static method in interface, 函数编程(functional programming)&#xff0c; lamda expression, stream API.这里首先…

Windows 11下 WSL使用 jupyter notebook

这里写目录标题前言在WSL下的配置测试运行更优雅的启动方法配置jupyter生成默认配置文件生成秘钥修改配置文件nohup启动前言 一直都使用jupyter notebook&#xff0c;不管做数据分析&#xff0c;还是调试代码&#xff0c;还有写文章都是。但是好像在WSL下又不好使。看了网上有…

sql2000导出mysql_如何将sql2000的数据库导入到mysql中?

展开全部先用SQl2000导出e68a843231313335323631343130323136353331333262373366文本文件&#xff0c;把后缀名改为CSv&#xff0c;再从Mysql中一导入OK参考&#xff1a;第一种是安装mysql ODBC&#xff0c;利用sql server的导出功能&#xff0c;选择mysql数据源&#xff0c;进…

实现日、周、月排行统计 sql

在如今很多系统中&#xff0c;都需要进行日、周、月排行统计&#xff0c;但是在网上寻找 了一番&#xff0c;发现很多都是相对的周、月排行&#xff0c;即周排行则用当前时间减去7天。这样我个人认为并不恰当。如月排行中&#xff0c;假设今天是4月22日,则从3月22日至4月22日之…

产品运行所需的信息检索失败_为服务业注入新活力,华北工控推出服务机器人专用计算机产品方案...

近年来&#xff0c;随着人口老龄化趋势加快和信息科技革命的持续推进&#xff0c;服务机器人已经被当作社会劳动力的一部分在医疗、教育、餐饮等行业广泛应用&#xff0c;市场潜力巨大。01、需求带动消费&#xff0c;科技改变服务服务机器人是国内智能机器人产业发展最快的分支…

Windows更新没有更新提示:从windows 10升级到Windows 11,并WSL下配置cuda

文章目录从windows 10 升级到Windows 11安装WSL的安装配置cuda从windows 10 升级到Windows 11 升级的方法有很多种&#xff0c;各大网站都有。有更新提示的按更新提示操作即可。我的是一直都没有更新提示&#xff0c;也搜索过网上的一些方法&#xff0c;但都不行。还是没法更新…

js修改css样式属性_这个笔记《CSS样式的常见属性及值》,让菜鸟轻松学会包粽子...

常见样式属性及值字体:font-family-size-style: normal(正常)|italic(倾斜)|oblique-weight: normal|bold(粗体)如果组合起来编写: font: style weight size family字体大小的单位可以是 px, em, rem, pt, cm, mm, in, pc文本:colortext-align(水平对齐方式): left|center|righ…

7.java.lang.IllegalAccessException

java.lang.IllegalAccessException 没有访问权限 当应用程序要调用一个类&#xff0c;但当前的方法即没有对该类的访问权限便会出现这个异常。对程序中用了Package的情况下要注意这个异常

在 VirtualBox 中 CentOS 网络设置

转自&#xff1a;本文发表于水景一页。永久链接&#xff1a;<http://cnzhx.net/blog/minimal-centos-in-virtualbox/>。转载请保留此信息及相应链接。 4. 设置 按照上面的方法安装之后&#xff0c;还需要一些简单的设置&#xff0c;比如网络访问。然后既然是做网页服务器…

mysql 热块_mysql 优化

数据库层面&#xff1a;应用系统层面优化SQL优化SQL优化一般通过分析慢查询日志来抓取长事务高消耗的sql&#xff0c;通过结合具体业务&#xff0c;对sql逻辑进行分析and精简&#xff0c;or重写sql。通过配置slow_query_log1和log_queries_not_using_indexes1启动慢查询日志记录…

vscode C++ 分文件、文件夹编译配置与错误解决

文章目录问题includesourceout配置过程遇到的问题与解决遇到的问题1解决步骤1. ctrl shift p2. 配置json文件修改task.json文件修改launch.json可能遇到的错误1. collect2: error: ld returned 1 exit status2. /mnt/d/tmp/c/source/add.cpp:3:10: fatal error: add.h: No su…

gc就是fullgc吗 major_线上出现fullgc问题如何排查?

1.问题描述线上出现fullgc报警&#xff0c;每5分钟一次2.背景知识1. 程序执行了System.gc()执行了jmap -histo:live pid命令 在执行minor gc的时候进行的一系列检查 执行Minor GC的时候&#xff0c;JVM会检查老年代中最大连续可用空间是否大于了当前新生代所有对象的总大小。 …

修改 jquery.validate.js 支持非form标签

尝试使用markdown来写一篇blog&#xff0c;啦啦啦 源代码传送门&#xff1a;github 在特殊情况下我们使用jquery.validate.js对用户输入的内容做验证的时候&#xff0c;表单并不是一定包含在form之中&#xff0c;有可能是一个div弹层&#xff0c;有可能是嵌套在form里面的一个d…