pytorch 层和块

文章目录

  • Sequential定义
  • 自定义块
  • 顺序块
  • 修改参数
  • 参数访问
  • 嵌套模块
  • 参数初始化
      • 内置初始化
  • 参数绑定

Sequential定义

import torch
from torch import nn
from torch.nn import functional as F
'''
建立了 
线性层 输入20,输出256
Relu函数激活,
线性层 输入256,输出10
'''
net = nn.Sequential(nn.Linear(20, 256), nn.ReLU(), nn.Linear(256, 10))X = torch.rand(2, 20) # 随机2x20的矩阵
net(X)

输出:

tensor([[ 0.0343,  0.0264,  0.2505, -0.0243,  0.0945,  0.0012, -0.0141,  0.0666,-0.0547, -0.0667],[ 0.0772, -0.0274,  0.2638, -0.0191,  0.0394, -0.0324,  0.0102,  0.0707,-0.1481, -0.1031]], grad_fn=<AddmmBackward0>)

自定义块

一般来说 都要定义__init__(self) ,forward(self)

class MLP(nn.Module):# 用模型参数声明层。这里，我们声明两个全连接的层def __init__(self):# 调用MLP的父类Module的构造函数来执行必要的初始化。# 在类实例化时也可以指定其他函数参数super().__init__()self.hidden = nn.Linear(20, 256)  # 隐藏层self.out = nn.Linear(256, 10)  # 输出层# 定义模型的前向传播，即如何根据输入X返回所需的模型输出def forward(self, X):# 注意，这里我们使用ReLU的函数版本，其在nn.functional模块中定义。return self.out(F.relu(self.hidden(X)))

X = torch.rand(2, 20) # 随机2x20的矩阵
net = MLP()
net(X)

输出:

tensor([[-0.0767, -0.1261,  0.0178, -0.1888, -0.0162,  0.1049, -0.0123, -0.0307,0.2727,  0.1201],[-0.0883, -0.0730, -0.0520, -0.0634,  0.0671,  0.1336,  0.1542,  0.1397,0.3226,  0.0552]], grad_fn=<AddmmBackward0>)

顺序块

在我们可以更仔细地看看Sequential类是如何工作的， 回想一下Sequential的设计是为了把其他模块串起来。 为了构建我们自己的简化的MySequential， 我们只需要定义两个关键函数：

1.一种将块逐个追加到列表中的函数；

2.一种前向传播函数，用于将输入按追加块的顺序传递给块组成的“链条”。

class MySequential(nn.Module):def __init__(self, *args):super().__init__()for idx, module in enumerate(args):# 这里，module是Module子类的一个实例。我们把它保存在'Module'类的成员# 变量_modules中。_module的类型是OrderedDictself._modules[str(idx)] = moduledef forward(self, X):# OrderedDict保证了按照成员添加的顺序遍历它们for block in self._modules.values():X = block(X)return XX = torch.rand(2, 20) # 随机2x20的矩阵
net = MySequential(nn.Linear(20, 256), nn.ReLU(), nn.Linear(256, 10))
net(X)

net 打印:

MySequential((0): Linear(in_features=20, out_features=256, bias=True)(1): ReLU()(2): Linear(in_features=256, out_features=10, bias=True)
)

修改参数

在实例化时被随机初始化，之后为常量。 这个权重不是一个模型参数，因此它永远不会被反向传播更新。

class FixedHiddenMLP(nn.Module):def __init__(self):super().__init__()# 不计算梯度的随机权重参数。因此其在训练期间保持不变self.rand_weight = torch.rand((20, 20), requires_grad=False)self.linear = nn.Linear(20, 20)def forward(self, X):X = self.linear(X)# 使用创建的常量参数以及relu和mm函数X = F.relu(torch.mm(X, self.rand_weight) + 1)# 复用全连接层。这相当于两个全连接层共享参数X = self.linear(X)# 控制流while X.abs().sum() > 1:X /= 2return X.sum()

我们可以混合搭配各种组合块的方法。 在下面的例子中，我们以一些想到的方法嵌套块。

class NestMLP(nn.Module):def __init__(self):super().__init__()self.net = nn.Sequential(nn.Linear(20, 64), nn.ReLU(),nn.Linear(64, 32), nn.ReLU())self.linear = nn.Linear(32, 16)def forward(self, X):return self.linear(self.net(X))chimera = nn.Sequential(NestMLP(), nn.Linear(16, 20), FixedHiddenMLP())
chimera(X)

参数访问

import torch
from torch import nnnet = nn.Sequential(nn.Linear(4, 8), nn.ReLU(), nn.Linear(8, 1))
X = torch.rand(size=(2, 4))
net(X)
print(net[2].state_dict())
print(type(net[2].bias))
print(net[2].bias)
print(net[2].bias.data)

输出:

OrderedDict([('weight', tensor([[-0.0427, -0.2939, -0.1894,  0.0220, -0.1709, -0.1522, -0.0334, -0.2263]])), ('bias', tensor([0.0887]))])
<class 'torch.nn.parameter.Parameter'>
Parameter containing:
tensor([0.0887], requires_grad=True)
tensor([0.0887])

输出所有参数:

print(*[(name, param) for name, param in net.named_parameters()])

('0.weight', Parameter containing:
tensor([[ 0.2156, -0.1582, -0.4152, -0.4124],[-0.3057, -0.0712,  0.2484, -0.0808],[ 0.4292, -0.0130,  0.1097, -0.1697],[-0.2695,  0.2108,  0.3350,  0.0914],[ 0.2786, -0.0008, -0.3743, -0.3082],[-0.3755,  0.4429,  0.3567,  0.2137],[-0.3836,  0.2969,  0.2394, -0.3319],[-0.3851, -0.2058,  0.0997, -0.3783]], requires_grad=True)) ('0.bias', Parameter containing:
tensor([ 0.4810, -0.4647, -0.1412,  0.3183,  0.0421,  0.2163,  0.0356, -0.2285],requires_grad=True)) ('2.weight', Parameter containing:
tensor([[ 0.2494,  0.2436, -0.1594,  0.1958, -0.1519, -0.0336,  0.1183, -0.0206]],requires_grad=True)) ('2.bias', Parameter containing:
tensor([0.1788], requires_grad=True))

嵌套模块

def block1():return nn.Sequential(nn.Linear(4, 8), nn.ReLU(),nn.Linear(8, 4), nn.ReLU())def block2():net = nn.Sequential()for i in range(4):# 在这里嵌套net.add_module(f'block {i}', block1())return netrgnet = nn.Sequential(block2(), nn.Linear(4, 1))
print(rgnet)

Sequential((0): Sequential((block 0): Sequential((0): Linear(in_features=4, out_features=8, bias=True)(1): ReLU()(2): Linear(in_features=8, out_features=4, bias=True)(3): ReLU())(block 1): Sequential((0): Linear(in_features=4, out_features=8, bias=True)(1): ReLU()(2): Linear(in_features=8, out_features=4, bias=True)(3): ReLU())(block 2): Sequential((0): Linear(in_features=4, out_features=8, bias=True)(1): ReLU()(2): Linear(in_features=8, out_features=4, bias=True)(3): ReLU())(block 3): Sequential((0): Linear(in_features=4, out_features=8, bias=True)(1): ReLU()(2): Linear(in_features=8, out_features=4, bias=True)(3): ReLU()))(1): Linear(in_features=4, out_features=1, bias=True)
)

参数初始化

默认情况下，PyTorch会根据一个范围均匀地初始化权重和偏置矩阵， 这个范围是根据输入和输出维度计算出的。 PyTorch的nn.init模块提供了多种预置初始化方法。

内置初始化

将每个nn.Linear层的参数进行设置。

def init_normal(m):if type(m) == nn.Linear:nn.init.normal_(m.weight, mean=0, std=0.01)# nn.init.constant_(m.weight, 1) nn.init.zeros_(m.bias)
net.apply(init_normal)
net[0].weight.data[0], net[0].bias.data[0]

下面我们使用Xavier初始化方法初始化第一个神经网络层， 然后将第三个神经网络层初始化为常量值42。

def init_xavier(m):if type(m) == nn.Linear:nn.init.xavier_uniform_(m.weight)
def init_42(m):if type(m) == nn.Linear:nn.init.constant_(m.weight, 42)net[0].apply(init_xavier)
net[2].apply(init_42)
print(net[0].weight.data[0])
print(net[2].weight.data)

参数绑定

tensor([ 0.5236,  0.0516, -0.3236,  0.3794])
tensor([[42., 42., 42., 42., 42., 42., 42., 42.]])

定义一个shared 层 ，只要改变了其中一个其他的也要改变。

def my_init(m):if type(m) == nn.Linear:print("Init", *[(name, param.shape)for name, param in m.named_parameters()][0])nn.init.uniform_(m.weight, -10, 10)m.weight.data *= m.weight.data.abs() >= 5net.apply(my_init)
net[0].weight[:2]

也可以以来就自带参数

class MyLinear(nn.Module):def __init__(self, in_units, units):super().__init__()self.weight = nn.Parameter(torch.randn(in_units, units))self.bias = nn.Parameter(torch.randn(units,))def forward(self, X):linear = torch.matmul(X, self.weight.data) + self.bias.datareturn F.relu(linear)linear = MyLinear(5, 3)
linear.weight

Parameter containing:
tensor([[ 0.1775, -1.4539,  0.3972],[-0.1339,  0.5273,  1.3041],[-0.3327, -0.2337, -0.6334],[ 1.2076, -0.3937,  0.6851],[-0.4716,  0.0894, -0.9195]], requires_grad=True)

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/789264.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

30-ORM：CURD神器GORM包介绍及实战

30-ORM：CURD神器GORM包介绍及实战

目前&#xff0c;GitHub上 star数最多的是GORM&#xff0c;它也是当前Go项目中使用最多的ORM。 GORM基础知识介绍 GORM是Go语言的ORM包&#xff0c;功能强大&#xff0c;调用方便。像腾讯、华为、阿里这样的大厂&#xff0c;都在使用GORM来构建企业级的应用。 功能全。使用O…
阅读更多...
从零开始：Flutter应用上架iOS的完整流程解析

从零开始：Flutter应用上架iOS的完整流程解析

引言 &#x1f680; Flutter作为一种跨平台的移动应用程序开发框架&#xff0c;为开发者提供了便利&#xff0c;使他们能够通过单一的代码库构建出高性能、高保真度的应用程序&#xff0c;同时支持Android和iOS两个平台。然而&#xff0c;完成Flutter应用程序的开发只是第一步…
阅读更多...
Linux安装Apache保姆级教程

Linux安装Apache保姆级教程

文章目录 前言一、安装Apache1.安装Apache2.开启服务3.查看服务的状态4.网络请求测试5.将服务设置为自启 二、外部电脑访问Apache设置方法一&#xff1a;关闭防火墙方法二&#xff1a;添加防火墙端口&#xff08;Apache默认端口&#xff1a;80&#xff0c;如果修改了Apache端口…
阅读更多...
边缘网关在智能制造工厂中的创新应用及其带来的显著成效-天拓四方

边缘网关在智能制造工厂中的创新应用及其带来的显著成效-天拓四方

在数字化浪潮席卷之下&#xff0c;智能制造工厂正面临着前所未有的数据挑战与机遇。边缘网关&#xff0c;作为数据处理与传输的关键节点&#xff0c;在提升工厂运营效率、确保数据安全方面发挥着日益重要的作用。本文将通过一个具体案例&#xff0c;详细阐述边缘网关在智能制造…
阅读更多...
[C语言实现]数据结构二叉树之《我种下的树会为我遮阳挡雨》

[C语言实现]数据结构二叉树之《我种下的树会为我遮阳挡雨》

&#x1f970;作者: FlashRider &#x1f30f;专栏: 初阶数据结构 &#x1f356;知识概要&#xff1a;详解二叉树的概念、二叉树的遍历、以及代码实现。 目录 树的基本概念 树的存储结构与二叉树的实现 树的存储 什么是二叉树 二叉链存储二叉树 二叉树的代码实现 树的基本…
阅读更多...
代码随想录算法训练营第三十六天|leetcode416题

代码随想录算法训练营第三十六天|leetcode416题

一、leetcode第416题 本题要求数组分成两个子集&#xff0c;子集的和是否相等&#xff0c;可以转化为0-1背包问题&#xff0c;即背包容量为数组元素和的1/2&#xff0c;物品大小即为元素大小。设置dp数组&#xff0c;dp[i]表示为背包容量为i能放置的元素大小&#xff0c;可知d…
阅读更多...
车载电子电器架构 —— 局部网络管理汇总

车载电子电器架构 —— 局部网络管理汇总

车载电子电器架构 —— 局部网络管理汇总 我是穿拖鞋的汉子，魔都中坚持长期主义的汽车电子工程师。 老规矩，分享一段喜欢的文字，避免自己成为高知识低文化的工程师： 屏蔽力是信息过载时代一个人的特殊竞争力，任何消耗你的人和事，多看一眼都是你的不对。非必要不费力证明…
阅读更多...
黄金票据的复现

黄金票据的复现

实验环境以及工具 服务器&#xff1a;Windows server 2003 用户&#xff1a;Windows 7旗舰版 工具&#xff1a;mimikatz 搭建服务器环境 参考&#xff1a;内网横向——域渗透之黄金票据复现-CSDN博客 创建用户 使用gpupdate刷新策略&#xff1b; 搭建win7环境 设置ip ‘…
阅读更多...
【c++20】CPP-20-STL-Cookbook 学习笔记

【c++20】CPP-20-STL-Cookbook 学习笔记

Cpp20-STL-Cookbook-src简单的阅读笔记。c++20更好用了，比如STL 包含了一些这样的辅助函数，比如 make_pair() 和make_tuple() 等。 这些代码现在已经过时了，但是为了与旧代码兼容，会保留这些代码。比如 可以声明是一个std的string：Sum s1 {1u, 2.0, 3, 4.0f }?
阅读更多...
二维相位解包理论算法和软件【全文翻译-将相位分解为 “非旋转 “和 “旋转 “（2.4）】

二维相位解包理论算法和软件【全文翻译-将相位分解为 “非旋转 “和 “旋转 “（2.4）】

2.4 将相位分解为 "非旋转 "和 "旋转 "部分 借用电磁场理论，可以用发散和卷曲来指定矢量场[9][10]。当且仅当矢量函数 F(r)（以及由其描述的场）在整个域 D 中不旋转或无旋转时，我们称之为矢量函数 F(r)、 因此，如果等式 2.30（也是第 2.2 节关于路径…
阅读更多...
ubuntu16.04安装vscode那些事

ubuntu16.04安装vscode那些事

1)安装deb包。 用ftp传输到ubuntu后&#xff0c;进入ftp的目录下&#xff0c; sudo dpkg -i code_1.32.3-1552606978_amd64.deb 安装完成后&#xff0c;进入/usr/share/applications/&#xff0c;找到vscode的图标&#xff0c;右键&#xff0c; copy to &#xff0c;选择deskt…
阅读更多...
揭秘糖尿病患者稳定控制血糖的关键！

揭秘糖尿病患者稳定控制血糖的关键！

患者在就诊之前一直使用的二甲双胍和达格列净这两种降糖药物&#xff0c;这两种药对于控制血糖是有一定效果的。北京崇文门医院朱学敏主任的建议是继续服用&#xff0c;然后患者空腹血糖在7-8mmol/L左右&#xff0c;餐后血糖稍高&#xff0c;达到9-10mmol/L&#xff0c;但总体上…
阅读更多...
停机部署、蓝绿部署、滚动部署和金丝雀部署对比——筑梦之路

停机部署、蓝绿部署、滚动部署和金丝雀部署对比——筑梦之路

停机部署&#xff08;Shutdown Deployment&#xff09; 停机部署策略是最简单直接的部署方式&#xff0c;即在升级过程中完全停止当前运行的应用&#xff0c;并在升级完成后重新启动。这种方法适用于那些可以承受短暂停机的应用&#xff0c;例如简单的静态网页或者对可用性要求…
阅读更多...
外贸建站公司排名

外贸建站公司排名

站易wodpress建站 设计非常简洁、非常人性化&#xff0c;符合欧美人喜欢的简洁网站风格。 http://www.zhanyes.com 简站wordpress主题 简站wordpress主题&#xff0c;让建网站更简单&#xff0c;始于2013年&#xff0c;崇尚简约、鄙视繁琐、化繁为简、实用即可。 https://w…
阅读更多...
单链表求集合的交集

单链表求集合的交集

#define _CRT_SECURE_NO_WARNINGS #include<stdio.h> #include<stdlib.h> typedef int ElemType; typedef struct LinkNode {ElemType data;LinkNode* next; }LinkNode, * LinkList; //尾插法建立单链表 void creatLinkList(LinkList& L) {L (LinkNode*)mallo…
阅读更多...
外汇110：交易中，是否真的存在确定性？

外汇110：交易中，是否真的存在确定性？

我们看问题的角度不同&#xff0c;得到的结果必然也是不一样的。我们不能否认任何一种可能性&#xff0c;但一切需要从逻辑出发。交易中&#xff0c;最大的确定性就是市场是不确定的&#xff0c;什么样的行情都可能发生。当然&#xff0c;绝对的确定性是不存在的&#xff0c;但…
阅读更多...
nginx配置多vue项目

nginx配置多vue项目

1. 找到linux docker安装好的nginx目录文件 进入nginx内 把打包好的vue项目放在html文件下 如上 三个文件夹下对应着三个不同的vue项目 2. 配置default.conf的配置文件&#xff0c; 一个nginx配置文件可以多个项目进行代理 进入到conf 找到conf.d下面的default.conf 文件…
阅读更多...
09. 【Android教程】表格布局 TableLayout

09. 【Android教程】表格布局 TableLayout

学完了 Android 两个经典布局&#xff0c;是不是觉得已经可以应对大多数场景了&#xff1f;我记得当我学完 LinearLayout 和 RelativeLayout 之后&#xff0c;我觉得 UI 布局已经可以出师了&#xff0c;在本人从事了多年的 Android 研究之后&#xff0c;可以很负责任的告诉你&a…
阅读更多...
STM32 uC/OS-III

STM32 uC/OS-III

What is uC/OS-III? C/OS-III 的发音为“Micro C O S Three”&#xff0c;这意味着 C/OS-III 是基于 C 语言编写的第三代 小型操作系统&#xff0c;当然这里所说的第三代是相对于 C/OS 的前两个版本 C/OS 和 C/OS-II 而言 的&#xff0c;后面也会介绍这三个版本的差别。C/OS/…
阅读更多...
.vimrc文件的语句语法

.vimrc文件的语句语法

本文结构&#xff1a; a、简介 b、详细解释其中的一些常见语句和语法。 a、.vimrc 文件是 Vim 编辑器用于配置用户设置和自定义行为的文件。当 Vim 启动时&#xff0c;它会读取 .vimrc 文件中的命令和设置&#xff0c;并根据这些指令来配置编辑器的行为。 b、.vimrc 文件中…
阅读更多...
最新文章

Copyright @ 2022~2023