梳理 Pytorch 19个方面,70个核心操作全总结!

最新写了很多关于 Pytorch 的文章,喜欢可以从0开始学习:

  • 小白学 PyTorch 系列:这一次,我准备了 20节 PyTorch 中文课程
  • 小白学 PyTorch 系列:54个超强 pytorch 操作
  • 小白学 PyTorch 系列:9个技巧让你的 PyTorch 模型训练飞快!
  • 小白学 PyTorch 系列:PyTorch 进阶指南,10个必须知道的原则
  • 小白学 PyTorch 系列:Pytorch,16个超强转换函数全总结!!
  • 小白学 PyTorch 系列:手把手教你使用 PyTorch 搭建神经网络
  • 小白学 PyTorch 系列:Keras 3.0发布:全面拥抱 PyTorch

最近群里有很多小伙伴聊起来Pytorch,说是太难用,想要放弃,想要say bye!

但我是想说你没用过TensorFlow,Pytorch已经是很好用了。而且完全可以作为大家入门深度学习的框架来使用和学习。

Pytorch作为当下最流行的一种深度学习框架,提供了大量操作用于创建和训练神经网络。

本文先从Pytorch的基础操作开始分享,涉及到:

  • 创建张量

  • 张量属性

  • 张量索引、切片与拼接

  • 张量变换

  • 数学运算

  • 汇总统计

  • 梯度相关

  • 数据管理

  • 其他操作基础操作

  • 自动求导

  • 神经网络模块

  • 数据加载与处理

  • 损失函数

  • 优化器

  • 模型训练与验证

  • 模型保存与加载

  • GPU 加速

  • 模型调优

  • 迁移学习

19个方面,涉及到70个细节操作,这部分大家花一天的时间,动手操作一下,在后面的使用中会熟悉很多。

老规矩:大家伙如果觉得文章还不错!欢迎大家点个赞、转个发~

有同学想要获取完整资料的,可以加入我们社群

技术交流&资料获取

独学而无优则孤陋而寡闻,技术要学会交流、分享,不建议闭门造车。

建立了 Pytorch 技术与面试交流群,本文详细资料、实战项目、面试真题,均可加交流群获取,群友已超过2000人,添加时最好的备注方式为:来源+兴趣方向,方便找到志同道合的朋友。

方式①、微信搜索公众号:Python学习与数据挖掘,后台回复:交流
方式②、添加微信号:dkl88194,备注:交流

创建张量

torch.tensor(data): 从数据创建张量

这个函数会根据提供的数据创建一个新的张量。数据可以是列表、数组等。

import torchdata = [1, 2, 3, 4, 5]
tensor_data = torch.tensor(data)
print(tensor_data)

torch.zeros(size): 创建元素全为0的张量

创建一个指定大小的张量,其中所有元素的值都为0。

import torchsize = (2, 3)
zeros_tensor = torch.zeros(size)
print(zeros_tensor)

torch.ones(size): 创建元素全为1的张量

创建一个指定大小的张量,其中所有元素的值都为1。

import torchsize = (2, 3)
ones_tensor = torch.ones(size)
print(ones_tensor)

torch.empty(size): 创建未初始化的张量

创建一个指定大小的未初始化张量,其值取决于内存的状态。

import torchsize = (2, 3)
empty_tensor = torch.empty(size)
print(empty_tensor)

torch.randn(size): 创建服从标准正态分布的张量

创建一个指定大小的张量,其中的元素值是从标准正态分布中随机抽取的。

import torchsize = (2, 3)
randn_tensor = torch.randn(size)
print(randn_tensor)

torch.arange(start, end, step): 创建一个范围内的一维张量

创建一个一维张量,其中的元素值从起始值到结束值,步长为给定的步长。

import torchstart = 0
end = 5
step = 1
arange_tensor = torch.arange(start, end, step)
print(arange_tensor)

torch.linspace(start, end, steps): 创建一个在指定范围内均匀间隔的张量

创建一个一维张量,其中的元素值在指定范围内均匀分布。

import torchstart = 0
end = 5
steps = 5
linspace_tensor = torch.linspace(start, end, steps)
print(linspace_tensor)

张量属性

.dtype: 获取张量的数据类型

返回张量中元素的数据类型。

import torchtensor = torch.tensor([1, 2, 3])
print(tensor.dtype)

.shape: 获取张量的形状

返回一个元组,表示张量的形状。

import torchtensor = torch.tensor([[1, 2, 3], [4, 5, 6]])
print(tensor.shape)

.device: 获取张量所在的设备

返回一个字符串,表示张量所在的设备,如’cpu’或’cuda:0’。

import torchtensor = torch.tensor([1, 2, 3])
print(tensor.device)

张量索引、切片与拼接

tensor[index]: 索引操作

使用索引来访问张量中的元素。

import torchtensor = torch.tensor([[1, 2, 3], [4, 5, 6]])
element = tensor[0, 1]  # Accesses the element at row 0, column 1
print(element)

tensor[start:end]: 切片操作

使用切片来获取张量的子张量。

import torchtensor = torch.tensor([[1, 2, 3], [4, 5, 6]])
sub_tensor = tensor[:, 1:]  # Slices the tensor to get all rows and columns starting from the second column
print(sub_tensor)

torch.cat(tensors, dim): 在给定维度上连接张量

沿着指定维度将多个张量连接在一起。

import torchtensor1 = torch.tensor([[1, 2], [3, 4]])
tensor2 = torch.tensor([[5, 6], [7, 8]])
concatenated_tensor = torch.cat((tensor1, tensor2), dim=0)  # Concatenates along the row dimension
print(concatenated_tensor)

torch.stack(tensors, dim): 在新维度上堆叠张量

在一个新的维度上堆叠多个张量。

import torchtensor1 = torch.tensor([1, 2, 3])
tensor2 = torch.tensor([4, 5, 6])
stacked_tensor = torch.stack((tensor1, tensor2), dim=1)  # Stacks tensors along a new dimension
print(stacked_tensor)

张量变换

tensor.view(shape): 返回给定形状的张量视图

返回一个具有指定形状的新张量,原始张量的形状必须与新形状兼容。

import torchtensor = torch.tensor([[1, 2], [3, 4]])
reshaped_tensor = tensor.view(1, 4)  # Reshapes the tensor to a 1x4 tensor
print(reshaped_tensor)

tensor.reshape(shape): 改变张量的形状

返回一个具有指定形状的新张量,原始张量的元素数量必须与新形状一致。

import torchtensor = torch.tensor([[1, 2], [3, 4]])
reshaped_tensor = tensor.reshape(1, 4)  # Reshapes the tensor to a 1x4 tensor
print(reshaped_tensor)

tensor.transpose(dim0, dim1): 交换两个维度

交换张量中两个维度的位置。

import torchtensor = torch.tensor([[1, 2], [3, 4]])
transposed_tensor = tensor.transpose(0, 1)  # Swaps the first and second dimensions
print(transposed_tensor)

tensor.permute(*dims): 按照指定顺序排列张量的维度

按照给定顺序重新排列张量的维度。

import torchtensor = torch.tensor([[[1, 2], [3, 4]], [[5, 6], [7, 8]]])
permuted_tensor = tensor.permute(1, 0, 2)  # Permutes the dimensions to (1, 0, 2)
print(permuted_tensor)

tensor.squeeze(): 删除所有长度为1的维度

删除张量中所有长度为1的维度。

import torchtensor = torch.tensor([[[1, 2], [3, 4]]])
squeezed_tensor = tensor.squeeze()  # Removes the single-dimensional entries
print(squeezed_tensor)

tensor.unsqueeze(dim): 在指定位置增加一个维度

在指定位置增加一个长度为1的新维度。

import torchtensor = torch.tensor([[1, 2], [3, 4]])
unsqueezed_tensor = tensor.unsqueeze(0)  # Adds a dimension at index 0
print(unsqueezed_tensor)

数学运算

torch.add(x, y): 加法

对两个张量进行逐元素加法运算。

import torchx = torch.tensor([1, 2, 3])
y = torch.tensor([4, 5, 6])
result = torch.add(x, y)
print(result)

torch.sub(x, y): 减法

对两个张量进行逐元素减法运算。

import torchx = torch.tensor([1, 2, 3])
y = torch.tensor([4, 5, 6])
result = torch.sub(x, y)
print(result)

torch.mul(x, y): 乘法

对两个张量进行逐元素乘法运算。

import torchx = torch.tensor([1, 2, 3])
y = torch.tensor([4, 5, 6])
result = torch.mul(x, y)
print(result)

torch.div(x, y): 除法

对两个张量进行逐元素除法运算。

import torchx = torch.tensor([1.0, 2.0, 3.0])
y = torch.tensor([4.0, 5.0, 6.0])
result = torch.div(x, y)
print(result)

torch.matmul(x, y): 矩阵乘法

计算两个张量的矩阵乘法。

import torchx = torch.tensor([[1, 2], [3, 4]])
y = torch.tensor([[5, 6], [7, 8]])
result = torch.matmul(x, y)
print(result)

torch.pow(base, exponent): 幂运算

计算张量的幂。

import torchbase = torch.tensor([1, 2, 3])
exponent = 2
result = torch.pow(base, exponent)
print(result)

torch.exp(tensor): 指数运算

计算张量中所有元素的指数。

import torchtensor = torch.tensor([1.0, 2.0, 3.0])
result = torch.exp(tensor)
print(result)

torch.sqrt(tensor): 开方运算

计算张量中所有元素的平方根。

import torchtensor = torch.tensor([1.0, 4.0, 9.0])
result = torch.sqrt(tensor)
print(result)

汇总统计

torch.sum(input): 求和

计算张量中所有元素的和。

import torchtensor = torch.tensor([[1, 2], [3, 4]])
result = torch.sum(tensor)
print(result)

torch.mean(input): 求平均值

计算张量中所有元素的平均值。

import torchtensor = torch.tensor([[1, 2], [3, 4]], dtype=torch.float)
result = torch.mean(tensor)
print(result)

torch.max(input): 求最大值

找出张量中所有元素的最大值。

import torchtensor = torch.tensor([[1, 2], [3, 4]])
result = torch.max(tensor)
print(result)

torch.min(input): 求最小值

找出张量中所有元素的最小值。

import torchtensor = torch.tensor([[1, 2], [3, 4]])
result = torch.min(tensor)
print(result)

torch.std(input): 求标准差

计算张量中所有元素的标准差。

import torchtensor = torch.tensor([[1, 2], [3, 4]], dtype=torch.float)
result = torch.std(tensor)
print(result)

torch.var(input): 求方差

计算张量中所有元素的方差。

import torchtensor = torch.tensor([[1, 2], [3, 4]], dtype=torch.float)
result = torch.var(tensor)
print(result)

梯度相关

tensor.requires_grad_(): 标记张量需要计算梯度

标记张量以便在反向传播中计算梯度。

import torchtensor = torch.tensor([1.0, 2.0, 3.0], requires_grad=True)

tensor.grad: 获取张量的梯度

获取张量的梯度值,前提是该张量需要计算梯度。

import torchtensor = torch.tensor([1.0, 2.0, 3.0], requires_grad=True)
tensor.sum().backward()
print(tensor.grad)

tensor.backward(): 计算梯度

计算张量的梯度值,前提是该张量需要计算梯度。

import torchtensor = torch.tensor([1.0, 2.0, 3.0], requires_grad=True)
tensor.sum().backward()

数据管理

tensor.to(device): 将张量移动到指定的设备上(如GPU)

将张量移动到指定的设备上,例如GPU。

import torchtensor = torch.tensor([1, 2, 3])
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
tensor = tensor.to(device)
print(tensor.device)

torch.save(obj, f): 保存对象到文件

将对象保存到文件中。

import torchtensor = torch.tensor([1, 2, 3])
torch.save(tensor, 'tensor.pt')  # Save tensor to file

torch.load(f): 从文件加载对象

从文件中加载对象。

import torchtensor = torch.load('tensor.pt')  # Load tensor from file
print(tensor)

其他操作基础操作

torch.nn.functional.relu(input): 应用ReLU激活函数

对输入张量应用ReLU激活函数。

import torch.nn.functional as F
import torchinput = torch.tensor([-1, 0, 1], dtype=torch.float)
output = F.relu(input)
print(output)

torch.nn.Conv2d(in_channels, out_channels, kernel_size): 创建二维卷积层

创建一个二维卷积层。

import torch.nn as nn
import torchconv_layer = nn.Conv2d(in_channels=3, out_channels=16, kernel_size=3)
input = torch.randn(1, 3, 64, 64)
output = conv_layer(input)
print(output.shape)

torch.optim.SGD(params, lr): 使用SGD优化器

使用随机梯度下降(SGD)优化器来优化模型参数。

import torch.optim as optim
import torchparams = torch.tensor([1.0, 2.0, 3.0], requires_grad=True)
optimizer = optim.SGD([params], lr=0.1)

自动求导(Autograd)

自动求导是 PyTorch 中一个重要的功能,能够自动计算张量的梯度。

import torchx = torch.tensor([1.0, 2.0, 3.0], requires_grad=True)
y = x ** 2
y.backward(torch.tensor([1.0, 1.0, 1.0]))  # 计算 y 对 x 的梯度
print(x.grad)  # 输出梯度值

神经网络模块(nn.Module)

使用 nn.Module 类来定义神经网络模型,可以方便地管理和组织模型的结构。

import torch.nn as nn
import torchclass Net(nn.Module):def __init__(self):super(Net, self).__init__()self.fc = nn.Linear(10, 1)def forward(self, x):return self.fc(x)model = Net()

数据加载与处理(Data Loading and Processing)

使用 DataLoader 和 Dataset 类来加载和处理数据集。

import torch
from torch.utils.data import DataLoader, Datasetclass CustomDataset(Dataset):def __init__(self, data):self.data = datadef __len__(self):return len(self.data)def __getitem__(self, index):return self.data[index]data = [1, 2, 3, 4, 5]
dataset = CustomDataset(data)
dataloader = DataLoader(dataset, batch_size=2, shuffle=True)

损失函数(Loss Functions)

使用损失函数来衡量模型输出与真实标签之间的差异。

import torch.nn as nn
import torchcriterion = nn.CrossEntropyLoss()
output = torch.tensor([[0.1, 0.2, 0.7], [0.3, 0.6, 0.1]])
target = torch.tensor([2, 1])
loss = criterion(output, target)
print(loss)

优化器(Optimizers)

使用优化器来更新模型的参数,常见的优化器包括 SGD、Adam 等。

import torch.optim as optim
import torchmodel = Net()
optimizer = optim.SGD(model.parameters(), lr=0.01)

模型训练与验证(Model Training and Validation)

使用 PyTorch 来训练和验证神经网络模型。

import torch.nn as nn
import torch.optim as optim
import torchmodel = Net()
criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(model.parameters(), lr=0.01)for epoch in range(10):# 训练模型for data in dataloader:inputs, labels = dataoptimizer.zero_grad()outputs = model(inputs)loss = criterion(outputs, labels)loss.backward()optimizer.step()# 验证模型with torch.no_grad():# 计算准确率等指标

模型保存与加载(Model Saving and Loading)

在训练完成后,将模型保存到文件中以便后续使用。

import torchtorch.save(model.state_dict(), 'model.pth')  # 保存模型参数

GPU 加速(GPU Acceleration)

利用 GPU 加速计算可以显著提高模型训练的速度。

import torchdevice = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
model = Net().to(device)  # 将模型移动到 GPU 上

模型调优(Model Tuning)

使用交叉验证和超参数搜索来调优模型,以提高模型性能。

from sklearn.model_selection import GridSearchCV
import torchparameters = {'lr': [0.01, 0.1, 1.0]}
model = Net()
optimizer = optim.SGD(model.parameters(), lr=0.01)
grid_search = GridSearchCV(optimizer, parameters)

迁移学习(Transfer Learning)

迁移学习是一种常见的训练技巧,可以使用预训练的模型来加速模型的训练过程。

import torchvision.models as models
import torchpretrained_model = models.resnet18(pretrained=True)
# 将预训练模型的参数冻结
for param in pretrained_model.parameters():param.requires_grad = False

最后

掌握以上19种操作方法可以让你更好地使用 PyTorch 进行深度学习任务。这些操作方法涵盖了张量的创建、变换、数学运算、梯度计算、模型构建、数据处理等方面,是使用 PyTorch 进行深度学习的基础操作。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/3276.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

wps屏幕录制怎么用?分享使用方法!

数字化时代,屏幕录制已成为我们学习、工作和娱乐中不可或缺的一部分。无论是制作教学视频、分享游戏过程,还是录制网络会议,屏幕录制都能帮助我们轻松实现。WPS作为一款功能强大的办公软件,其屏幕录制功能也备受用户青睐。本文将详…

代码随想录:二叉树15-17

目录 404.左叶子之和 题目 代码(后序递归) 代码(前序迭代) 513.找树左下角的值 题目 代码(层序迭代) 112.路径总和 题目 代码(前序迭代) 112.路径总和II 题目 代码&…

记录如何用php将多个字符替换成同一个字符

在PHP中,如果你想要将多个不同的字符替换成同一个字符,可以使用str_replace()函数。这个函数可以接收一个包含需要被替换的字符的数组,以及一个表示替换目标的字符串。 以下是使用str_replace()进行多字符替换的基本示例: $text…

Linux读写文件

前言 学习了文件系统,就能理解为什么说Linux下一切皆文件。 语言层面的操作 在c语言的学习中我们可以使用fopen()函数对文件进行操作。 int main() {//FILE * fp fopen("./log.txt", "w");//FILE * fp fopen("./log.txt", "…

TablePlus for Mac/Win:开启高效数据开发新纪元

在当今数字化时代,数据的重要性日益凸显。无论是企业还是个人,都需要一款强大而实用的本地原生数据开发软件来提升工作效率。而 TablePlus for Mac/Win 正是这样一款卓越的工具,它为用户带来了全新的体验,让数据开发变得更加轻松、…

第1次作业

目录 重点内容提要一、误差度量二、浮点数系统三、误差传播四、数值稳定性 作业解析 重点内容提要 一、误差度量 二、浮点数系统 三、误差传播 四、数值稳定性 作业解析

快速部署 Garnet

快速部署 Garnet Garnet 是 Microsoft Research 推出的一种新型远程缓存存储,其设计速度极快、可扩展且延迟低。 Garnet 在单个节点内是线程可扩展的。它还支持分片集群执行、复制、检查点、故障转移和事务。它可以在主内存以及分层存储(例如 SSD 和 Az…

2024/4/25 红外遥控代码

51完结撒花&#xff01;&#xff01;&#xff01; 这块如果IR听不懂可以看看那个状态机的相关视频。 Int0.c #include <REGX52.H>void Int0_Init(void) {IT01;IE00;EX01;EA1;PX01; }//void Int0_Routine(void) interrupt 0 //{ // Num; //} Timer0.c #include …

C#中=> “Lambda运算符”

在C#中&#xff0c;> 符号被称为“Lambda运算符”或“Lambda箭头”。它用于连接Lambda表达式中的参数列表和表达式主体&#xff0c;表示函数的输入和输出关系。因此&#xff0c;Lambda运算符充当了将参数映射到表达式的箭头。 Lambda运算符的左侧是参数列表&#xff0c;它们…

GRASSHOPPER电池Expression

Grasshopper中如果要实现简单的条件if语句的效果&#xff0c;可以使用电池Expression。 举例&#xff1a;获取两个数的差值&#xff0c;永远用大数减去小数

代码随想录算法训练营day45

70. 爬楼梯 &#xff08;进阶&#xff09; 五部曲&#xff1a; dp数组下标及含义&#xff1a;爬到有i个台阶的楼顶&#xff0c;有dp[i]种方法dp数组初始化&#xff1a;dp[0]1递推公式&#xff1a;dp[i] dp[i - j]遍历方向&#xff1a;target放在外循环&#xff0c;将nums放在…

OpenUI在windows下部署使用

OpenUI OpenUI是一个基于Python的AI对话平台&#xff0c;支持接入多种AI模型。 通过聊天的方式来进行UI设计&#xff0c;你可以通过文字来描述你想要的UI界面&#xff0c;OpenUI可以帮你实时进行渲染出效果 安装OpenUI 这里预设你的电脑上已安装git、Python和pip&#xff0…

Migrations

Entity Framework的Migrations工具是一个版本控制和数据库迁移的系统&#xff0c;它允许开发者以编程方式管理数据库模式的变更。 在使用Entity Framework时&#xff0c;开发者可以通过代码先行&#xff08;Code First&#xff09;的方式定义数据模型&#xff0c;然后使用Migr…

OSI网络七层协议<随手笔记>

1.OSI OSI&#xff08;Open System Interconnect&#xff09;&#xff0c;即开放式系统互连。 一般都叫OSI参考模型&#xff0c;是ISO组织在1985年研究的网络互连模型。该体系结构标准定义了网络互连的七层框架&#xff08;物理层、数据链路层、网络层、传输层、会话层、表示层…

关于腾讯云ocr银行卡识别报错url_1.URL is not a constructor

使用腾讯云进行ocr银行卡识别报错url_1.URL is not a constructor的问题各位怎么解决的能否留言告知一二 在线代码调试可以&#xff0c;但是js使用报错url_1.URL is not a constructor export function ocr(dataUrl){//dataUrl已转换为base64// Depends on tencentcloud-sdk-n…

账号安全及应用

一、账号安全控制 1.1系统账号清理 将用户设置为无法登陆 锁定账户 删除账户 设定账户密码&#xff0c;本质锁定 锁定配置文件-chattr&#xff1a; -a 让文件或目录仅供附加用途。只能追加 -i 不得任意更动文件或目录。 1.2密码安全控制 chage 1.3历史命令 history&am…

练习-字符串逆序统计

需求 完成字符串的逆序以及统计 设计一个程序&#xff0c;要求只能输入长度低于31的字符串&#xff0c;否则提示用户重新输入 打印如下内容: 您输入的字符串:abcabc 长度:6 逆序后为:cbacba 字符统计结果:{a: 2, b: 2, c: 2} 分析 1. 输入字符串(while循环) 2. 字符串长度小…

考研数学精选题目015

题目 lim ⁡ n → ∞ sin ⁡ [ π ln ⁡ ( 2 n 1 ) − ln ⁡ ( 2 n ) ] \mathop {\lim }\limits_{n \to \infty } \sin \left[ {{\pi \over {\ln \left( {2n 1} \right) - \ln \left( {2n} \right)}}} \right] n→∞lim​sin[ln(2n1)−ln(2n)π​] 来源 东南大学真题 证明 li…

Oracle数据库锁表问题解决指南:查询、释放与监控

在Oracle数据库管理中&#xff0c;处理锁表问题和查询正在运行的SQL是常见的任务。以下是针对这些需求的详细解析和操作步骤。 1. 查询锁定的表和对应会话 当数据库中出现性能问题或某些操作无法完成时&#xff0c;首先需要确认是否有锁表现象。以下SQL查询可以帮助你识别当前…

Clickhouse离线安装教程

https://blog.51cto.com/u_15060531/4174350 1. 前置 1.1 检查服务器架构 服务器&#xff1a;Centos7.X 需要确保是否x86_64处理器构架、Linux并且支持SSE 4.2指令集 grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 …