pytorch基础1-pytorch介绍与张量操作

专题链接：https://blog.csdn.net/qq_33345365/category_12591348.html

本教程翻译自微软教程：https://learn.microsoft.com/en-us/training/paths/pytorch-fundamentals/

初次编辑：2024/3/1；最后编辑：2024/3/1

这是本教程的第一篇，分为：

  1. 介绍pytorch基础
  2. 张量操作

另外本人还有pytorch CV相关的教程，见专题：

https://blog.csdn.net/qq_33345365/category_12578430.html

介绍

大多数机器学习工作流程都涉及处理数据、创建模型、使用超参数优化模型、保存和推断已训练的模型。本模块介绍在 PyTorch 中实现的完整机器学习（ML）工作流程，PyTorch 是一种流行的 Python ML 框架。

本教程使用 FashionMNIST 数据集来训练一个神经网络模型，该模型可以识别图像，如 T 恤/上衣、裤子、套衫、连衣裙、外套、凉鞋、衬衫、运动鞋、包包或短靴。

在构建模型之前，会展示构建神经网络模型的关键概念。

学习目标：

  1. 学习如何在 CPU 和 GPU 上使用张量（Tensors）
  2. 理解如何管理、扩展和规范化数据集
  3. 使用神经网络构建图像识别模型
  4. 学习如何优化模型
  5. 学习如何提高模型推理性能

先修要求：

基本的 Python 知识

什么是张量 Tensor

张量

张量是一种专门的数据结构，非常类似于数组和矩阵。PyTorch使用张量来编码模型的输入和输出，以及模型的参数。张量类似于NumPy数组和ndarrays，但是张量可以在GPU或其他硬件加速器上运行。事实上，张量和NumPy数组通常可以共享相同的底层内存地址，具有称为bridge-to-np-label的功能，这消除了复制数据的需要。张量还针对自动微分进行了优化。

设置基本环境：

import torch
import numpy as np

初始化一个张量

张量可通过多种方式初始化，见如下例子：

1. 直接通过数据初始化

张量可以直接从数据中创建。数据类型是自动推断的。

data = [[1, 2],[3, 4]]
x_data = torch.tensor(data)

2. 从一个NumPy数组

张量可以从NumPy数组创建，反之亦然。由于numpy格式的np_array和张量格式x_np在这里共享相同的内存位置，改变其中一个的值将会改变另一个的值。

np_array = np.array(data)
x_np = torch.from_numpy(np_array)print(f"Numpy np_array value: \n {np_array} \n")
print(f"Tensor x_np value: \n {x_np} \n")np.multiply(np_array, 2, out=np_array)print(f"Numpy np_array after * 2 operation: \n {np_array} \n")
print(f"Tensor x_np value after modifying numpy array: \n {x_np} \n")

输出是：

Numpy np_array value: [[1 2][3 4]] Tensor x_np value: tensor([[1, 2],[3, 4]], dtype=torch.int32) Numpy np_array after * 2 operation: [[2 4][6 8]] Tensor x_np value after modifying numpy array: tensor([[2, 4],[6, 8]], dtype=torch.int32)

3. 从其他张量

x_ones = torch.ones_like(x_data) # retains the properties of x_data
print(f"Ones Tensor: \n {x_ones} \n")x_rand = torch.rand_like(x_data, dtype=torch.float) # overrides the datatype of x_data
print(f"Random Tensor: \n {x_rand} \n")

输出是：

Ones Tensor: tensor([[1, 1],[1, 1]]) Random Tensor: tensor([[0.7907, 0.9041],[0.4805, 0.0954]])

4. 使用随机数或常量

shape由张量维度的元组定义，它设置了张量的行数和列数。在下面的函数中，shape确定了输出张量的维度。

shape = (2,3)
rand_tensor = torch.rand(shape)
ones_tensor = torch.ones(shape)
zeros_tensor = torch.zeros(shape)print(f"Random Tensor: \n {rand_tensor} \n")
print(f"Ones Tensor: \n {ones_tensor} \n")
print(f"Zeros Tensor: \n {zeros_tensor}")

输出：

Random Tensor: tensor([[0.5893, 0.4485, 0.6525],[0.9083, 0.2913, 0.0752]]) Ones Tensor: tensor([[1., 1., 1.],[1., 1., 1.]]) Zeros Tensor: tensor([[0., 0., 0.],[0., 0., 0.]])

张量的属性 Attributes of a tensor

张量属性描述了他们的形状、数据类型和所处的设备。

tensor = torch.rand(3,4)print(f"Shape of tensor: {tensor.shape}")
print(f"Datatype of tensor: {tensor.dtype}")
print(f"Device tensor is stored on: {tensor.device}")

输出是：

Shape of tensor: torch.Size([3, 4])
Datatype of tensor: torch.float32
Device tensor is stored on: cpu

有100多个张量操作，包括算术运算、线性代数、矩阵操作（如转置、索引和切片）。可以在这找到全面的描述。

这些操作中的每一个都可以在GPU上运行（通常比在CPU上速度更快）。

  • CPU的核心数少于100个。核心是执行实际计算的单元。每个核心按顺序处理任务（一次处理一个任务）。

  • GPU有数千乃至上万个核心。GPU核心以并行处理的方式处理计算，任务被分割并在不同核心上处理。这就是为什么在大多数情况下GPU比CPU更快的原因。GPU在处理大数据时表现比小数据更好，因为更有利于并行加速。GPU通常用于图形或神经网络的高强度计算。

  • PyTorch可以使用Nvidia CUDA库来利用其GPU卡。

GPU并不总是优于CPU，因为CPU的单核性能强，因此在处理小数据时可能更占优势。

默认情况下，张量在CPU上创建。张量也可以移动到GPU；为此，需要使用.to方法将它们移动（在检查GPU可用性后）。当然，由于CPU和GPU之间的传输跨设备，这意味着传输上的巨大开销。

# 如果GPU可用则将tensor移动到GPU上，GPU可用需要保证1. CUDA安装；2. 安装对应CUDA版本的pytorch，见https://pytorch.org/，选择合适的pytorch安装方式
if torch.cuda.is_available():tensor = tensor.to('cuda')

类似numpy的标准索引和切片 Standard numpy-like indexing and slicing

tensor = torch.ones(4, 4)
print('First row: ',tensor[0])
print('First column: ', tensor[:, 0])
print('Last column:', tensor[..., -1])
tensor[:,1] = 0
print(tensor)

输出是：

First row:  tensor([1., 1., 1., 1.])
First column:  tensor([1., 1., 1., 1.])
Last column: tensor([1., 1., 1., 1.])
tensor([[1., 0., 1., 1.],[1., 0., 1., 1.],[1., 0., 1., 1.],[1., 0., 1., 1.]])

拼接张量

可以使用 torch.cat 函数沿着指定维度连接一个张量序列。torch.stack是一个相关的张量拼接方法，它沿着新的维度将一个张量序列堆叠起来。以下例子，维度有四个可选值：

t1 = torch.cat([tensor, tensor, tensor], dim=1)
print(t1)

dim=1；输出：

tensor([[1., 0., 1., 1., 1., 0., 1., 1., 1., 0., 1., 1.],[1., 0., 1., 1., 1., 0., 1., 1., 1., 0., 1., 1.],[1., 0., 1., 1., 1., 0., 1., 1., 1., 0., 1., 1.],[1., 0., 1., 1., 1., 0., 1., 1., 1., 0., 1., 1.]])

dim=0，输出：

tensor([[1., 0., 1., 1.],[1., 0., 1., 1.],[1., 0., 1., 1.],[1., 0., 1., 1.],[1., 0., 1., 1.],[1., 0., 1., 1.],[1., 0., 1., 1.],[1., 0., 1., 1.],[1., 0., 1., 1.],[1., 0., 1., 1.],[1., 0., 1., 1.],[1., 0., 1., 1.]])

dim=-1，输出：

tensor([[1., 0., 1., 1., 1., 0., 1., 1., 1., 0., 1., 1.],[1., 0., 1., 1., 1., 0., 1., 1., 1., 0., 1., 1.],[1., 0., 1., 1., 1., 0., 1., 1., 1., 0., 1., 1.],[1., 0., 1., 1., 1., 0., 1., 1., 1., 0., 1., 1.]])

dim=-2，输出：

tensor([[1., 0., 1., 1.],[1., 0., 1., 1.],[1., 0., 1., 1.],[1., 0., 1., 1.],[1., 0., 1., 1.],[1., 0., 1., 1.],[1., 0., 1., 1.],[1., 0., 1., 1.],[1., 0., 1., 1.],[1., 0., 1., 1.],[1., 0., 1., 1.],[1., 0., 1., 1.]])

数学操作：

# 这计算了两个张量之间的矩阵乘法。Y1 y2 y3的值是一样的
y1 = tensor @ tensor.T
y2 = tensor.matmul(tensor.T)y3 = torch.rand_like(tensor)
torch.matmul(tensor, tensor.T, out=y3)# 它计算元素级乘积，Z1 z2 z3的值是一样的
z1 = tensor * tensor
z2 = tensor.mul(tensor)z3 = torch.rand_like(tensor)
torch.mul(tensor, tensor, out=z3)print(y3)
print(z3)

输出：

tensor([[3., 3., 3., 3.],[3., 3., 3., 3.],[3., 3., 3., 3.],[3., 3., 3., 3.]])
tensor([[1., 0., 1., 1.],[1., 0., 1., 1.],[1., 0., 1., 1.],[1., 0., 1., 1.]])

单元素张量

如果您有一个单元素张量，例如，通过将张量的所有值聚合为一个值，您可以使用item()将其转换为Python数值:

agg = tensor.sum()
agg_item = agg.item()  
print(agg_item, type(agg_item))

输出：

12.0 <class 'float'>

原地操作 in-place operations

将结果存储到操作数(operand)中的操作称为原地操作。它们通常用下划线_作为后缀。例如：x.copy_(y)，x.t_()，会改变x的值。

注意： 就地操作可以节省一些内存，但在计算导数时可能会出现问题，因为它们会立即丢失历史记录。因此，不建议使用它们。

print(tensor, "\n")
tensor.add_(5)
print(tensor)

输出：

tensor([[1., 0., 1., 1.],[1., 0., 1., 1.],[1., 0., 1., 1.],[1., 0., 1., 1.]]) tensor([[6., 5., 6., 6.],[6., 5., 6., 6.],[6., 5., 6., 6.],[6., 5., 6., 6.]])

与Numpy桥接 Bridge with Numpy

NumPy数组和CPU上的张量可以共享它们的底层内存位置，改变其中一个将改变另一个。

张量到NumPy数组的转换

t = torch.ones(5)
print(f"t: {t}")
n = t.numpy()
print(f"n: {n}")
t.add_(1)
print(f"t: {t}")
print(f"n: {n}")

输出：

t: tensor([1., 1., 1., 1., 1.])
n: [1. 1. 1. 1. 1.]
t: tensor([2., 2., 2., 2., 2.])
n: [2. 2. 2. 2. 2.]

NumPy数组到张量的转换

n = np.ones(5)
t = torch.from_numpy(n)
np.add(n, 1, out=n)
print(f"t: {t}")
print(f"n: {n}")

输出：

t: tensor([2., 2., 2., 2., 2.], dtype=torch.float64)
n: [2. 2. 2. 2. 2.]

代码汇总

import torch
import numpy as npdata = [[1, 2], [3, 4]]
x_data = torch.tensor(data)np_array = np.array(data)
x_np = torch.from_numpy(np_array)print(f"Numpy np_array value: \n {np_array} \n")
print(f"Tensor x_np value: \n {x_np} \n")np.multiply(np_array, 2, out=np_array)print(f"Numpy np_array after * 2 operation: \n {np_array} \n")
print(f"Tensor x_np value after modifying numpy array: \n {x_np} \n")# 从其他张量
x_ones = torch.ones_like(x_data)  # retains the properties of x_data
print(f"Ones Tensor: \n {x_ones} \n")x_rand = torch.rand_like(x_data, dtype=torch.float)  # overrides the datatype of x_data
print(f"Random Tensor: \n {x_rand} \n")# random and constant
shape = (2, 3)
rand_tensor = torch.rand(shape)
ones_tensor = torch.ones(shape)
zeros_tensor = torch.zeros(shape)print(f"Random Tensor: \n {rand_tensor} \n")
print(f"Ones Tensor: \n {ones_tensor} \n")
print(f"Zeros Tensor: \n {zeros_tensor}")# attributes
tensor = torch.rand(3, 4)print(f"Shape of tensor: {tensor.shape}")
print(f"Datatype of tensor: {tensor.dtype}")
print(f"Device tensor is stored on: {tensor.device}")if torch.cuda.is_available():tensor = tensor.to('cuda')tensor = torch.ones(4, 4)
print('First row: ', tensor[0])
print('First column: ', tensor[:, 0])
print('Last column:', tensor[..., -1])
tensor[:, 1] = 0
print(tensor)t1 = torch.cat([tensor, tensor, tensor], dim=-1)
print(t1)# This computes the matrix multiplication between two tensors. y1, y2, y3 will have the same value
y1 = tensor @ tensor.T
y2 = tensor.matmul(tensor.T)y3 = torch.rand_like(tensor)
torch.matmul(tensor, tensor.T, out=y3)# This computes the element-wise product. z1, z2, z3 will have the same value
z1 = tensor * tensor
z2 = tensor.mul(tensor)z3 = torch.rand_like(tensor)
torch.mul(tensor, tensor, out=z3)print(y3)
print(z3)agg = tensor.sum()
agg_item = agg.item()
print(agg_item, type(agg_item))print(tensor, "\n")
tensor.add_(5)
print(tensor)t = torch.ones(5)
print(f"t: {t}")
n = t.numpy()
print(f"n: {n}")
t.add_(1)
print(f"t: {t}")
print(f"n: {n}")n = np.ones(5)
t = torch.from_numpy(n)
np.add(n, 1, out=n)
print(f"t: {t}")
print(f"n: {n}")

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/714184.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

高中数学：分式函数值域的求法

高中数学：分式函数值域的求法

一、求值域的两种基本思路 1、根据函数图像和定义域求出值域。 难点&#xff1a;画出函数图像 2、研究函数单调性和定义域求出值域。 二、函数图像画法 高中所学的分式函数&#xff0c;基本由反比例函数平移得到。 复杂分式函数图像画法的两个要点&#xff1a; a、找垂直、…
阅读更多...
mysql 常用命令练习

mysql 常用命令练习

管理表格从表中查询数据从多个表查询修改数据sql变量类型 管理表格 创建一个包含三列的新表 CREATE TABLE products (id INT,name VARCHAR(255) NOT NULL,price INT DEFAULT 0,PRIMARY KEY(id) // 自增 ); 从数据库中删除表 DROP TABLE product; 向表中添加新列 ALTER TAB…
阅读更多...
如何优化阿里云幻兽帕鲁/Palworld的多人联机性能，并避免内存溢出导致的异常退出游戏？

如何优化阿里云幻兽帕鲁/Palworld的多人联机性能，并避免内存溢出导致的异常退出游戏？

优化阿里云幻兽帕鲁/Palworld的多人联机性能并避免内存溢出导致的异常退出游戏&#xff0c;可以采取以下几种方法&#xff1a; 选择合适的内存配置&#xff1a;由于幻兽帕鲁是一个对内存需求较高的游戏&#xff0c;建议选择至少16GB的内存。对于不同的玩家数量&#xff0c;可以…
阅读更多...
【ArcGIS】渔网分割提取栅格图+网格化分析图绘制

【ArcGIS】渔网分割提取栅格图+网格化分析图绘制

ArcGIS按渔网分割提取栅格图并绘制网格化分析图 准备数据操作步骤步骤1&#xff1a;创建渔网&#xff08;Create Fishnet&#xff09;步骤2&#xff1a;栅格数据处理步骤3&#xff1a;栅格插值步骤4&#xff1a;数据关联 参考 网格化的目的是让各个数据更加标准化的进行统计。因…
阅读更多...
GO常量指针

GO常量指针

Go语言中的常量使用关键字const定义&#xff0c;用于存储不会改变的数据&#xff0c;常量是在编译时被创建的&#xff0c;即使定义在函数内部也是如此&#xff0c;并且只能是布尔型、数字型&#xff08;整数型、浮点型和复数&#xff09;和字符串型。 由于编译时的限制&#x…
阅读更多...
自动化测试系列 —— UI自动化测试！

自动化测试系列 —— UI自动化测试！

UI 测试是一种测试类型&#xff0c;也称为用户界面测试&#xff0c;通过该测试&#xff0c;我们检查应用程序的界面是否工作正常或是否存在任何妨碍用户行为且不符合书面规格的 BUG。了解用户将如何在用户和网站之间进行交互以执行 UI 测试至关重要&#xff0c;通过执行 UI 测试…
阅读更多...
Maven 插件之 maven-enforcer-plugin 解决冲突重复依赖

Maven 插件之 maven-enforcer-plugin 解决冲突重复依赖

目录 0、前言1、enforcer 是什么2、能干什么3、怎么用4、规则5、扩展规则6、使用7、banDuplicateClasses8、banDuplicatePomDependencyVersions 0、前言 maven 项目种经常出现 jar 包冲突、重复依赖、无效引用怎么办&#xff0c;maven-enforcer-plugin 了解一下 1、enforcer …
阅读更多...
《AI纪元：幻域探险》

《AI纪元：幻域探险》

游戏项目名称&#xff1a;《AI纪元&#xff1a;幻域探险》 游戏类型&#xff1a;AI驱动的角色扮演探险游戏&#xff08;RPG&#xff09; 背景设定&#xff1a; 《AI纪元&#xff1a;幻域探险》设定在一个名为“幻域”的广阔虚拟世界。这个世界由高度发达的AI技术支持&#xff0…
阅读更多...
SpringCloud-同步异步通讯比较

SpringCloud-同步异步通讯比较

本文详细探讨了同步通讯和异步通讯在信息传递中的区别&#xff0c;以及它们分别带来的优势和不足。通过对支付流程的案例分析&#xff0c;突显了同步通讯可能面临的阻塞和服务依赖问题&#xff0c;而异步通讯通过引入事件驱动模式和消息代理&#xff08;Broker&#xff09;成功…
阅读更多...
SQL Server 开发环境配置教程(SSMS+SQL Prompt)

SQL Server 开发环境配置教程(SSMS+SQL Prompt)

背景 记录一下 SQL Server 常用开发软件 体验了各种数据库IDE(DBeaver、Navicat、DataGrip)之后综合下来还是感觉 SSMSSQL Prompt 对于 SQL Server 最好用&#xff0c;所以在此记录一下配置过程 数据库可视化管理工具SSMS 官方下载地址&#xff1a; https://learn.microsoft…
阅读更多...
Java基础数据结构之栈

Java基础数据结构之栈

一.什么是栈 栈是一种特殊的线性表&#xff0c;它只允许在固定的一端进行元素的添加与使用&#xff0c;且遵循先进后出的原则。添加取用元素的一端称为栈顶&#xff0c;另一端称为栈底。出栈和入栈都是操作栈顶元素 二.栈的模拟实现 栈的底层是一个数组 这是里面的成员变量以…
阅读更多...
智能汽车加速车规级存储应用DS2431P+TR 汽车级EEPROM 存储器IC

智能汽车加速车规级存储应用DS2431P+TR 汽车级EEPROM 存储器IC

DS2431PT&R是一款1024位1-Wire EEPROM芯片&#xff0c;由四页存储区组成&#xff0c;每页256位。数据先被写入一个8字节暂存器中&#xff0c;经校验后复制到EEPROM存储器。该器件的特点是&#xff0c;四页存储区相互独立&#xff0c;可以单独进行写保护或进入EPROM仿真模式…
阅读更多...
第2章 线性代数

第2章 线性代数

目录 1. 标量、向量、矩阵和张量2. 矩阵和向量相乘3. 单位矩阵和逆矩阵4. 线性相关和生成子空间5. 范数6. 特殊类型的矩阵和向量7. 特征分解8. 奇异值分解9. Moore-Penrose伪逆10. 迹运算11. 行列式 1. 标量、向量、矩阵和张量 标量&#xff08;scalar&#xff09;&#xff1a;…
阅读更多...
【 C++ 】特殊类设计

【 C++ 】特殊类设计

1、请设计一个类&#xff0c;不能被拷贝 拷贝只会出现在两个场景中&#xff1a;拷贝构造函数以及赋值运算符重载&#xff0c;因此想要让一个类禁止拷贝&#xff0c;只需让该类不能调用拷贝构造函数以及赋值运算符重载即可。在C98和C11都有相对应的方法来解决此问题&#xff0c…
阅读更多...
ssm172旅行社管理系统的设计与实现

ssm172旅行社管理系统的设计与实现

** &#x1f345;点赞收藏关注 → 私信领取本源代码、数据库&#x1f345; 本人在Java毕业设计领域有多年的经验&#xff0c;陆续会更新更多优质的Java实战项目希望你能有所收获&#xff0c;少走一些弯路。&#x1f345;关注我不迷路&#x1f345;** 一 、设计说明 1.1 研究…
阅读更多...
day03-Vue-Element

day03-Vue-Element

一、Ajax 1 Ajax 介绍 1.1 Ajax 概述 概念&#xff1a;Asynchronous JavaScript And XML&#xff0c;异步 的 JavaScript 和 XML。 作用&#xff1a; 数据交换&#xff1a;通过 Ajax 可以给服务器发送请求&#xff0c;并获取服务器响应的数据。异步交互&#xff1a;可以在 不…
阅读更多...
Java教程：SpringBoot项目如何对接Nacos实现服务发现治理，配置管理

Java教程：SpringBoot项目如何对接Nacos实现服务发现治理，配置管理

–Nacos大家都知道&#xff0c;不懂的可以去官网或者网上查阅一下&#xff0c;本次给大家讲解一下如何在SpringBoot项目中引入Nacos服务来进行服务治理与发现&#xff0c;配置管理等&#xff0c;在微服务当中是必不可少的&#xff0c;各个模块之间可以通过Feign远程调用&#x…
阅读更多...
物联网主机：为智能交通赋能

物联网主机：为智能交通赋能

物联网&#xff08;IoT&#xff09;技术的发展为智能交通领域带来了许多创新的解决方案。而在物联网应用中&#xff0c;物联网主机起着关键的作用。本文将为大家介绍一款名为E6000的物联网主机&#xff0c;它是一种多协议、多接口的物联网主机&#xff0c;为智能交通系统的建设…
阅读更多...
antvX6 - Vue自定义节点，并实现多种画布操作，拖拽、缩放、连线、双击、检索等等

antvX6 - Vue自定义节点，并实现多种画布操作，拖拽、缩放、连线、双击、检索等等

一、 首先 antv x6 分为两个版本 低版本和高版本 我这里是使用的2.0版本 并且搭配了相关插件 例如&#xff1a;画布的图形变换、地图等 个人推荐 2.0版本&#xff0c;高版本配置多&#xff0c;可使用相关插件多&#xff0c;但是文档描述小&#xff0c;仍在更新&#xff0c; 低…
阅读更多...
小d和图片压缩

小d和图片压缩

题目描述 小ddd和她对象小红去海洋馆玩了&#xff0c;但是由于小ddd拍照技术不好&#xff0c;他对象说把她拍的像嘎子&#xff01; 小ddd看了看&#xff0c;发现是小红最近长痘痘了&#xff0c;于是他为了讨小红开心&#xff0c;让痘痘看不见&#xff0c;自学了图像压缩这个技…
阅读更多...
最新文章

Copyright @ 2022~2023