Pytorch笔记1

建议点赞收藏关注!持续更新至pytorch大部分内容更完。

整体框架如下

目录

  • gpu加速
  • 数据
    • 数据结构
      • 张量Tensor
      • Variable
    • 预处理
      • 数据增强
  • 模型
    • 构建模块
    • 组织复杂网络
    • 初始化网络参数
    • 定义网络层
  • 损失函数
    • 创建损失函数
    • 设置损失函数超参数
    • 选择损失函数
  • 优化器
    • 管理模型参数
    • 管理多个参数组实现不同学习率
    • 调整学习率
  • 迭代训练
    • 观察训练效果
    • 绘制loss/accuracy曲线
    • 用TensorBoard分析
  • 模型应用
    • 图像分类
    • 图像分割
    • 目标检测
    • 对抗生成
    • 循环网络

gpu加速

打开jupyter lab,打开一个file,右上角选择kernel为torchgpuprivate
要在 Mac M1的GPU 上运行 PyTorch 代码,使用命令 torch.device(“mps”)来指定。
在这里插入图片描述
在这里插入图片描述
之后就只需要引用gpu_a,gpu_b,其他与cpu_a…的操作没有区别。

数据

数据结构

张量Tensor

  1. ==数组概念,1…n维
  2. 有8个属性
    data
    dtype:有很多数据类型
    shape : 如 (6,6,6,6)
    device:所在设备cpu/gpu
    grad:data的梯度
    grad_fn:创建tensor 的function,是自动求导的关键,加法还是乘法
    requires_grad:指示是否需要梯度,不一定所有的张量都需要设置梯度
    is_leaf:指示是否是叶子节点(张量),计算图中再介绍。
  3. api
device=torch.device("mps")
torch.tensor(data, #list or numpydtype=None, # 默认==data的类型device=None,requires_grad=False,pin_memory=False # 是否存于锁页内存 一般默认)#创建
arr=np.ones((3,3))
t=torch.tensor(arr,device=device) 
# t.dtype == arr.dtype==float64torch.from_numpy(ndarray) #从numpy创建tensor
#从torch.from_numpy创建的tensor与原来的ndarray共享内存,一改跟着改torch.zeros(*size,#形状 如(3,3)out=None,#输出的张量 相当于赋值dtype=None,#内存中的布局形式layout=torch.strided,#通常默认,除非稀疏矩阵 用sparse_coodevice=None,requires_grad=False)
torch.zeros_like(input,#根据Input的形状创建dtype=None,layout=None,device=None,requires_grad=False)zeros 换成 onestorch.full(size,#(3,3)fill_value,#张量的值 如10out=None,dtype=None,layout=torch.strided,device=None,requires_grad=False)torch.arange(start=0, #创建等差1维张量end, #左闭右开step=1,#公差 默认1out=None,dtype=None,layout=torch.strided,device=None,requires_grad=False)torch.linspace(start=0, #创建均分1维张量end, #左闭右闭steps=1,#数列长度#步长=(end-start)/step -1out=None,dtype=None,layout=torch.strided,device=None,requires_grad=False)torch.logspace(base=...底默认10,...) #对数均分torch.eye(n,#行数  #默认方阵m,#列数...) #创建单位对角矩阵,2维张量,torch.normal(mean,std,out=None)
#正态分布,mean均值,std方差
#mean std都可以分别是标量 or张量#都是张量的情况的normal如何计算?
mean=[1,2,3,4]
std=[1,2,3,4]
t_normal=torch.normal(mean,std) #得到[1.66,2.53,3.18,6.48]
#1.66是通过mean=1,std=1的正态分布采样得到torch.randn(*size, #标准正态分布  out=None,dtype=None,layout=torch.strided,device=None,requires_grad=False)
torch.randn_like()torch.randint(low=0, #均匀分布 前闭后开high,size, out=None,dtype=None,layout=torch.strided,device=None,requires_grad=False) torch.randint_like()torch.randperm(n,#张量长度out=None,dtype=None,layout=torch.strided,device=None,requires_grad=False) 
#生成0-n-1随机排列torch.bernoulli(input,*,generator=None,out=None)#以input为概率,生成伯努利分布,即0-1分布,两点分布

Variable

已经合并到tensor 但是对于理解张量有帮助。variable是torch.autograd中的数据类型,用于封装tensor进行自动求导,有五个属性
data:被包装的tensor
grad:data的梯度
grad_fn:创建tensor 的function,是自动求导的关键,加法还是乘法
requires_grad:指示是否需要梯度,不一定所有的张量都需要设置梯度
is_leaf:指示是否是叶子节点(张量),计算图中再介绍。

预处理

数据增强

模型

构建模块

组织复杂网络

初始化网络参数

定义网络层

损失函数

创建损失函数

设置损失函数超参数

选择损失函数

优化器

管理模型参数

管理多个参数组实现不同学习率

调整学习率

迭代训练

观察训练效果

绘制loss/accuracy曲线

用TensorBoard分析

模型应用

图像分类

图像分割

目标检测

对抗生成

循环网络

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/51909.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

“八股文”:程序员的福音还是梦魇?

——一场关于面试题的“代码战争” 在程序员的世界里,“八股文”这个词儿可谓是“如雷贯耳”。不,咱们可不是说古代科举考试中的那种八股文,而是指程序员面试中的那些固定套路的题目。如今,各大中小企业在招聘程序员时&#xff0…

无为自然与机巧器械

无为自然与机巧器械 一天,庄周与蔺且正在整理这些天来为求道之人回答的谈话录,又来了一位士。这位士提了这样一个问题:   “庄周先生,您的学说以无为自然为主,那么,您是不是主张将一切人所创造出来的机巧…

vite解决前端跨域步骤

Vite 解决跨域问题的原理主要是通过其内置的开发服务器功能实现的,具体来说,是通过 HTTP 代理(HTTP Proxy)机制。在开发环境中,Vite 服务器可以配置为一个代理服务器,将前端应用发出的请求转发到实际的后端…

Overlay网络

Overlay 介绍 Overlay网络是将已有的物理网络(Underlay网络)作为基础,在其上建立叠加的逻辑网络,实现网络资源的虚拟化。 传统网络带来了以下一些问题: ● 虚拟机规模受 网络规格限制在传统二层网络环境下&#xff0…

ConcurrentHashMap 和 Hashtable的区别

ConcurrentHashMap 和 Hashtable 的区别: 1. 线程安全机制: - ConcurrentHashMap 采用分段锁(Segment)的机制实现线程安全。它将数据分成多个段(Segment),每个段都有一个独立的锁。这样&#xf…

暑期计划总结

每日安排 早上用来学习新知识 中午用于巩固 晚上再尝试难一点的 注意背单词,题目老是看不明白 重心放在图论 目标 cf立志上1600

泰迪智能科技大数据实验室——陕西省高校合作成功案例

近年来,陕西省紧跟国家大数据发展战略,积极推进大数据产业发展。在政策扶持、产业布局、技术创新等方面取得显著成效。泰迪智能科技大数据实验室立足陕西,携手西安邮电大学、西安财经大学、陕西科技大学镐京学院、宝鸡文理学院、渭南师范学院…

使用Selenium爬虫批量下载AlphaFold数据库中的PDB文件

注意:本方法使用了python,下载速度一般,如果需要更快的大批量下载可以考虑使用其他方法,例如FTP Alphafold数据库其实提供了许多物种的蛋白质组: AlphaFold Protein Structure Database 但是如果你搜索的物种不在这个…

【从0制作自己的ros导航小车:上位机篇】02、ros1多机通讯与坐标变换可视化

从0制作自己的ros导航小车 前言一、ros1多机通讯二、rviz可视化小车坐标系 前言 上节课完成了里程计数据与坐标变换发布,但是还没有测试,本节进行测试,测试之前需要知道一件事,上位机也就是开发板一般不做可视化用,因…

python包dateutil

python-dateutil 是一个 Python 第三方库,它提供了一系列强大的扩展来解析、操作、验证和格式化日期和时间。这个库是对 Python 标准库中 datetime 模块的补充,提供了许多实用的功能,比如解析各种格式的日期时间字符串、处理时区、计算相对日…

Python 教程(七):match...case 模式匹配

目录 专栏列表前言基本语法match 语句case 语句 模式匹配的类型示例具体值匹配类型匹配序列匹配星号表达式命名变量复杂匹配 模式匹配的优势总结 专栏列表 Python教程(一):环境搭建及PyCharm安装Python 教程(二)&…

网络边界安全强化:实战技巧与策略部署

引言 网络边界安全是企业网络安全防护的第一道屏障,其重要性不言而喻。随着网络攻击手段的日益多样化和复杂化,如何有效强化网络边界安全,成为业界关注的焦点。本文将深入探讨网络边界安全强化的实战技巧与策略部署,为企业提供一…

NASA:水瓶座官方发布的第 3 级辅助雷诺兹海面温度标准映射图像降序年度数据 V3.0

Aquarius Official Release Level 3 Ancillary Reynolds Sea Surface Temperature Standard Mapped Image Descending Annual Data V5.0 水瓶座官方发布的第 3 级辅助雷诺兹海面温度标准映射图像降序年度数据 V5.0 (AQUARIUS_L3_ANCILLARY_SST_SMID_ANNUAL_V5) 简介 水瓶座 3…

[PM]面试题-产品问题

产品是做什么的? 根据自己产品的情况回答 有什么样的竞品?差异化在哪里? 根据自己产品的情况回答 产品迭代周期是多久? 大版本的更新可能要1-2个月 功能优化或者问题修复随时迭代, 1-2天或者3-5天都有可能 产品是怎么盈利的?商业模式是什么? 根据自己产品的情况回…

关于swift- OC混编使用Pod遇到的2个错误

错误1 Cannot find interface declaration for UITableViewCell, superclass of "DEFUITalbleViewCell" Cannot find interface declaration for UIView, superclass of "DefUIView" Cannot find interface declaration for 系统类, superclass of "自…

jQuery 遍历

jQuery 遍历 引言 jQuery 是一个广泛使用的 JavaScript 库,它简化了 HTML 文档的遍历、事件处理、动画和 AJAX 交互。在本文中,我们将深入探讨 jQuery 的遍历功能,这是 jQuery 核心的一部分,允许开发者轻松地选择和操作 DOM 元素。 目录 jQuery 遍历简介选择器 基本选择…

vue3 解决数据最初始为空,页面出现空白或者默认值

1. 问题描述 存在一个数组 tabsBars,当我们判断其为空时,显示默认文本,当其异步获取数据后,显示正常内容。 const tabsBars ref([]);const getInfo async () > {const res await getListApi();tabsBars.value res.tabsLi…

关于vue-router的钩子函数(vue知识点/面试题)

Vue 2 中,Vue Router 提供了多个钩子函数(导航守卫)来控制路由的行为。这些钩子函数主要分为以下几类: 全局守卫(Global Guards) beforeEach:在每次路由切换前被调用。常用于验证用户身份或权…

2024年最新GPT 4o访问入口及使用指南

2024年最新GPT访问入口及使用指南 一、前言 随着人工智能技术的不断进步,GPT(Generative Pre-trained Transformer)作为一种强大的自然语言处理工具,已经广泛应用于各个领域。无论是写作、编程辅助,还是对话生成&…

17、服务和数据在微服务各层的协作

在微服务架构中,服务和数据的协作是确保系统高效运行和可维护性的关键。本章详细探讨了微服务架构中的服务视图和数据视图,帮助我们理解在运行过程中这些服务和实体在各层是如何协作的。 1、服务视图 微服务内有许多不同类型的服务,它们的实…