一文彻底讲透 PyTorch

节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。

针对大模型技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备面试攻略、面试常考点等热门话题进行了深入的讨论。

汇总合集：

《AIGC 面试宝典》(2024版) 发布！

《大模型面试宝典》(2024版) 发布！

大模型的火热，彻底把PyTorch带火，Tensorflow 最近落寞了很多。想学会大模型，PyTorch 是必需要学的工具之一。

PyTorch 是利用深度学习进行数据科学研究的重要工具，在灵活性、可读性和性能上都具备相当的优势，近年来已成为学术界实现深度学习算法最常用的框架。

考虑到PyTorch的学习兼具理论储备和动手训练，两手都要抓两手都要硬的特点，我梳理一份《深入浅出 PyTorch 》，帮助大家从入门到熟练掌握 PyTorch 工具，进而实现自己的深度学习算法。

需要《深入浅出 PyTorch 》，可以加入我们技术群获取。

技术交流

前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~

我们建了算法岗面试与技术交流群， 想要进交流群、需要源码&资料、提升技术的同学，可以直接加微信号：mlc2040。加的时候备注一下：研究方向 +学校/公司+CSDN，即可。然后就可以拉你进群了。

方式①、微信搜索公众号：机器学习社区，后台回复：深入浅出 PyTorch
方式②、添加微信号：mlc2040，备注：深入浅出 PyTorch +CSDN

在这里插入图片描述

内容简介

  • 第零章：前置知识
    • 人工智能简史
    • 相关评价指标
    • 常用包的学习
    • Jupyter相关操作
  • 第一章：PyTorch的简介和安装
    • PyTorch简介
    • PyTorch的安装
    • PyTorch相关资源简介
  • 第二章：PyTorch基础知识
    • 张量及其运算
    • 自动求导简介
    • 并行计算、CUDA和cuDNN简介
  • 第三章：PyTorch的主要组成模块
    • 思考：完成一套深度学习流程需要哪些关键环节
    • 基本配置
    • 数据读入
    • 模型构建
    • 损失函数
    • 优化器
    • 训练和评估
    • 可视化
  • 第四章：PyTorch基础实战
    • 基础实战——Fashion-MNIST时装分类
    • 基础实战——果蔬分类实战（notebook）
  • 第五章：PyTorch模型定义
    • 模型定义方式
    • 利用模型块快速搭建复杂网络
    • 模型修改
    • 模型保存与读取
  • 第六章：PyTorch进阶训练技巧
    • 自定义损失函数
    • 动态调整学习率
    • 模型微调-torchvision
    • 模型微调-timm
    • 半精度训练
    • 数据扩充
    • 超参数的修改及保存
    • PyTorch模型定义与进阶训练技巧
  • 第七章：PyTorch可视化
    • 可视化网络结构
    • 可视化CNN卷积层
    • 使用TensorBoard可视化训练过程
    • 使用wandb可视化训练过程
  • 第八章：PyTorch生态简介
    • 简介
    • 图像—torchvision
    • 视频—PyTorchVideo
    • 文本—torchtext
    • 音频-torchaudio
  • 第九章：模型部署
    • 使用ONNX进行部署并推理
  • 第十章：常见网络代码的解读(推进中)
    • 计算机视觉
      • 图像分类
        • ResNet源码解读
        • Swin Transformer源码解读
        • Vision Transformer源码解读
        • RNN源码解读
        • LSTM源码解读及其实战
      • 目标检测
        • YOLO系列解读
      • 图像分割
    • 自然语言处理
      • RNN源码解读
    • 音频处理
    • 视频处理
    • 其他

部分内容展示

在深度学习模型的训练中，权重的初始值极为重要。一个好的初始值，会使模型收敛速度提高，使模型准确率更精确。一般情况下，我们不使用全0初始值训练网络。为了利于训练和减少收敛时间，我们需要对模型进行合理的初始化。PyTorch也在torch.nn.init中为我们提供了常用的初始化方法。
通过本章学习，你将学习到以下内容：

  • 常见的初始化函数
  • 初始化函数的使用

torch.nn.init内容

通过访问torch.nn.init的官方文档链接 ，我们发现torch.nn.init提供了以下初始化方法：
1 . torch.nn.init.uniform_(tensor, a=0.0, b=1.0)
2 . torch.nn.init.normal_(tensor, mean=0.0, std=1.0)
3 . torch.nn.init.constant_(tensor, val)
4 . torch.nn.init.ones_(tensor)
5 . torch.nn.init.zeros_(tensor)
6 . torch.nn.init.eye_(tensor)
7 . torch.nn.init.dirac_(tensor, groups=1)
8 . torch.nn.init.xavier_uniform_(tensor, gain=1.0)
9 . torch.nn.init.xavier_normal_(tensor, gain=1.0)
10 . torch.nn.init.kaiming_uniform_(tensor, a=0, mode=‘fan__in’, nonlinearity=‘leaky_relu’)
11 . torch.nn.init.kaiming_normal_(tensor, a=0, mode=‘fan_in’, nonlinearity=‘leaky_relu’)
12 . torch.nn.init.orthogonal_(tensor, gain=1)
13 . torch.nn.init.sparse_(tensor, sparsity, std=0.01)
14 . torch.nn.init.calculate_gain(nonlinearity, param=None)
关于计算增益如下表：

nonlinearitygain
Linear/Identity1
Conv{1,2,3}D1
Sigmod1
Tanh5/3
ReLUsqrt(2)
Leaky Relusqrt(2/1+neg_slop^2)

我们可以发现这些函数除了calculate_gain，所有函数的后缀都带有下划线，意味着这些函数将会直接原地更改输入张量的值。

torch.nn.init使用

我们通常会根据实际模型来使用torch.nn.init进行初始化，通常使用isinstance()来进行判断模块（回顾3.4模型构建）属于什么类型。

import torch
import torch.nn as nnconv = nn.Conv2d(1,3,3)
linear = nn.Linear(10,1)isinstance(conv,nn.Conv2d) # 判断conv是否是nn.Conv2d类型
isinstance(linear,nn.Conv2d) # 判断linear是否是nn.Conv2d类型

True
False

对于不同的类型层，我们就可以设置不同的权值初始化的方法。

# 查看随机初始化的conv参数
conv.weight.data
# 查看linear的参数
linear.weight.data

tensor([[[[ 0.1174,  0.1071,  0.2977],[-0.2634, -0.0583, -0.2465],[ 0.1726, -0.0452, -0.2354]]],[[[ 0.1382,  0.1853, -0.1515],[ 0.0561,  0.2798, -0.2488],[-0.1288,  0.0031,  0.2826]]],[[[ 0.2655,  0.2566, -0.1276],[ 0.1905, -0.1308,  0.2933],[ 0.0557, -0.1880,  0.0669]]]])tensor([[-0.0089,  0.1186,  0.1213, -0.2569,  0.1381,  0.3125,  0.1118, -0.0063, -0.2330,  0.1956]])

# 对conv进行kaiming初始化
torch.nn.init.kaiming_normal_(conv.weight.data)
conv.weight.data
# 对linear进行常数初始化
torch.nn.init.constant_(linear.weight.data,0.3)
linear.weight.data

tensor([[[[ 0.3249, -0.0500,  0.6703],[-0.3561,  0.0946,  0.4380],[-0.9426,  0.9116,  0.4374]]],[[[ 0.6727,  0.9885,  0.1635],[ 0.7218, -1.2841, -0.2970],[-0.9128, -0.1134, -0.3846]]],[[[ 0.2018,  0.4668, -0.0937],[-0.2701, -0.3073,  0.6686],[-0.3269, -0.0094,  0.3246]]]])
tensor([[0.3000, 0.3000, 0.3000, 0.3000, 0.3000, 0.3000, 0.3000, 0.3000, 0.3000,0.3000]])

初始化函数的封装

人们常常将各种初始化方法定义为一个initialize_weights()的函数并在模型初始后进行使用。

def initialize_weights(model):for m in model.modules():# 判断是否属于Conv2dif isinstance(m, nn.Conv2d):torch.nn.init.zeros_(m.weight.data)# 判断是否有偏置if m.bias is not None:torch.nn.init.constant_(m.bias.data,0.3)elif isinstance(m, nn.Linear):torch.nn.init.normal_(m.weight.data, 0.1)if m.bias is not None:torch.nn.init.zeros_(m.bias.data)elif isinstance(m, nn.BatchNorm2d):m.weight.data.fill_(1) 		 m.bias.data.zeros_()

这段代码流程是遍历当前模型的每一层，然后判断各层属于什么类型，然后根据不同类型层，设定不同的权值初始化方法。我们可以通过下面的例程进行一个简短的演示：

# 模型的定义
class MLP(nn.Module):# 声明带有模型参数的层，这里声明了两个全连接层def __init__(self, **kwargs):# 调用MLP父类Block的构造函数来进行必要的初始化。这样在构造实例时还可以指定其他函数super(MLP, self).__init__(**kwargs)self.hidden = nn.Conv2d(1,1,3)self.act = nn.ReLU()self.output = nn.Linear(10,1)# 定义模型的前向计算，即如何根据输入x计算返回所需要的模型输出def forward(self, x):o = self.act(self.hidden(x))return self.output(o)mlp = MLP()
print(mlp.hidden.weight.data)
print("-------初始化-------")mlp.apply(initialize_weights)
# 或者initialize_weights(mlp)
print(mlp.hidden.weight.data)

tensor([[[[ 0.3069, -0.1865,  0.0182],[ 0.2475,  0.3330,  0.1352],[-0.0247, -0.0786,  0.1278]]]])
"-------初始化-------"
tensor([[[[0., 0., 0.],[0., 0., 0.],[0., 0., 0.]]]])

注意：
我们在初始化时，最好不要将模型的参数初始化为0，因为这样会导致梯度消失，从而影响模型的训练效果。因此，我们在初始化时，可以使用其他初始化方法或者将模型初始化为一个很小的值，如0.01，0.1等。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/pingmian/20864.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

JQC-3FF-S-Z 继电器模块使用（arduino）

JQC-3FF-S-Z 继电器模块使用（arduino）

前言 继电器模块可以控制电流的接通和非接通状态，和开关一样。实际上是用小电流去控制大电流运作的一种“自动开关” 本文只是简单使用继电器模块做一个 led 点亮和熄灭的案例，结合案例可以和 nodemcu 等板子结合做出远程控制开关。 材料准备 杜邦线…
阅读更多...
无限可能LangChain——构建一个简单的LLM应用程序

无限可能LangChain——构建一个简单的LLM应用程序

在本快速入门中，我们将向您展示如何构建一个简单的LLM应用程序。该应用程序将文本从英语翻译成另一种语言。这是一个相对简单的LLM应用程序——它只是一个LLM调用加上一些提示。尽管如此，这仍然是开始使用LangChain的好方法——只需一些提示和一个LLM调用…
阅读更多...
小波相干性显著性检验（MATLAB R2018A）

小波相干性显著性检验（MATLAB R2018A）

交叉小波常被用于检测不同信号之间的相关性，其在时频域建立了不同信号之间的联系。对于两个时域信号，其交叉小波变换和交叉小波尺度谱如下： 以轴承振动信号为例，利用正常轴承与故障轴承的振动信号、故障轴承和故障轴承的振动信号分…
阅读更多...
【JavaEE进阶】——Mybatis操作数据库（使用注解和XML方式）

【JavaEE进阶】——Mybatis操作数据库（使用注解和XML方式）

目录 🚩三层架构 🎈JDBC操作回顾 🚩什么是MyBatis 🚩MyBatis⼊⻔ 🎈准备工作 📝创建⼯程 📝数据准备 🎈配置数据库连接字符串 🎈写持久层代码 🎈单…
阅读更多...
插入排序（直接插入排序、折半插入排序、希尔排序）的性能分析

插入排序（直接插入排序、折半插入排序、希尔排序）的性能分析

目录 前言 插入排序 直接插入排序性能分析 折半插入排序性能分析 希尔排序性能分析 前言 本篇文章主要是总结插入排序的性能分析，具体的概念、算法、排序过程，我前面的文章有写，在这里就不再过多赘述了。 插入排序 插入排序是一种简单直…
阅读更多...
如何从Windows的硬盘中恢复丢失或删除的照片

如何从Windows的硬盘中恢复丢失或删除的照片

你有没有不小心删除了一张你再也找不回来的重要照片？如果是您的公司或家庭照片、婚礼或童年回忆，或亲人的照片怎么办？ 根据我们的经验，用户通常会在清理计算机的存储/速度时遇到这样的事故，并最终删除包含重要图片的文…
阅读更多...
PVE虚拟机 安装 OpenWrt

PVE虚拟机 安装 OpenWrt

1、创建虚拟机 2、操作系统 3、磁盘，先删除 4、网络 5、其它默认 6、在 local 分区上传镜像 7、登录PVE虚拟机 # 切换到镜像目录 cd /var/lib/vz/template/iso/# 把镜像导入磁盘 qm importdisk 102 openwrt-buddha-version-v7_2022_-x86-64-generic-squashfs-uefi…
阅读更多...
22 、系统安全

22 、系统安全

新的服务器到手，部署服务器初始化。 1、配置ip地址 网关dns解析（static）内网和外网。 2、安装源，外网（在线即可），内网（只能用源码包编译安装）。 3、磁盘分区&#xff…
阅读更多...
Nvidia Jetson/Orin +FPGA+AI大算力边缘计算盒子：轨道交通监控系统

Nvidia Jetson/Orin +FPGA+AI大算力边缘计算盒子：轨道交通监控系统

株洲中车时代电气股份有限公司（下称中车时代电气）是中国中车旗下股份制企业，其前身及母公司——中车株洲电力机车研究所有限公司创立于1959年。中车时代电气扎根株洲，走好两条钢轨，走出两条钢轨。中车时代电气秉承“双…
阅读更多...
Sentinel与Nacos强强联合，构建微服务稳定性基石的重要实践

Sentinel与Nacos强强联合，构建微服务稳定性基石的重要实践

一、简介 Sentinel 作为一款强大的流量控制组件，能够对系统入口流量进行精准控制，有效防止服务因突发流量冲击引起服务雪崩，进而导致服务瘫痪，确保服务的稳定性和可靠性。 Nacos 作为配置管理和服务发现平台，实现了配置…
阅读更多...
高斯混合模型聚类算法的实现

高斯混合模型聚类算法的实现

目录 1. 作者介绍2. 聚类简介2.1 K-Means聚类简介2.2 高斯混合聚类简介 3. 实验过程3.1 数据集介绍3.2 代码思路3.3 算法评价3.4 代码实现3.5 实验结果 4. 参考链接 1. 作者介绍 赵子仪，女，西安工程大学电子信息学院，2023级研究生 研究方向&…
阅读更多...
深度网络学习笔记（一）——self-attention机制介绍和计算步骤

深度网络学习笔记（一）——self-attention机制介绍和计算步骤

self-attention机制介绍及其计算步骤 前言一、介绍和意义二、 计算细节2.1 计算Attention Score2.2 计算value2.3 计算关联结果b2.4 统一计算 三、总结 前言 Transformer是一种非常常见且强大的深度学习网络架构，尤其擅长处理输出为可变长度向量序列的任务&#xf…
阅读更多...
网络原理———TCP/IP—网络层IP协议

网络原理———TCP/IP—网络层IP协议

T04BF 👋专栏: 算法|JAVA|MySQL|C语言 🫵 今天你敲代码了吗 目录 网络层IP协议4位版本号4位首部长度8位服务类型16位总长度16位标识 3位标志 13位片偏移8位生存时间8位协议16位首部校验和32位源IP地址 和 32位目的IP地址方案1:动态分配IP地址方案2:NAT机…
阅读更多...
小白跟做江科大32单片机之旋转编码器计次

小白跟做江科大32单片机之旋转编码器计次

原理部分按照下面这个链接理解即可y小白跟做江科大32单片机之对射式红外传感器计次-CSDN博客https://blog.csdn.net/weixin_58051657/article/details/139350487https://blog.csdn.net/weixin_58051657/article/details/139350487 实验过程 1.按照江科大老师给的电路图进行连接…
阅读更多...
C语言（内存函数）

C语言（内存函数）

Hi~！这里是奋斗的小羊，很荣幸各位能阅读我的文章，诚请评论指点，欢迎欢迎~~ 💥个人主页：小羊在奋斗 💥所属专栏：C语言 本系列文章为个人学习笔记，在这里撰写成文一…
阅读更多...
springboot+vue+mybatis博物馆售票系统+PPT+论文+讲解+售后

springboot+vue+mybatis博物馆售票系统+PPT+论文+讲解+售后

如今社会上各行各业，都喜欢用自己行业的专属软件工作，互联网发展到这个时候，人们已经发现离不开了互联网。新技术的产生，往往能解决一些老技术的弊端问题。因为传统博物馆售票系统信息管理难度大，容错率低，…
阅读更多...
sqoop操作

sqoop操作

介绍 sqoop是隶属于Apache旗下的, 最早是属于cloudera公司的,是一个用户进行数据的导入导出的工具, 主要是将关系型的数据库(MySQL, oracle...)导入到hadoop生态圈(HDFS,HIVE,Hbase...) , 以及将hadoop生态圈数据导出到关系型数据库中 操作 将数据从mysql中导入到HDFS中 1.全量…
阅读更多...
Pytest框架中的Setup和Teardown功能

Pytest框架中的Setup和Teardown功能

在 pytest 测试框架中，setup 和 teardown是用于在每个测试函数之前和之后执行设置和清理的动作，而pytest 实际上并没有内置的 setup 和 teardown 函数，而是使用了一些装饰器或钩子函数来实现类似的功能。 学习目录 钩子函数（Hook…
阅读更多...
SAP PP学习笔记14 - MTS（Make-to-Stock) 按库存生产（策略10），以及生产计划的概要

SAP PP学习笔记14 - MTS（Make-to-Stock) 按库存生产（策略10），以及生产计划的概要

上面讲了SAP里面的基础知识，BOM，作业手顺（工艺路线），作业区（工作中心），MRP，MPS等概念，现在该到用的时候了。 SAP PP学习笔记07 - 简单BOM，派生BO…
阅读更多...
STC8增强型单片机进阶开发--独立按键

STC8增强型单片机进阶开发--独立按键

知不足而奋进 望远山而前行 文章目录 目录 文章目录 前言 目标 内容 原理图 按键消抖 软件设计 要求 分析 实现单个按钮 实现多个按钮 使用位操作存储状态 总结 前言 本次学习旨在探索按键操作及按键消抖的原理和实现方法。通过学习原理图、按键消抖的三种方法以及软件设计的要…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023