PyTorch深度学习实践---笔记

PyTorch深度学习实践---笔记

  • 2.线性模型(Linear Model)
    • 2.exercise
  • 3. 梯度下降算法(Gradient Descent)
    • 3.1梯度下降(Gradient Descent)
    • 3.2 随机梯度下降(Stochastic Gradient Descent)
  • 4. 反向传播(Back Propagation)
  • 5. 用PyTorch实现线性回归
  • 6. 逻辑回归(Logistics Regression)
  • 7. 处理多维特征的输入(Multiple Dimension Input)
  • 8. 加载数据集
  • 9. 多分类问题

2.线性模型(Linear Model)

import numpy as np
import matplotlib.pyplot as pltx_data=[1.0,2.0,3.0]
y_data=[2.0,4.0,6.0]def forward(x):return x*wdef loss(x,y):y_pred=forward(x)return (y_pred-y)*(y_pred-y)w_list=[]
mse_list=[]
for w in np.arange(0.0,4.1,0.1):print('w=',w)l_sum=0for x_val,y_val in zip(x_data,y_data):y_pred_val=forward(x_val)loss_val=loss(x_val,y_val)l_sum+=loss_valprint('\t',x_val,y_val,y_pred_val,loss_val)print('MSE=',l_sum/3)w_list.append(w)mse_list.append(l_sum/3)plt.plot(w_list,mse_list)
plt.ylabel('Loss')
plt.xlabel('w')
plt.show()

在这里插入图片描述

Exercise:
在这里插入图片描述

[Link](The mplot3d toolkit — Matplotlib 3.7.1 documentation)
[docs](numpy.meshgrid — NumPy v1.25 Manual)

2.exercise

import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
%matplotlib notebookx_data=[1.0,2.0,3.0]
y_data=[3.0,5.0,7.0]def forward(x):return x*w+bdef loss(x,y):y_pred=forward(x)return (y_pred-y)*(y_pred-y)w_list=[]
mse_list=[]
b_list=[]
for w in np.arange(0.0,3.1,0.1):for b in np.arange(-1,1.1,0.1):print('w=',w)print('b=',b)l_sum=0for x_val,y_val in zip(x_data,y_data):y_pred_val=forward(x_val)loss_val=loss(x_val,y_val)l_sum+=loss_valprint('\t',x_val,y_val,y_pred_val,loss_val)print('MSE=',l_sum/3)w_list.append(w)b_list.append(b)mse_list.append(l_sum/3)
W=np.array(w_list)
W=np.unique(W)
B=np.array(b_list)
B=np.unique(B)
MSE=np.array(mse_list)W,B=np.meshgrid(W,B)
MSE=MSE.reshape(21,31)
fig=plt.figure()
ax=Axes3D(fig)
ax.plot_surface(W, B, MSE, cmap='rainbow')ax.set_xlabel('W', color='b')
ax.set_ylabel('B', color='g')
ax.set_zlabel('MSE', color='r')
plt.show()

在这里插入图片描述

3. 梯度下降算法(Gradient Descent)

3.1梯度下降(Gradient Descent)

import matplotlib.pyplot as plt  x_data = [1.0, 2.0, 3.0]  
y_data = [2.0, 4.0, 6.0]  w = 1.0  def forward(x):  return x * w  def cost(xs, ys):  cost = 0  for x, y in zip(xs, ys):  y_pred = forward(x)  cost += (y_pred - y) ** 2  return cost / len(xs)  def gradient(xs, ys):  grad = 0  for x, y in zip(xs, ys):  grad += 2 * x * (x * w - y)  return grad / len(xs)  print('Predict(before training)', 4, forward(4))  
cost_list = []  
epoch_list = []  
for epoch in range(100):  cost_val = cost(x_data, y_data)  grad_val = gradient(x_data, y_data)  w -= 0.01 * grad_val  cost_list.append(cost_val)  epoch_list.append(epoch)  print('Epoch:', epoch, 'w=', w, 'loss', cost_val)  
print('Predict(after training)', 4, forward(4))  plt.plot(epoch_list, cost_list)  
plt.xlabel('Epoch')  
plt.ylabel('MSE')  
plt.show()

在这里插入图片描述

3.2 随机梯度下降(Stochastic Gradient Descent)

import matplotlib.pyplot as plt  x_data = [1.0, 2.0, 3.0]  
y_data = [2.0, 4.0, 6.0]  w = 1.0  def forward(x):  return x * w  def loss(x, y):  y_pred = forward(x)  return (y_pred - y) ** 2  def gradient(x, y):  return 2 * x * (x * w - y)  print('Predict(before training)', 4, forward(4))  
loss_list = []  
epoch_list = []  
for epoch in range(100):  for x, y in zip(x_data, y_data):  grad = gradient(x, y)  w -= 0.01 * grad  print("\tgrad:", x, y, grad)  l = loss(x, y)  print("progress:", epoch, "w=", w, "loss=", l)  epoch_list.append(epoch)  loss_list.append(l)  
print('Predict(after training)', 4, forward(4))  plt.plot(epoch_list, loss_list)  
plt.xlabel('Epoch')  
plt.ylabel('Loss')  
plt.show()

在这里插入图片描述

4. 反向传播(Back Propagation)

在这里插入图片描述

Example 1:
在这里插入图片描述

在这里插入图片描述

Exercise 4-1Answer=-8
在这里插入图片描述

Exercise 4-2 Answer.1=2,Answer.2=2

import torch
from matplotlib import pyplot as plt
x_data=[1.0,2.0,3.0]
y_data=[2.0,4.0,6.0]w=torch.Tensor([1.0])
w.requires_grad=Truedef forward(x):return x*wdef loss(x,y):y_pred=forward(x)return (y_pred-y)**2print("predict (before training)",4,forward(4).item)epoch_list=[]
MSE_list=[]
for epoch in range(100):epoch_list.append(epoch)for x,y in zip(x_data,y_data):l=loss(x,y)l.backward()print('\tgrad:',x,y,w.grad.item())w.data=w.data-0.01*w.grad.dataw.grad.data.zero_()print("progress:",epoch,l.item())MSE_list.append(l.item())
print("prdict (after training)",4,forward(4).item())plt.plot(epoch_list,MSE_list)
plt.xlabel('Epoch')  
plt.ylabel('Loss')
plt.set_tittle("PyTorch")
plt.show()

在这里插入图片描述
在这里插入图片描述

Answer.1:
∂ L o s s ∂ w 1 = 2 ∗ ( w 1 ∗ x 2 + w 2 ∗ x + b − y ) ∗ x 2 \frac{\partial Loss}{\partial w_1}=2*(w_1*x^2+w_2*x+b-y)*x^2 w1Loss=2(w1x2+w2x+by)x2

Answer.2:
∂ L o s s ∂ w 2 = 2 ∗ ( w 1 ∗ x 2 + w 2 ∗ x + b − y ) ∗ x \frac {\partial Loss}{\partial w_2}=2*(w_1*x^2+w_2*x+b-y)*x w2Loss=2(w1x2+w2x+by)x

Answer.3:
∂ L o s s ∂ b = 2 ∗ ( w 1 ∗ x 2 + w 2 ∗ x + b − y ) \frac {\partial Loss}{\partial b}=2*(w_1*x^2+w_2*x+b-y) bLoss=2(w1x2+w2x+by)

在这里插入图片描述

import torch
from matplotlib import pyplot as plt
x_data=[1.0,2.0,3.0]
y_data=[2.0,4.0,6.0]w_1=torch.Tensor([1.0])
w_1.requires_grad=True
w_2=torch.Tensor([2.0])
w_2.requires_grad=True
b=torch.Tensor([3.0])
b.requires_grad=Truedef forward(x):return w_1*(x**2)+w_2*x+bdef loss(x,y):y_pred=forward(x)return (y_pred-y)**2print("predict (before training)",4,forward(4).item)epoch_list=[]
MSE_list=[]
for epoch in range(100):epoch_list.append(epoch)for x,y in zip(x_data,y_data):l=loss(x,y)l.backward()print('\tgrad:','X:',x,'Y:',y,w_1.grad.item(),w_2.grad.item(),b.grad.item())w_1.data=w_1.data-0.01*w_1.grad.dataw_2.data=w_2.data-0.01*w_2.grad.datab.data=b.data-0.01*b.grad.dataw_1.grad.data.zero_()w_2.grad.data.zero_()b.grad.data.zero_()print("progress:",epoch,l.item())MSE_list.append(l.item())
print("prdict (after training)",4,forward(4).item(),'w_1=',w_1.item(),'w_2=',w_2.item(),'b=',b.data.item())plt.plot(epoch_list,MSE_list)
plt.xlabel('Epoch')  
plt.ylabel('Loss')
plt.title("PyTorch")
plt.show()

在这里插入图片描述

5. 用PyTorch实现线性回归

在这里插入图片描述

前馈->反馈->更新
前馈算损失,反馈算梯度,然后更新,反反复复
在这里插入图片描述

import torch
x_data=torch.Tensor([[1.0],[2.0],[3.0]])
y_data=torch.Tensor([[2.0],[4.0],[6.0]])class LinearModel(torch.nn.Module):#LinearModel相当于是继承torch.nn.Module的子类def __init__(self):#Python中类的初始化都是__init__()super(LinearModel,self).__init__()#继承父类的__init__方法,在__init__初始化方法后还想继承父类的__init__(),就在子类中使用super()函数self.linear=torch.nn.Linear(1,1)#定义子类的linear属性def forward(self,x):y_pred=self.linear(x)#调用子类的linear属性return y_pred
model=LinearModel()#创建类LinearModel的实例criterion=torch.nn.MSELoss(reduction='sum')#损失函数
optimizer=torch.optim.SGD(model.parameters(),lr=0.01)#优化器for epoch in range(1000):#训练迭代y_pred=model(x_data)loss=criterion(y_pred,y_data)print(epoch,loss.item())optimizer.zero_grad()#梯度清零loss.backward()#反向传播optimizer.step()#计算梯度,梯度更新print('w =',model.linear.weight.item())
print('b =',model.linear.bias.item())x_test=torch.Tensor([4.0])
y_test=model(x_test)
print('y_pred =',y_test.data)

这篇文章可以帮助理解LinearModel的写法

python类中super()_wanghua609的博客-CSDN博客

6. 逻辑回归(Logistics Regression)

逻辑回归主要用于分类问题,线性回归的输出值是连续空间
Classification Problem

类别之间没有大小关系

分类问题的输出是一个概率问题,为Ⅰ类的概率是多少,为Ⅱ类的概率是多少…
根据概率值的最大值判断所属类别。

在这里插入图片描述

实际上计算的就是 y_hat=1 的概率。
要将输出值映射到【0,1】,因为概率值是在【0,1】的。
Sigmoid函数也是一种饱和函数(输入值x大于某个值后,输出值y基本不变)。
sigmoid函数中最出名的函数就是Logistics函数,因此大多数书籍资料中将Logistics函数成为sigmoid函数。
σ()就是sigmoid函数。
在这里插入图片描述

计算分布之间的差异。
这个用于二分类的函数,叫做BCE函数。(CE:cross-entropy)
在这里插入图片描述

在这里插入图片描述

#torch.nn.Functional.sigmoid() use torch.sigmoid() instead.
import torch
import numpy as np
import matplotlib.pyplot as pltx_data=torch.Tensor([[1.0],[2.0],[3.0]])
y_data=torch.Tensor([[0],[0],[1]])class LogisticRegressionModel(torch.nn.Module):def __init__(self):super(LogisticRegressionModel,self).__init__()self.linear=torch.nn.Linear(1,1)def forward(self,x):y_pred=torch.sigmoid(self.linear(x))return y_predmodel=LogisticRegressionModel()criterion=torch.nn.BCELoss(reduction='sum')
#size_average=True
#size_average and reduce args will be deprecated, 
#please use reduction='mean' instead.
optimizer=torch.optim.SGD(model.parameters(),lr=0.01)for epoch in range(1000):y_pred=model(x_data)loss=criterion(y_pred,y_data)print(epoch,loss.item())optimizer.zero_grad()loss.backward()optimizer.step()x=np.linspace(0,10,200)
x_t=torch.Tensor(x).view((200,1))
y_t=model(x_t)
y=y_t.data.numpy()
plt.plot(x,y)
plt.plot([0,10],[0.5,0.5],c='r')
plt.xlabel('Hours')
plt.ylabel('Probability of Pass')
plt.grid()
plt.show()

在这里插入图片描述

7. 处理多维特征的输入(Multiple Dimension Input)

输入值有多个特征
每一行成为Record, 每一列叫做Feature(特征/字段),结构化的数据。
在这里插入图片描述

每一个特征值都要与一个权重相乘,x看成一个向量,乘上w1到w8,标量转置相乘做内积。
σ就是sigmoid函数。
计算转化成向量化的运算,然后通过并行计算,通过GPU的能力,提高运算速度。
矩阵可以看作是空间变换的函数。
在这里插入图片描述
在这里插入图片描述

从8个特征(8维)学到6个特征(6维)再到4个特征,最后到1个特征。
当然也可以直接从8个特征学到1个特征

import numpy as np
import torch
import matplotlib.pyplot as pltxy = np.loadtxt('diabetes.csv', delimiter=',', dtype=np.float32)
x_data = torch.from_numpy(xy[:, :-1]) 
y_data = torch.from_numpy(xy[:, [-1]]) class Model(torch.nn.Module):def __init__(self):super(Model, self).__init__()self.linear1 = torch.nn.Linear(8, 6)self.linear2 = torch.nn.Linear(6, 4)self.linear3 = torch.nn.Linear(4, 1)self.sigmoid = torch.nn.Sigmoid() def forward(self, x):x = self.sigmoid(self.linear1(x))x = self.sigmoid(self.linear2(x))x = self.sigmoid(self.linear3(x)) return xmodel = Model()criterion = torch.nn.BCELoss(reduction='mean')  
optimizer = torch.optim.SGD(model.parameters(), lr=0.1)epoch_list = []
loss_list = []for epoch in range(100000):y_pred = model(x_data)loss = criterion(y_pred, y_data)print(epoch, loss.item())epoch_list.append(epoch)loss_list.append(loss.item())optimizer.zero_grad()loss.backward()optimizer.step()plt.plot(epoch_list, loss_list)
plt.ylabel('loss')
plt.xlabel('epoch')
plt.show()

在这里插入图片描述

8. 加载数据集

Dataset主要用于构建数据集,支持索引(利用下标)
Dataloader主要用于Mini-Batch
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

笔记来源:《PyTorch深度学习实践》完结合集

9. 多分类问题

输出时,每一个输出代表每种标签的概率。属于1的概率是多少,属于2的概率是多少,等等。各个输出值大于0,且值得的合等于1。

本笔记来自:【《PyTorch深度学习实践》完结合集】 https://www.bilibili.com/video/BV1Y7411d7Ys/?share_source=copy_web&vd_source=292129053a8880be150381f42c6b50c4

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/37419.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

亚马逊测评工作室怎么做?

亚马逊是全球最大的电商平台之一,任何一个卖家想要提升自己店铺的知名度和销量,都需要关注自己Listing的Review数量和星级评价,而测评对于卖家账号的评定和产品曝光量有着重要影响,可以用于店铺提升销量,留评等 在进行…

c51单片机串口通信(中断方式接收数据)(单片机--单片机通信)示例代码 附proteus图

单片机一般采用中断方式接受数据,这样便于及时处理 #include "reg51.h" #include "myheader.h" #define uchar unsigned char int szc[10]{0xc0,0xf9,0xa4,0xb0,0x99,0x92,0x82,0xf8,0x80,0x90}; int bufferc[6]{0}; int sza[6]{0x01,0x02,0x0…

TEXTure环境配置,跑通inference的demo

TEXTure 环境配置安装kaolin这个包,这里可能会遇到各种问题配置huggingface的访问令牌 运行Text Conditioned Texture Generation指令报错1报错2成功运行 查看结果查看贴图后的三维网格模型 环境配置 # 创建一个名为texture的环境 conda create -n texture python3.9 -y# 激活…

人工智能任务1-【NLP系列】句子嵌入的应用与多模型实现方式

大家好,我是微学AI,今天给大家介绍一下人工智能任务1-【NLP系列】句子嵌入的应用与多模型实现方式。句子嵌入是将句子映射到一个固定维度的向量表示形式,它在自然语言处理(NLP)中有着广泛的应用。通过将句子转化为向量…

ASP.NET Core - 缓存之分布式缓存

分布式缓存是由多个应用服务器共享的缓存,通常作为访问它的应用服务器的外部服务进行维护。 分布式缓存可以提高 ASP.NET Core 应用的性能和可伸缩性,尤其是当应用由云服务或服务器场托管时。 与其他将缓存数据存储在单个应用服务器上的缓存方案相比&am…

沁恒ch32V208处理器开发(三)GPIO控制

目录 GPIO功能概述 CH32V2x 微控制器的GPIO 口可以配置成多种输入或输出模式,内置可关闭的上拉或下拉电阻,可以配置成推挽或开漏功能。GPIO 口还可以复用成其他功能。端口的每个引脚都可以配置成以下的多种模式之一: 1 浮空输入 2 上拉输入…

AMEYA360:DNB1101大唐恩智浦工规级电池管理芯片

大唐恩智浦作为全球领先的半导体供应商,一直致力于为全球客户提供高质量的解决方案。在电池管理芯片领域,大唐恩智浦推出的DNB1101可谓是一款工规级的电池管理芯片,其卓越的性能和可靠性成为市场上备受全球领先的半导体供应商,一直…

Java接口压力测试—如何应对并优化Java接口的压力测试

导言 在如今的互联网时代,Java接口压力测试是评估系统性能和可靠性的关键一环。一旦接口不能承受高并发量,用户体验将受到严重影响,甚至可能导致系统崩溃。因此,了解如何进行有效的Java接口压力测试以及如何优化接口性能至关重要…

SpringBoot复习:(48)RedisAutoConfiguration自动配置类

RedisAutoConfiguration类代码如下: 可以看到在这个类中配置了2个bean: redisTemplate和stringRedisTemplate. 而它通过EnableConfigurationProperties(RedisProperties.class)注解,把配置文件中配置的Redis相关的信息引入进来了,RedisPrope…

安装Linux操作系统CentOS 6详细图文步骤

为满足业务对Linux操作系统部署的要求,本文档主要提供CentOS 6操作系统的最小化安装和基本配置, 安装本系统建议最少1GB内存和2GB磁盘空间。 1、 使用光盘或者挂载ISO镜像,在出现如下图形界面时选择【Install or upgrade an existing system】并按Ent…

P8642 [蓝桥杯 2016 国 AC] 路径之谜

[蓝桥杯 2016 国 AC] 路径之谜 题目描述 小明冒充 X X X 星球的骑士,进入了一个奇怪的城堡。 城堡里边什么都没有,只有方形石头铺成的地面。 假设城堡地面是 n n n\times n nn 个方格。如图所示。 按习俗,骑士要从西北角走到东南角。 …

音视频 vs2017配置FFmpeg

vs2017 ffmpeg4.2.1 一、首先我把FFmpeg整理了一下&#xff0c;放在C盘 二、新建空项目 三、添加main.cpp&#xff0c;将bin文件夹下dll文件拷贝到cpp目录下 #include<stdio.h> #include<iostream>extern "C" { #include "libavcodec/avcodec.h&…

【数据结构与算法——TypeScript】图结构(Graph)

【数据结构与算法——TypeScript】 图结构(Graph) 认识图结构以及特性 什么是图? 在计算机程序设计中&#xff0c;图结构 也是一种非常常见的数据结构。 但是&#xff0c;图论其实是一个非常大的话题 认识一下关于图的一些内容 图的抽象数据类型一些算法实现。 什么是图?…

jmeter获取mysql数据

JDBC Connection Configuration Database URL: jdbc:mysql:// 数据库地址 /库名 JDBC Driver class&#xff1a;com.mysql.jdbc.Driver Username&#xff1a;账号 Password&#xff1a;密码 JDBC Request 字段含义 字段含义 Variable Name Bound to Pool 数据库连接池配置…

使用vue3 + ts + vite + v-md-editor 在前端页面预览markdown文件

1.效果预览 2. 依赖包安装 yarn add kangc/v-md-editornext v-md-editor中文官网&#xff1a;https://code-farmer-i.github.io/vue-markdown-editor/zh/ v-md-editor分为4种组件&#xff1a; 轻量版编辑器进阶版编辑器预览组件html预览组件 对UI组件库页面&#xff0c;我只需…

问道管理:缩量小幅上涨说明什么?

股市里面&#xff0c;股票价格上涨或跌落都是常见现象。可是关于那些在商场上寻求收益的出资者来说&#xff0c;他们需要对每一个股市中的价格动摇有深化的了解&#xff0c;以便做出更正确的出资决策。最近&#xff0c;出资者们发现商场缩量小幅上涨的现象时有发生&#xff0c;…

Jmeter压测实战:Jmeter二次开发之自定义函数

目录 1 前言 2 开发准备 3 自定义函数核心实现 3.1 新建项目 3.2 继承实现AbstractFunction类 3.3 最终项目结构 4 Jmeter加载扩展包 4.1 maven构建配置 4.2 项目打包 4.3 Jmeter加载扩展包 5 自定义函数调用调试 5.1 打开Jmeter函数助手&#xff0c;选择自定义函数…

clickhouse 删除操作

OLAP 数据库设计的宗旨在于分析适合一次插入多次查询的业务场景&#xff0c;市面上成熟的 AP 数据库在更新和删除操作上支持的均不是很好&#xff0c;当然 clickhouse 也不例外。但是不友好不代表不支持&#xff0c;本文主要介绍在 clickhouse 中如何实现数据的删除&#xff0c…

单链表相关操作(插入,删除,查找)

通过上一节我们知道顺序表的优点&#xff1a; 可随机存储&#xff08;O(1)&#xff09;&#xff1a;查找速度快 存储密度高&#xff1a;每个结点只存放数据元素&#xff0c;而单链表除了存放数据元素之外&#xff0c;还需存储指向下一个节点的指针 http://t.csdn.cn/p7OQf …

【2023年11月第四版教材】《第4章-信息系统管理(合集篇)》

第4章-信息系统管理之管理方法&#xff08;第四版新增章节&#xff09;&#xff08;第一部分&#xff09; 章节说明1 管理方法1.1 信息系统四个要素1.2 信息系统四大领域1.3 信息系统战略三角1.4 信息系统架构转换1.5 信息系统体系架构1.6 信息系统运行1.7 运行和监控1.8 管理和…