【深度学习笔记】01 数据操作与预处理

01 数据操作与预处理

    • 一、数据操作
      • 1.1 基本数据操作
      • 1.2 广播机制
      • 1.3 索引和切片
      • 1.4 节省内存
      • 1.5 转换为其他Python对象
    • 二、数据预处理
      • 读取数据集
      • 处理缺失值
      • 转换为张量格式
      • 练习

一、数据操作

1.1 基本数据操作

导入torch

import torch

张量表示一个由数值组成的数组,这个数组可能有多个维度(轴)。具有一个轴的张量对应数学上的向量(vector),具有两个轴的张量对应数学上的矩阵(matrix),具有两个以上轴的张量没有特定的数学名称。

张量中的每个值称为张量的元素(element)。

# 使用arange创建一个行向量x
x = torch.arange(12)
x
tensor([ 0,  1,  2,  3,  4,  5,  6,  7,  8,  9, 10, 11])

可以通过张量的shape属性来访问张量(沿每个轴的长度)的形状(shape)

x.shape
torch.Size([12])

如果只想知道张量中元素的总数,即形状的所有元素乘积,可以检查它的大小(size)。因为这里处理的是一个向量,所以它的shape与size相同。

x.numel()
12
x.size()
torch.Size([12])

要想改变一个张量的形状而不改变元素数量和元素值,可以调用reshape函数

X = x.reshape(3, 4)
X
tensor([[ 0,  1,  2,  3],[ 4,  5,  6,  7],[ 8,  9, 10, 11]])

如果我们的目标形状是(高度,宽度),那么在知道宽度后,高度会被自动计算得出。我们可以通过-1来调用此自动计算出形状,即可以用x.reshape(-1, 4)获x.reshape(3, -1)来取代x.reshape(3, 4)。

使用全0、全1、其他常量或者从特定分布中随机采样的数字来初始化矩阵:

# 全0矩阵
torch.zeros((2, 3, 4))
tensor([[[0., 0., 0., 0.],[0., 0., 0., 0.],[0., 0., 0., 0.]],[[0., 0., 0., 0.],[0., 0., 0., 0.],[0., 0., 0., 0.]]])
# 全1矩阵
torch.ones((2, 3, 4))
tensor([[[1., 1., 1., 1.],[1., 1., 1., 1.],[1., 1., 1., 1.]],[[1., 1., 1., 1.],[1., 1., 1., 1.],[1., 1., 1., 1.]]])
# 每个元素都从均值为0、标准差为1的标准高斯分布(正态分布)中随机采样的矩阵
torch.randn(3, 4)
tensor([[-0.1503, -0.1886,  0.3691, -0.5482],[ 1.1731,  0.1596,  1.1706,  0.0437],[ 0.0513, -0.5481, -0.7855, -0.9853]])

运算符:

x = torch.tensor([1.0, 2, 4, 8])
y = torch.tensor([2, 2, 2, 2])
x + y, x - y, x / y, x ** y  # **运算符表示求幂运算
(tensor([ 3.,  4.,  6., 10.]),tensor([-1.,  0.,  2.,  6.]),tensor([0.5000, 1.0000, 2.0000, 4.0000]),tensor([ 1.,  4., 16., 64.]))
torch.exp(x)  # 求幂
tensor([2.7183e+00, 7.3891e+00, 5.4598e+01, 2.9810e+03])

把多个张量连接(concatenate)在一起

X = torch.arange(12, dtype = torch.float32).reshape((3, 4))
Y = torch.tensor([[2.0, 1, 4, 3], [1, 2, 3, 4], [4, 3, 2, 1]])
torch.cat((X, Y), dim = 0), torch.cat((X, Y), dim = 1)  
(tensor([[ 0.,  1.,  2.,  3.],[ 4.,  5.,  6.,  7.],[ 8.,  9., 10., 11.],[ 2.,  1.,  4.,  3.],[ 1.,  2.,  3.,  4.],[ 4.,  3.,  2.,  1.]]),tensor([[ 0.,  1.,  2.,  3.,  2.,  1.,  4.,  3.],[ 4.,  5.,  6.,  7.,  1.,  2.,  3.,  4.],[ 8.,  9., 10., 11.,  4.,  3.,  2.,  1.]]))

逻辑运算符构建二元张量:

X == Y
tensor([[False,  True, False,  True],[False, False, False, False],[False, False, False, False]])

对张量中所有元素求和,会产生一个单元素张量

X.sum()
tensor(66.)

1.2 广播机制

在某些情况下,即使张量形状不同,我们仍然可以通过调用广播机制(broadcasting mechanism)来执行按元素操作。这种机制的工作方式如下:

​ (1)通过适当复制元素来扩展一个获两个数组,以便在转换之后,两个张量具有相同的形状;

​ (2)对生成的数组执行按元素操作。

a = torch.arange(3).reshape((3, 1))
b = torch.arange(2).reshape((1, 2))
a, b
(tensor([[0],[1],[2]]),tensor([[0, 1]]))
a + b
tensor([[0, 1],[1, 2],[2, 3]])

1.3 索引和切片

与任何python数组一样,第一个元素的索引是0,最后一个元素的索引是-1;可以指定范围以包含第一个元素和最后一个之前的元素。

X[-1], X[1:3]
(tensor([ 8.,  9., 10., 11.]),tensor([[ 4.,  5.,  6.,  7.],[ 8.,  9., 10., 11.]]))

除读取外,还可以通过制定索引将元素写入矩阵

X[1, 2] = 9
X
tensor([[ 0.,  1.,  2.,  3.],[ 4.,  5.,  9.,  7.],[ 8.,  9., 10., 11.]])

如果想为多个元素赋相同的值,只需要索引所有元素,然后赋值。

X[0:2, :] = 12
X
tensor([[12., 12., 12., 12.],[12., 12., 12., 12.],[ 8.,  9., 10., 11.]])

其中,[0:2, :]访问第1行和第2行,其中“:”代表沿轴1(列)的所有元素

1.4 节省内存

运行一些操作可能会导致为新结果分配内存。
例如,如果我们用Y = X + Y,将取消引用Y指向的张量,而是指向新分配的内存处的张量。

before = id(Y)
Y = Y + X
id(Y) == before
False

运行Y = Y + X后,会发现id(Y)指向另一个位置。
这是因为Python首先计算Y + X,为结果分配新的内存,然后使Y指向内存中的这个新位置。

这可能是不可取的,原因有两个:

  1. 首先,我们不想总是不必要地分配内存。在机器学习中,我们可能有数百兆的参数,并且在一秒内多次更新所有参数。通常情况下,我们希望原地执行这些更新;
  2. 如果我们不原地更新,其他引用仍然会指向旧的内存位置,这样我们的某些代码可能会无意中引用旧的参数。

执行原地操作非常简单。
我们可以使用切片表示法将操作的结果分配给先前分配的数组,例如Y[:] = 。
为了说明这一点,我们首先创建一个新的矩阵Z,其形状与另一个Y相同,
使用zeros_like来分配一个全0的块。

Z = torch.zeros_like(Y)
print('id(Z):', id(Z))
Z[:] = X + Y
print('id(Z):', id(Z))
id(Z): 1343601274288
id(Z): 1343601274288

如果后续计算中没有重复使用X,也可以使用 X[:] = X + Y 或 X += Y 来减少操作的内存开销。

before = id(X)
X += Y
id(X) == before
True

1.5 转换为其他Python对象

A = X.numpy()
B = torch.tensor(A)
type(A), type(B)
(numpy.ndarray, torch.Tensor)

要将大小为1的张量转换为Python标量,可以调用item函数或Python的内置函数

a = torch.tensor([3.5])
a, a.item(), float(a), int(a)
(tensor([3.5000]), 3.5, 3.5, 3)

二、数据预处理

读取数据集

创建一个人工数据集,并存储在csv文件中

import osos.makedirs(os.path.join('..', 'data'), exist_ok = True)
data_file = os.path.join('..', 'data', 'house_tiny.csv')
with open(data_file, 'w') as f:f.write('NumRooms,Alley,Price\n')  # 列名f.write('NA,Pave,127500\n')  # 每行表示一个数据样本f.write('2,NA,106000\n')f.write('4,NA,178100\n')f.write('NA,NA,140000\n')

导入pandas包并调用read_csv函数

import pandas as pddata = pd.read_csv(data_file)
print(data)
   NumRooms Alley   Price
0       NaN  Pave  127500
1       2.0   NaN  106000
2       4.0   NaN  178100
3       NaN   NaN  140000

处理缺失值

“NaN”项代表缺失值
处理缺失数据的典型方法包括插值法和删除法,其中插值法用一个替代值弥补缺失值,删除法则直接忽略缺失值

在这里考虑插值法。通过位置索引iloc,将data分成inputs和outputs,其中前者为data的前两列,后者为data的最后一列。对于inputs中缺少的数值,用同一列的均值替换“NaN”项。

inputs, outputs = data.iloc[:, 0:2], data.iloc[:, 2]
inputs = inputs.fillna(inputs.select_dtypes(include = 'number').mean())  # 区别于书中的inputs.fillna(inputs.mean())
print(inputs)
   NumRooms Alley
0       3.0  Pave
1       2.0   NaN
2       4.0   NaN
3       3.0   NaN

对于inputs中的类别值和离散值,我们将“NaN”视为一个类别。由于Alley列只接受两种类型的类别值“Pave”和“NaN”,pandas可以自动将此列转换为两列“Alley_Pave”和“Alley_nan”。 Alley列为“Pave”的行会将“Alley_Pave”的值设置为1,“Alley_nan”的值设置为0。 缺少Alley列的行会将“Alley_Pave”和“Alley_nan”分别设置为0和1。

inputs = pd.get_dummies(inputs, dummy_na = True)
print(inputs)
   NumRooms  Alley_Pave  Alley_nan
0       NaN        True      False
1       2.0       False       True
2       4.0       False       True
3       NaN       False       True

转换为张量格式

现在inputs和outputs中的所有条目都是数值类型,它们可以转换为张量格式。

import torchX = torch.tensor(inputs.to_numpy(dtype = float))
y = torch.tensor(outputs.to_numpy(dtype = float))
X, y
(tensor([[nan, 1., 0.],[2., 0., 1.],[4., 0., 1.],[nan, 0., 1.]], dtype=torch.float64),tensor([127500., 106000., 178100., 140000.], dtype=torch.float64))

练习

创建包含更多行和列的原始数据集
(1)删除缺失值最多的列
(2)将预处理后的数据集转换为张量格式

# 创建数据集
import osos.makedirs(os.path.join('..', 'data'), exist_ok = True)
data_file = os.path.join('..', 'data', 'house_tiny.csv')
with open(data_file, 'w') as f:f.write('NumRooms,Alley,Price,others\n')  # 列名f.write('NA,Pave,127500,Pave\n')  # 每行表示一个数据样本f.write('2,NA,106000,NA\n')f.write('4,NA,178100,Pave\n')f.write('NA,NA,140000,Pave\n')
import pandas as pddata = pd.read_csv(data_file)
print(data)
   NumRooms Alley   Price others
0       NaN  Pave  127500   Pave
1       2.0   NaN  106000    NaN
2       4.0   NaN  178100   Pave
3       NaN   NaN  140000   Pave
# 删除缺失值最多的列
count = 0
count_max = 0
labels = ['NumRooms','Alley','Price','others']
for label in labels:count = data[label].isna().sum()if count > count_max:count_max = countflag = label
data_new = data.drop(flag, axis = 1)
data_new
NumRoomsPriceothers
0NaN127500Pave
12.0106000NaN
24.0178100Pave
3NaN140000Pave
# 将data_new分成inputs和outputs,其中前者为data_new的前两列,后者为data_new的最后一列
inputs, outputs = data_new.iloc[:, 0:2], data_new.iloc[:, 2]
inputs = inputs.fillna(inputs.select_dtypes(include = 'number').mean())  # 对于inputs中的缺失值,用同一列的均值替换
print(inputs)
outputs = pd.get_dummies(outputs, dummy_na = True)
print(outputs)
   NumRooms   Price
0       3.0  127500
1       2.0  106000
2       4.0  178100
3       3.0  140000Pave    NaN
0   True  False
1  False   True
2   True  False
3   True  False
# 转换为张量格式
import torchX = torch.tensor(inputs.to_numpy(dtype = float))
y = torch.tensor(outputs.to_numpy(dtype = float))
X, y
(tensor([[3.0000e+00, 1.2750e+05],[2.0000e+00, 1.0600e+05],[4.0000e+00, 1.7810e+05],[3.0000e+00, 1.4000e+05]], dtype=torch.float64),tensor([[1., 0.],[0., 1.],[1., 0.],[1., 0.]], dtype=torch.float64))

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/170438.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Redis分片集群

文章目录 Redis分片集群搭建分片集群散列插槽插槽原理小结 集群伸缩需求分析创建新的redis实例添加新节点到redis转移插槽 故障转移自动故障转移手动故障转移 RedisTemplate访问分片集群 Redis分片集群 搭建分片集群 主从和哨兵可以解决高可用、高并发读的问题。但是依然有两…

Hadoop集群升级(3.1.3 -> 3.2.4)

升级前确认 旧版本:3.1.3 升级版本:3.2.4 旧版本安装路径:/ddhome/bin/hadoop/ 新版本安装路径:/ddhome/bin/hadoop-3.2.4 安装新版本hadoop 解压安装 # 解压安装包到相应目录下 tar -zxvf /ddhome/tools/hadoop-3.2.4.tar.gz…

KT404A远程更换语音芯片方案支持OTA 4G 蓝牙 wifi 物联网

目录 一、简介 2.1 芯片的硬件 2.2 测试的方法 一、简介 KT404A远程更换语音芯片方案支持OTA 4G 蓝牙 wifi 物联网 在线下载的mp3语音芯片ic,通过KT404A的uart直接更换内部的语音文件,从而实现动态的更新语音内容 物联网大潮的来袭。随着智能家居、…

3.2 CPU的自动化

CPU的自动化 改造1-使用2进制导线改造2根据整体流程开始改造指令分析指令MOV_A的开关2进制表格手动时钟gif自动时钟gif 根据之前的CPU内部结构改造,制造一个cpu控制单元 改造一 之前的CPU全由手动开关自己控制,极度繁琐,而开关能跟二进制一一对应, 开:1, 关:0图1是之前的, …

数据分片在分布式 SQL 数据库中的工作原理

各种规模的企业都在拥抱面向用户的应用程序的快速现代化,作为其更广泛的数字化转型战略的一部分。此类应用程序所依赖的关系数据库 (RDBMS) 基础设施突然需要支持更大的数据量和事务量。然而,在这种情况下,单体 RDBMS 往往很快就会过载。在 R…

【网络】DNS协议、ICMP协议、NAT技术

DNS协议、ICMP协议、NAT技术 一、DNS协议1、产生背景2、域名简介3、域名解析的工作流程4、使用dig工具分析DNS过程 二、ICMP协议1、ICMP介绍2、ICMP协议格式3、ping命令4、traceroute命令 三、NAT技术1、NAT技术背景2、NAT IP转换过程3、地址转换表4、NAPT技术5、重新理解路由器…

2023年亚太杯数学建模A题——深度学习苹果图像识别(思路+模型+代码+成品)

Image Recognition for Fruit-Picking Robots 水果采摘机器人的图像识别功能 问题 1:计数苹果 根据附件 1 中提供的可收获苹果的图像数据集,提取图像特征,建立数学模型,计算每幅图像中的苹果数量,并绘制附件 1 中所有…

佳易王各行业收银管理系统软件,企业ERP管理软件,企业或个体定制开发软件以及软件教程资源下载总目录,持续更新,可关注收藏查阅

系统简介 1、佳易王软件功能实用、操作简单、软件绿色免安装,解压即可使用,软件已经内置数据库,不需再安装其他数据库文件。 2、佳易王软件,已经形成系列,上百款管理系统软件涵盖多个行业。 3、已为多个企业个体定制…

mac rancher desktop 修改docker镜像源

1. ssh到rancher虚拟机 LIMA_HOME"$HOME/Library/Application Support/rancher-desktop/lima" "/Applications/Rancher Desktop.app/Contents/Resources/resources/darwin/lima/bin/limactl" shell 0 2. 提升权限 sudo bash 3. 更改镜像源 vi /etc/dock…

在 Go 中使用 Protocol Buffers

各位准备好了吗!这一次,我们将深入探讨 Protocol Buffers(protobuf)及其在数据序列化中的超能力所在。 介绍 Protocol Buffers,也被称为 protobuf,是由谷歌开发的一种语言无关的二进制序列化格式。其主要…

究极短的快排代码【QuickSort】

快排 QuickSort 两边向中间扫描法:取一个基点值,从左往右扫描,基点值左边所有元素小于它,遇到大于基点值的则停下,开始从右往左扫描,右边所有元素大于他,遇到小于基点值则停下,如果…

Win 10部署stable-diffusion-webui时github报错的解决方法

这篇博客就是简单记录一下。有很多文章已经详细介绍了怎么在Windows上部署stable-diffusion-webui了,例如: 本地部署Stable Diffusion教程,详细教学,已安装成功 - 知乎 (zhihu.com) 五千字长文:Stable Diffusion 保姆…

MySQL日期函数sysdate()与now()的区别,获取当前时间,日期相关函数

select sleep(2) as datetime union all select sysdate() -- sysdate() 返回的时间是当前的系统时间,而 now() 返回的是当前的会话时间。 union all select now() -- 等价于 localtime,localtime(),localtimestamp,localtimestamp(),current_timestamp,curre…

PyTorch-ReID重识别算法库与数据集资料汇总

Torchreid 是一个用于深度学习人员重新识别的库,用 PyTorch 编写,为我们的 ICCV’19 项目 Omni-Scale Feature Learning for Person Re-Identification 开发。 PyTorch-ReID的特点是 多GPU训练支持图像和视频 REID端到端培训和评估极其轻松地准备 Rei…

图书管理系统源码,图书管理系统开发,图书借阅系统源码三框架设计原理和说明

TuShuManger项目简介和创建 这里一共设计了6个项目,主要是借助三层架构思想分别设计了主要的三层,包括model实体层,Dal数据库操作层,Bll业务调用层,其他有公共使用项目common层,DButitly提取出来的数据库访问层,下面我们分别创建每个项目和开始搭建整个过程 TuShuManger…

nodejs+vue+python+PHP+微信小程序-书吧租阅管理系统的设计与实现-安卓-计算机毕业设计

在当今高度发达的信息中,信息管理改革已成为一种更加广泛和全面的趋势。为确保中国经济的持续发展,信息时代日益更新,书吧租阅管理系统仍在蓬勃发展。同时,随着信息社会的快速发展,各种管理系统面临着越来越多的数据需…

柑橘病害数据集(四类图像分类,没有打yolo标签)

1.文件夹分为训练集和测试集 在这个数据集中,有一类是新鲜柑橘,还有另外三种疾病,溃疡病、黑斑病和绿化病。 2.train文件夹 2.1.blackspot(黑斑病) 文件夹 206张照片 2.2.canker(溃疡病) 文…

STM32 配置中断常用库函数

单片机学习 目录 一、配置AFIO相关库函数 1.1函数GPIO_AFIODeInit 1.2函数GPIO_EventOutputConfig 1.3函数GPIO_EventOutputCmd 1.4函数GPIO_EXTILineConfig 二、配置EXTI相关库函数 2.1函数EXTI_DeInit 2.2函数EXTI_Init 2.3函数EXTI_StructInit 2.4函数 EXTI_Gener…

运维高级-day02

一、编写系统服务启动脚本 RHEL6风格 1、Linux运行级别 Linux运行有七个级别 级别 描述 0 停机状态,系统默认运行级别不能设置为0,否则系统不能正常启动。使用init0命令,可关闭系统 1 单用户状态,此状态仅root用户可登录。用…

超越噪音,让音乐重获新生:iZotope RX 10音频降噪修复软件

在音乐制作或者音频处理的过程中,噪音往往是一个让人头痛的问题。无论是环境噪音,还是设备产生的噪音,都会对音频质量产生重大影响。而现在,我们有了iZotope RX 10,这款专业的音频降噪修复软件,可以将你从噪…