数据操作

1）获取数据；（2）将数据读入计算机后对其进行处理。

n维数组，也称为张量（tensor）。 使用过Python中NumPy计算包的读者会对本部分很熟悉。 无论使用哪个深度学习框架，它的张量类（在MXNet中为ndarray， 在PyTorch和TensorFlow中为Tensor）都与Numpy的ndarray类似。 但深度学习框架又比Numpy的ndarray多一些重要功能： 首先，GPU很好地支持加速计算，而NumPy仅支持CPU计算； 其次，张量类支持自动微分。 这些功能使得张量类更适合深度学习。

"""""
@ 创建人员：jia
@ 创建时间：2024/11/27
@ description：
"""""
import torch
# 用 arange 创建一个行向量 x
x = torch.arange(12)
print(x)
# 通过张量的shape属性来访问张量（沿每个轴的长度）的形状 。
print(x.shape)
# 张量中元素的总数
print(x.numel())
# 改变张量的形状   我们可以通过-1来调用此自动计算出维度的功能
print(x.reshape(3, 4))
# 希望使用全0、全1、其他常量，或者从特定分布中随机采样的数字来初始化矩阵
print(torch.zeros((2, 3, 4)))
print(torch.ones((2, 3, 4)))
#创建一个形状为（3,4）的张量。 其中的每个元素都从均值为0、标准差为1的标准高斯分布（正态分布）中随机采样
print(torch.randn(3, 4))

#运算符
x = torch.tensor([1.0, 2, 4, 8])
y = torch.tensor([2, 2, 2, 2])
print(x + y, x - y, x * y, x / y, x ** y, sep='\n') # **运算符是求幂运算
'''
print(x + y, end='\n')
print(x - y, end='\n')
print(x * y, end='\n')
print(x / y, end='\n')
print(x ** y)
'''
# 多个张量连结（concatenate）在一起， 把它们端对端地叠起来形成一个更大的张量
X = torch.arange(12, dtype=torch.float32).reshape((3,4))
Y = torch.tensor([[2.0, 1, 4, 3], [1, 2, 3, 4], [4, 3, 2, 1]])
torch.cat((X, Y), dim=0), torch.cat((X, Y), dim=1)  # 按行和按列相连

# 广播机制
# 矩阵a将复制列， 矩阵b将复制行，然后再按元素相加。
a = torch.arange(3).reshape((3, 1))
b = torch.arange(2).reshape((1, 2))
print(a, b)
print(a + b)
# 我们可以用[-1]选择最后一个元素，可以用[1:3]选择第二个和第三个元素
X[-1], X[1:3]
#  除读取外，我们还可以通过指定索引来将元素写入矩阵
X[1, 2] = 9   # 第二行第三个
X[0:2, :] = 12 # 第一行和第二行，：代表所有列'''
@ description：节省内存
'''
# 运行一些操作可能会导致为新结果分配内存。 例如，如果我们用Y = X + Y，我们将取消引用Y指向的张量，而是指向新分配的内存处的张量。
# 我们可以使用切片表示法将操作的结果分配给先前分配的数组
Z = torch.zeros_like(Y)
print('id(Z):', id(Z))
Z[:] = X + Y
print('id(Z):', id(Z))
# 如果在后续计算中没有重复使用X， 我们也可以使用X[:] = X + Y或X += Y来减少操作的内存开销。
before = id(X)
X += Y
id(X) == before# 将深度学习框架定义的张量转换为NumPy张量（ndarray）很容易，反之也同样容易。
# torch张量和numpy数组将共享它们的底层内存，就地操作更改一个张量也会同时更改另一个张量。
A = X.numpy()
B = torch.tensor(A)
type(A), type(B)   #(numpy.ndarray, torch.Tensor)
# 要将大小为1的张量转换为Python标量，我们可以调用item函数或Python的内置函数。
a = torch.tensor([3.5])
a, a.item(), float(a), int(a) # (tensor([3.5000]), 3.5, 3.5, 3)

小结：

深度学习存储和操作数据的主要接口是张量（\(n\)维数组）。它提供了各种功能，包括基本数学运算、广播、索引、切片、内存节省和转换其他Python对象。

数据预处理

'''读取数据集'''
import os
import pandas as pd
os.makedirs(os.path.join('..', 'data'), exist_ok=True)
data_file = os.path.join('..', 'data', 'house_tiny.csv')
with open(data_file, 'w') as f:f.write('NumRooms,Alley,Price\n')  # 列名f.write('NA,Pave,127500\n')  # 每行表示一个数据样本f.write('2,NA,106000\n')f.write('4,NA,178100\n')f.write('NA,NA,140000\n')
# 如果没有安装pandas，只需取消对以下行的注释来安装pandas
# !pip install pandas
import pandas as pd
data = pd.read_csv(data_file)
print(data)'''处理缺失值'''# 通过位置索引iloc，我们将data分成inputs和outputs， 其中前者为data的前两列，而后者为data的最后一列。
# 对于inputs中缺少的数值，我们用同一列的均值替换“NaN”项。
inputs, outputs = data.iloc[:, 0:2], data.iloc[:, 2]
inputs = inputs.fillna(inputs.mean())
print(inputs)
# 对于inputs中的类别值或离散值，我们将“NaN”视为一个类别。
# 由于“巷子类型”（“Alley”）列只接受两种类型的类别值“Pave”和“NaN”，
# pandas可以自动将此列转换为两列“Alley_Pave”和“Alley_nan”。
# 巷子类型为“Pave”的行会将“Alley_Pave”的值设置为1，“Alley_nan”的值设置为0。
# 缺少巷子类型的行会将“Alley_Pave”和“Alley_nan”分别设置为0和1。
inputs = pd.get_dummies(inputs, dummy_na=True)
print(inputs)'''转换为张量格式'''
import torch
# 现在inputs和outputs中的所有条目都是数值类型，它们可以转换为张量格式。
X = torch.tensor(inputs.to_numpy(dtype=float))
y = torch.tensor(outputs.to_numpy(dtype=float))

读取数据集

处理缺失值

转换为张量格式

小结：

• pandas软件包是Python中常用的数据分析工具中，pandas可以与张量兼容。

• 用pandas处理缺失的数据时，我们可根据情况选择用插值法和删除法。

线性代数

标量（scalar）

import torchx = torch.tensor(3.0)
y = torch.tensor(2.0)x + y, x * y, x / y, x**y

向量

向量可以被视为标量值组成的列表。 这些标量值被称为向量的元素（element）或分量（component）。

x = torch.arange(4)

张量、降维、求和、点积、向量积、矩阵乘法、范数

'''张量'''
#  张量用特殊字体的大写字母表示
# # 通过分配新内存，将A的一个副本分配给B
A = torch.arange(20, dtype=torch.float32).reshape(5, 4)
B = A.clone()  # 通过分配新内存，将A的一个副本分配给B
A, A + B
A * B   # 矩阵的乘法
# tensor([[  0.,   1.,   4.,   9.],
#         [ 16.,  25.,  36.,  49.],
#         [ 64.,  81., 100., 121.],
#         [144., 169., 196., 225.],
#         [256., 289., 324., 361.]])
# 将张量乘以或加上一个标量不会改变张量的形状，其中张量的每个元素都将与标量相加或相乘。
'''
降维
'''
# 指定axis=1将通过汇总所有列的元素降维（轴1）。因此，输入轴1的维数在输出形状中消失。
A_sum_axis1 = A.sum(axis=1)
# 计算任意形状张量的平均值
A.mean(), A.sum() / A.numel()
# 同样，计算平均值的函数也可以沿指定轴降低张量的维度。
A.mean(axis=0), A.sum(axis=0) / A.shape[0]
'''
非降维求和
'''
# 在调用函数来计算总和或均值时保持轴数不变会很有用。
sum_A = A.sum(axis=1, keepdims=True)
# 如果我们对这个数组执行A.cumsum(axis=0)，我们会得到一个新的数组，其中每个元素是原数组中对应列的累积和：
A.cumsum(axis=0)
'''
点积
'''
# 是相同位置的按元素乘积的和
y = torch.ones(4, dtype = torch.float32)
x, y, torch.dot(x, y)
# 同样的方法
torch.sum(x * y)
'''
矩阵向量积
'''
# 使用张量表示矩阵-向量积，我们使用mv函数。 当我们为矩阵A和向量x调用torch.mv(A, x)时，会执行矩阵-向量积。
# 注意，A的列维数（沿轴1的长度）必须与x的维数（其长度）相同
(A.shape, x.shape, torch.mv(A, x))
'''
矩阵的乘积
'''
torch.mm(A, B)
'''
范数
'''
# L2范数是向量元素平方和的平方根：u = torch.tensor([3.0, -4.0])
torch.norm(u)
# L1范数是向量元素平方和的平方根：
torch.abs(u).sum()
# Frobenius范数  矩阵元素平方和的平方根：
torch.norm(torch.ones((4, 9)))

导数

import numpy as np
import matplotlib.pyplot as plt# 定义函数
def f(x):return 3 * x ** 2 - 4 * x# 创建数据
x = np.arange(0, 3, 0.1)# 绘制图形
plt.plot(x, f(x), label='f(x)')
plt.plot(x, 2 * x - 3, label='Tangent line (x=1)')# 设置标签和图例
plt.xlabel('x')
plt.ylabel('f(x)')
plt.legend()# 显示图形
plt.show()

偏导数

梯度

我们可以连结一个多元函数对其所有变量的偏导数，以得到该函数的梯度（gradient）向量。

函数f(x)相对于x的梯度是一个包含n个偏导数的向量:

链式法则

自动微分

"""""
@ 创建人员：jia
@ 创建时间：2024/11/28
@ description：
"""""
import torch
# 反向传播
x = torch.arange(4.0)
print(x)
# 告诉 PyTorch 跟踪计算过程中的梯度，以便之后可以计算梯度。
x.requires_grad_(True)  # 等价于x=torch.arange(4.0,requires_grad=True)
y = 2 * torch.dot(x, x)
y.backward()
x.grad
print(x.grad == 4 * x)
# 在默认情况下，PyTorch会累积梯度，我们需要清除之前的值
x.grad.zero_()
y = x.sum()  # 加法梯度都为1
y.backward()
x.grad
# 分离计算

概率

"""""
@ 创建人员：jia
@ 创建时间：2024/11/28
@ description：
"""""
import torch
from torch.distributions import multinomial
from d2l import torch as d2l# 定义公平概率
fair_probs = torch.ones([6]) / 6# 创建多项式分布
multi_dist = multinomial.Multinomial(1, fair_probs)
sample1  = multinomial.Multinomial(10, fair_probs).sample()
# 生成样本
sample = multi_dist.sample()
counts = multinomial.Multinomial(1000, fair_probs).sample()
# 打印结果
print("Sample from Multinomial distribution:", sample)
print("Sample from Multinomial distribution:", sample1)
print("Sample from Multinomial distribution:", counts/1000)
counts = multinomial.Multinomial(10, fair_probs).sample((500,))
cum_counts = counts.cumsum(dim=0)
estimates = cum_counts / cum_counts.sum(dim=1, keepdims=True)d2l.set_figsize((6, 4.5))
for i in range(6):d2l.plt.plot(estimates[:, i].numpy(),label=("P(die=" + str(i + 1) + ")"))
d2l.plt.axhline(y=0.167, color='black', linestyle='dashed')
d2l.plt.gca().set_xlabel('Groups of experiments')
d2l.plt.gca().set_ylabel('Estimated probability')
d2l.plt.legend();
d2l.plt.show()