1. 模型的创建

1.1. 创建方法

1.1.1. 通过使用模型组件

可以直接使用模型组件快速创建模型。

import torch.nn as nnmodel =	nn.Linear(10, 10)
print(model)

输出结果：

Linear(in_features=10, out_features=10, bias=True)

1.1.2. 通过继承nn.Module类

在__init__方法中使用模型组件定义模型各层，还可以直接使用torch.nn.functional中的函数。必须重写forward方法实现前向传播。

import torch.nn as nnclass Model(nn.Module):def __init__(self):super().__init__()self.layer1 = nn.Linear(10, 10)self.layer2 = nn.Linear(10, 10)self.layer3 = nn.Sequential(nn.Linear(10, 10),nn.ReLU(),nn.Linear(10, 10))def forward(self, x):x = self.layer1(x)x = self.layer2(x)x = self.layer3(x)return xmodel = Model()
print(model)

输出结果：

Model((layer1): Linear(in_features=10, out_features=10, bias=True)(layer2): Linear(in_features=10, out_features=10, bias=True)(layer3): Sequential((0): Linear(in_features=10, out_features=10, bias=True)(1): ReLU()(2): Linear(in_features=10, out_features=10, bias=True))
)

1.2. 将模型转移到GPU

方法与将数据转移到GPU类似，都有两种方法：

1. model.to(device)
2. mode.cuda()

import torch
import torch.nn as nn# 创建模型实例
model = nn.Sequential(nn.Linear(10, 10),nn.ReLU(),nn.Linear(10, 10)
)# 将模型移动到GPU
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model = model.to(device)
# 也可以
model = model.cuda()

2. 模型参数初始化

torch.nn.init提供了许多初始化参数的函数：

函数名	作用	参数
uniform_	从均匀分布$U(a,b)$中生成值，填充输入的张量	tensor, a = 0, b = 1
normal_	从正态分布$N(mean,st{d}^2)$中生成值，填充输入的张量	tensor, mean = 0, std = 1
constant_	用常数$val$，填充输入的张量	tensor, val
eye_	用单位矩阵，填充二维输入张量	tensor（二维）
dirac_	用狄拉克函数，填充{3, 4, 5}维输入张量	tensor（{3, 4, 5}维）, groups = 1
xavier_uniform_	从xavier均匀分布中生成值，填充输入张量	tensor, gain = 1
xavier_normal_	从xavier正态分布中生成值，填充输入张量	tensor, gain = 1
kaiming_uniform_	从kaiming均匀分布中生成值，填充输入张量	tensor, a = 0, mode = ‘fan_in’, nonlinearity = ‘leaky_relu’
kaiming_normal_	从kaiming正态分布中生成值，填充输入张量	tensor, a = 0, mode = ‘fan_in’, nonlinearity = ‘leaky_relu’
orthogonal_	用一个（半）正交矩阵，填充输入张量	tensor, gain = 1
sparse_	用非零元素服从$N(0,st{d}^2)$的稀疏矩阵，填充二维输入张量	tensor, sparsity, std = 0.01

3. 模型的保存与加载

模型保存和加载使用的python内置的pickle模块。

3.1. 只保存参数

import torch
import torch.nn as nn# 创建模型实例
model1 = nn.Sequential(nn.Linear(10, 10),nn.ReLU(),nn.Linear(10, 10)
)# 保存和加载参数
torch.save(model1.state_dict(), '../model/model_params.pkl')
model1.load_state_dict(torch.load('../model/model_params.pkl'))

3.2. 保存模型和参数

import torch
import torch.nn as nn# 创建模型实例
model1 = nn.Sequential(nn.Linear(10, 10),nn.ReLU(),nn.Linear(10, 10)
)# 保存和加载模型和参数
torch.save(model1, '../model/model.pt')
model2 = torch.load('../model/model.pt')
print(model2)