神经网络

 那怎么构建人工神经网络中的神经元呢? 

3.relu激活函数

4.SoftMax激活函数

softmax 用于 多分类 过程中，它是二分类函数 sigmoid 在多分类上的推广，目的是 将多分类的结果以概率的形式展现出来

。计算方法如下图所示：

Softmax 就是将网络输出的 logits 通过 softmax 函数，就映射成为(0,1)的值，而 这些值的累和

为1 （满足概率的性质），那么我们将它理解成概率， 选取概率最大（也就是值对应最大的）节

点 ，作为我们的 预测目标类别 。

其他常见的损失函数

激活函数选择的方法

 代码示例

import torch
import matplotlib.pyplot as plt# 一. 函数原图像
# 函数图像
x = torch.linspace(-20,20,1000)
# 1. 输入值x通过sigmoid函数转换成激活值y
# y = torch.sigmoid(x)# 2. 输入值x通过tanh函数转换成激活值y
# y = torch.tanh(x)# 3. 输入值x通过relu函数转换成激活值y
y = torch.relu(x)# 画图
# 创建画布和坐标轴
_,axes = plt.subplots(1,2)
axes[0].plot(x,y)
axes[0].grid()# 二. 导数图像
x = torch.linspace(-20,20,1000,requires_grad=True)# torch.sigmoid(x).sum().backward()
# torch.tanh(x).sum().backward()
torch.relu(x).sum().backward()# x.detach()输入值x的数值    x.grad 计算梯度 求导
axes[1].plot(x.detach(),x.grad)
axes[1].grid()
plt.show()

参数初始化

均匀分布初始化

正态分布初始化

全0初始化

全1初始化.

固定值初始化

kaiming 初始化，也叫做 HE 初始化

xavier 初始化，也叫做 Glorot初始化

代码示例

import torch
import torch.nn as nn# 1. 模型结构
layer = nn.Linear(in_features=3,out_features=5)# nn.init.uniform_(layer.weight)        # 1. 均匀分布
# nn.init.normal_(layer.weight)         # 2. 正态分布
# nn.init.constant_(layer.weight,5)     # 3. 固定初始化
# nn.init.zeros_(layer.weight)          # 4. 全0 (对bias初始化)(默认)
# nn.init.ones_(layer.weight)           # 5. 全1 (对bias初始化),其他对weight# nn.init.kaiming_normal_(layer.weight)      # 6. 凯明(正态分布)
# nn.init.kaiming_uniform_(layer.weight)        # 凯明(均匀分布)# nn.init.xavier_normal_(layer.weight)      # 7. xavier(正态分布)(默认)
nn.init.xavier_uniform_(layer.weight)          # xavier(均匀分布)print(layer.weight.data)

import torch
import torch.nn as nn
from torchsummary import summary# 构建神经网络
# 1. 定义继承自nn.Module的模型类
class model(nn.Module):# 2. 在__init__方法中定义网络中的层结构def __init__(self):# 调用父类的初始化属性值super(model,self).__init__()# 创建第一个隐藏层模型, 3个输入特征,3个输出特征self.layer1 = nn.Linear(3,3)# 初始化权重nn.init.kaiming_normal_(self.layer1.weight)# 创建第二个隐藏层模型, 3个输入特征(上一层的输出特征),2个输出特征self.layer2 = nn.Linear(3,2)# 初始化权重nn.init.kaiming_normal_(self.linear2.weight)# 创建输出层模型self.out = nn.Linear(2,2)# 3. 在forward方法中定义数据传输方式def forward(self,x):# 数据经过第一个线性层h1 = self.layer1(x)# 使用relu激活函数h1 = torch.relu(h1)# 数据经过第二个线性层h2 = self.layer2(h1)# 使用relu激活函数h2 = torch.relu(h2)# 数据经过输出层out = self.out(h2)# 使用softmax激活函数out = torch.softmax(out,dim=-1)return outif __name__ == '__main__':# 创建model对象net = model()# summary(net,input_size=(3,),batch_size=5)# 随机产生数据x = torch.randn(5,3)y = net(x)print(y.shape)# 查看模型参数for name,params in net.named_parameters():print(name)print(params)