输入x有多个特征features,最终得到输出y的类别。
在上一节提到,左边是我们最开始了解的线性回归,右边是我们的logistics回归(返回值为一个离散的集合)。对于本节,就是在logistics回归输入x的基础上让其多一些特征。如下
每一行叫一个sample。每一列叫一个feature。
一:多维度特征模型
计算y_hat模型的变化:
根据上图的计算过程,得出我们的代码:
class Model(torch.nn.Module):def __init__(self):super(LogisticRegressionModel,self).__init__()self.linear = torch.nn.Linear(8,1)self.sigmoid = torch.nn.Sigmoid()def forward(self,x):#logistic回归和线性回归就差F.sigmoid这一步的运算 y_pred = F.sigmoid(self.linear(x))#先进行一次线性变换,随后进行sigmoid运算return y_predmodel = Model()
把之前的(1,1)变成(8,1)就可以,为什么是这样,可以看下图 。其实就是把八维的空间向量映射到一维的空间向量上。
维度是可以从高到低,也可以从低到高。
中间的步骤越多,中间的神经元越多,对非线性变化的学习能力就越强(那就好奇,学习能力强不是好事吗?那我直接从最高维一步一步变成最低维就好了)。
其实不然,学习能力越强并不一定是好事,因为学习能力过强,会将我们数据的噪声学会,而噪声是我们不想要的(希望最终的学习能力要有泛化能力)。
二:神经网络的构造
最开始输入是八维,通过layer1变成六维,使用Linear(8,6)
变换后的输入是六维,通过layer2变成四维,使用Linear(6,4)
最后使用得到的四维为输入,通过layer3变成一维,使用Linear(4,1)
分层降维可以学到更多的数据特征,但是过多层就会导致过拟合问题出现。
神经网络解决多维数据的分类问题四大步:建立数据集,设计模型,构造损失和优化器,训练。
三:数据集准备
最好准好csv文件,有比较全面的数值。课程所有的所需文件。
链接:https://pan.baidu.com/s/1cUI518pgLWY1oCn2DkjuEQ?pwd=kif1 提取码:kif1
import numpy as np
import torch
xy = np.loadtxt("./dataset/diabetes.csv",delimiter=',',dtype=np.float32)#糖尿病人的相关因素
x_data = torch.from_numpy(xy[:,:-1])#所有行,从第一列开始到最后一列(最后一列不要)
y_data = torch.from_numpy(xy[:,[-1]])#所有行,最后一列([]是为了保证最后一列是一个矩阵,否则就是一个向量)
四:建立模型
以上是模型的建立过程,一下是代码部分:
class Model(torch.nn.Module):def __init__(self):super(Model,self).__init__()self.linear1 = torch.nn.Linear(8,6)self.linear2 = torch.nn.Linear(6,4)self.linear3 = torch.nn.Linear(4,1)self.sigmoid = torch.nn.Sigmoid()def forward(self,x):x = self.sigmoid(self.linear1(x))#此时的x为图中的o1x = self.sigmoid(self.linear2(x))#此时的x为图中的o2x = self.sigmoid(self.linear3(x))#此时的x为图中的y_hat#在实际编写时,取前一个结果为当前输入,一系列同样操作时,建议只使用一个变量xreturn xmodel = Model()
五:构造损失和优化器
与上一章没区别,因为损失依然是一个二分类的概率。
criterion = torch.nn.BCELoss(size_average=False)
optimizer = torch.optim.SGD(model.parameters(),lr=0.01)
五:训练模型
由于数据量比较多,我们通常使用mini-batch,但是此时我们没使用,后续在DataLoader会使用。
for epoch in range(100):#Forwardy_pred = model(x_data) #先计算出y_hatloss = criterion(y_pred,y_data) #再计算出lossprint(epoch,loss.item()) #Backwardoptimizer.zero_grad()#在反馈前将梯度清0loss.backward()#反馈#Updataoptimizer.step()#更新
大家可以使用其他的激活函数,我们使用的是sigmoid,下面也列出来了很多的激活函数,大家可以自己尝试使用(ReLU)。