Pytorch入门实战 P4-猴痘图片,精确度提升

目录

一、前言:

二、前期准备:

1、设备查看

2、导入收集到的数据集

3、数据预处理

4、划分数据集(8:2)

5、加载数据集

三、搭建神经网络

四、训练模型

1、设置超参数

2、编写训练函数

3、编写测试函数

4、正式训练

五、可视化结果

六、预测

1、预测函数

2、指定图片进行预测

七、模型保存

八、运行结果展示:

①使用原有的网络模型,测试集的精确度基本上在82%左右。

②在原有网络模型的基础上,添加了relu激活函数,

③减小学习率,

④增大学习率,


  • 🍨 本文为🔗365天深度学习训练营 中的学习记录博客
  • 🍖 原作者:K同学啊 | 接辅导、项目定制

一、前言:

本篇博文,主要使用猴痘数据集,来训练模型,大部分的代码还是之前的很类似,不同的地方在意,使用的模型参数不同,模型也都是类似的。这篇文章里面,你可以学会如何保存训练好的模型,如何使用保存的的模型进行预测。

如以往一样,可以先大概看下目录,你的脑海会有大概得流程。

二、前期准备:

1、设备查看

# 1、设备相关
device = torch.device('cuda:0' if torch.cuda.is_available() else 'cpu')
print(device)

2、导入收集到的数据集

我的数据集文件夹是这样的:

①一个是带有猴痘的图片的文件夹;②一个是其他痘的文件夹;

# 2、导入数据
data_dir = './data'
data_dir = pathlib.Path(data_dir)  # 获取到文件data的名称data_paths = list(data_dir.glob('*'))  # 获取到文件夹data下面子文件夹的名称  [PosixPath('data/Others'), PosixPath('data/Monkeypox')]
classNames = [str(path).split('/')[1] for path in data_paths]  # 获取到子文件夹的名称  ['Others', 'Monkeypox']

3、数据预处理

# 3、数据处理
train_transforms = transforms.Compose([transforms.Resize([224, 224]),transforms.ToTensor(),transforms.Normalize(mean=[0.485, 0.456, 0.406],std=[0.229, 0.224, 0.225])
])total_data = datasets.ImageFolder('./data',transform=train_transforms)
# print(total_data.class_to_idx)  # {'Monkeypox': 0, 'Others': 1}  total_data.class_to_idx 是一个存储了数据集类别和对应索引的字典。

4、划分数据集(8:2)

# 4、划分数据集
train_size = int(0.8*len(total_data))
test_size = len(total_data) - train_size
train_dataset, test_dataset = torch.utils.data.random_split(total_data,[train_size, test_size])
# print(len(train_dataset), len(test_dataset))   # 1713  429

5、加载数据集

# 5、加载数据集
batch_size = 32
train_dl = torch.utils.data.DataLoader(train_dataset,batch_size=batch_size,shuffle=True,num_workers=1)
test_dl = torch.utils.data.DataLoader(test_dataset,batch_size=batch_size,shuffle=True,num_workers=1)
print('准备工作结束。。。。')

三、搭建神经网络

网络图如下:

# 猴痘的模型
class Network_bn(nn.Module):def __init__(self):super(Network_bn, self).__init__()'''默认stride为1;  padding为0'''self.conv1 = nn.Conv2d(in_channels=3, out_channels=12, kernel_size=5, stride=1, padding=0)self.bn1 = nn.BatchNorm2d(12)self.conv2 = nn.Conv2d(in_channels=12, out_channels=12, kernel_size=5, stride=1, padding=0)self.bn2 = nn.BatchNorm2d(12)self.pool1 = nn.MaxPool2d(2, 2)self.conv3 = nn.Conv2d(in_channels=12, out_channels=24, kernel_size=5, stride=1, padding=0)self.bn3 = nn.BatchNorm2d(24)self.conv4 = nn.Conv2d(in_channels=24, out_channels=24, kernel_size=5, stride=1, padding=0)self.bn4 = nn.BatchNorm2d(24)self.pool2 = nn.MaxPool2d(2, 2)self.fc = nn.Linear(24*50*50, 2)self.relu = nn.ReLU(inplace=True)def forward(self, x):x = F.relu(self.bn1(self.conv1(x)))x = F.relu(self.bn2(self.conv2(x)))x = self.pool1(x)x = F.relu(self.bn3(self.conv3(x)))x = F.relu(self.bn4(self.conv4(x)))x = self.pool2(x)x = x.view(-1, 24*50*50)x = self.fc(x)x = self.relu(x)return xmodel = Network_bn().to(device)
print(model)

四、训练模型

1、设置超参数

# 三、训练模型
# 1、 设置超参数
loss_fn = nn.CrossEntropyLoss()  # 创建损失函数
learn_rate = 1e-4  # 学习率
opt = torch.optim.SGD(model.parameters(), lr=learn_rate)

2、编写训练函数

# 2、编写训练函数
def train(dataloader, model, loss_fn, optimizer):size = len(dataloader.dataset)   # 训练集大小num_batches = len(dataloader)    # 批次数目train_acc, train_loss = 0, 0for X, y in dataloader:  # 获取图片及其标签X, y = X.to(device), y.to(device)# 计算预测误差pred = model(X)   # 网络输出loss = loss_fn(pred, y)  # 计算网络输出与真实值之间的差距。# 反向传播optimizer.zero_grad()  # grad属性归零loss.backward()   # 反向传播optimizer.step()  # 每一步自动更新# 记录acc与losstrain_acc += (pred.argmax(1) == y).type(torch.float).sum().item()train_loss += loss.item()train_acc /= sizetrain_loss /= num_batchesreturn train_acc, train_loss

3、编写测试函数

# 3、 编写测试函数def test(dataloader, model, loss_fn):size = len(dataloader.dataset)  # 测试集大小num_batches = len(dataloader)  # 批次数目test_acc, test_loss = 0, 0# 当不进行训练时,停止梯度更新,节省计算内存消耗with torch.no_grad():for imgs, target in dataloader:imgs, target = imgs.to(device), target.to(device)# 计算损失target_pred = model(imgs)loss = loss_fn(target_pred, target)test_acc += (target_pred.argmax(1) == target).type(torch.float).sum().item()test_loss += loss.item()test_acc /= sizetest_loss /= num_batchesreturn test_acc, test_loss

4、正式训练

# 正式训练
epochs = 20
train_loss = []
train_acc = []
test_loss = []
test_acc = []for epoch in range(epochs):model.train()epoch_train_acc, epoch_train_loss = train(train_dl, model, loss_fn, opt)model.eval()epoch_test_acc, epoch_test_loss = test(test_dl, model, loss_fn)train_acc.append(epoch_train_acc)train_loss.append(epoch_train_loss)test_acc.append(epoch_test_acc)test_loss.append(epoch_test_loss)template = 'Epoch:{:2d}, Train_acc:{:.1f}%, Train_loss:{:.3f}, Test_acc:{:.1f}%, Test_loss:{:.3f}'print(template.format(epoch+1, epoch_train_acc*100, epoch_train_loss, epoch_test_acc*100, epoch_test_loss))
print('Done')

五、可视化结果

# 结果可视化
warnings.filterwarnings('ignore')  # 忽略警告信息
plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号
plt.rcParams['figure.dpi'] = 100  # 分辨率epochs_range = range(epochs)plt.figure(figsize=(12,3))
plt.subplot(1, 2, 1)
plt.plot(epochs_range, train_acc, label="Training Acc")
plt.plot(epochs_range, test_acc, label="Test Acc")
plt.legend(loc='lower right')
plt.title('Training and Validation Acc')plt.subplot(1, 2, 2)
plt.plot(epochs_range, train_loss, label="Training Loss")
plt.plot(epochs_range, test_loss, label='Test Loss')
plt.legend(loc='upper right')
plt.title('Training and Validation Loss')plt.savefig("/data/jupyter/deepinglearning_train_folder/p04_weather/resultImg.jpg")
plt.show()

六、预测

1、预测函数

classes = list(total_data.class_to_idx)
print('classes:', classes)# 预测训练集中的某张图片
predict_one_image(image_path='./data/Monkeypox/M01_01_00.jpg',model=model,transform=train_transforms,classes=classes)

2、指定图片进行预测

# 预测函数
def predict_one_image(image_path, model, transform, classes):test_img = Image.open(image_path).convert('RGB')test_img = transform(test_img)img = test_img.to(device).unsqueeze(0)model.eval()output = model(img)_, pred = torch.max(output, 1)pred_class = classes[pred]print(f'预测结果是:{pred_class}')

七、模型保存

# 模型保存
PATH = './model.pth'  # 保存的模型
torch.save(model.state_dict(), PATH)# 将参数加载到model当中
model.load_state_dict(torch.load(PATH, map_location=device))

(我是在具有GPU的服务器上训练的模型)

八、运行结果展示:

①使用原有的网络模型,测试集的精确度基本上在82%左右。

②在原有网络模型的基础上,添加了relu激活函数,

可使得精度提高2%左右。但是训练精度减少了。

③减小学习率,

使得测试精度,直线下降

④增大学习率,

也可以使得测试精确度提高2%左右,还会使得训练的精确度更好,达到98.7%

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/779570.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

[LeetCode][LCR 179]查找总价格为目标值的两个商品

题目 LCR 179. 查找总价格为目标值的两个商品 购物车内的商品价格按照升序记录于数组 price。请在购物车中找到两个商品的价格总和刚好是 target。若存在多种情况,返回任一结果即可。 示例 1: 输入:price [3, 9, 12, 15], target 18 输出&…

C语言例4-30:将一个正整数的各位数字逆序输出

算法分析&#xff1a; 提取某一个正整数的最末一位数字&#xff0c;采用取模10的余数获得&#xff0c;以此类推即可。 代码如下&#xff1a; //将一个正整数的各位数字逆序输出 #include<stdio.h> int main(void) {int i,r;printf("输入一个正整数&#xff1a; \…

代码随想录算法训练营第三十八天 | 509. 斐波那契数、70. 爬楼梯、746. 使用最小花费爬楼梯

代码随想录算法训练营第三十八天 | 509. 斐波那契数、70. 爬楼梯、746. 使用最小花费爬楼梯 509. 斐波那契数题目解法 70. 爬楼梯题目解法 746. 使用最小花费爬楼梯题目解法 感悟 509. 斐波那契数 题目 解法 使用动态规划 class Solution { public:int fib(int n) {if(n <…

如何准备科学海报

科学会议上的海报展示可以为早期职业研究人员提供宝贵的机会来练习他们的沟通技巧&#xff0c;获得有关他们研究的反馈&#xff0c;并扩大他们的网络。“通过与其他研究人员一对一地讨论我的工作&#xff0c;[我发现]我可以确定哪些工作做得好&#xff0c;哪些需要改进&#xf…

论文阅读,The Lattice Boltzmann Method: Principles and Practice(六)(1)

目录 一、流体模拟方法概述 二、传统的Navier-Stokes求解器 2.1 有限差分 2.2 有限体积法 2.3 有限元法 三、基于粒子的求解器 3.1 动力学理论 3.2 分子动力学 3.3 格子气体模型 3.4 耗散粒子动力学 3.5 多粒子碰撞动力学 3.6 直接模拟蒙特卡罗方法 3.7 平滑粒子流…

算法练习----力扣每日一题------1

原题链接&#xff1a; 2908. 元素和最小的山形三元组 I - 力扣&#xff08;LeetCode&#xff09; 题目解读&#xff1a; 给定一个整数数组nums&#xff0c;如果下标i,j,k满足 i<j<knums[i]<num[j]并且nums[k]<num[j] 则称为山型三元组&#xff0c;返回所有山型三…

0202矩阵的运算-矩阵及其运算-线性代数

文章目录 一、矩阵的加法二、数与矩阵相乘三、矩阵与矩阵相乘四、矩阵的转置五、方阵的行列式结语 一、矩阵的加法 定义2 设有两个 m n m\times n mn橘子 A ( a i j ) 和 B ( b i j ) A(a_{ij})和B(b_{ij}) A(aij​)和B(bij​),那么矩阵A与B的和记为AB,规定为 A B ( a 11…

SqlServer(4)经典总结大全-技巧总结-数据开发-基本函数-常识整理-经典面试题

六、技巧 1、11&#xff0c;12的使用&#xff0c;在SQL语句组合时用的较多 “where 11” 是表示选择全部 “where 12”全部不选&#xff0c; 如&#xff1a; if strWhere !‘’ begin set strSQL ‘select count(*) as Total from [’ tblName ] where ’ strWhere …

GEE22:基于目视解译的土地利用分类(随机森林监督分类)

采样点信息&#xff1a; 设置一下采样点参数&#xff1a; 代码&#xff1a; //设置研究区位置 var table ee.FeatureCollection("users/cduthes1991/boundry/China_province_2019"); var roi table.filter(ee.Filter.eq(provinces,beijing)); Map.centerObjec…

Golang基础-4

Go语言基础 介绍 基础 数组(array) 数组声明 元素访问与修改 数组遍历 关系运算 切片创建 多维数组 介绍 本文介绍Go语言中数组(array)操作(数组声明、元素访问与修改、数组遍历、关系运算、切片创建、多维数组)等相关知识。 基础 数组 数组是具有相同数据类型的…

函数重载和引用

目录 一&#xff1a;函数重载 1.1函数重载的概念 1.2为什么C支持函数重载&#xff0c;而C语言不支持呢&#xff1f; 1.2.1结论 1.2.2分析 二&#xff1a;引用 2.1引用概念 2.2引用特性 ​编辑 2.3常引用 2.4使用场景 一&#xff1a;函数重载 在自然语言中&#x…

浏览器工作原理与实践--块级作用域:var缺陷以及为什么要引入let和const

在前面《07 | 变量提升&#xff1a;JavaScript代码是按顺序执行的吗&#xff1f;》这篇文章中&#xff0c;我们已经讲解了JavaScript中变量提升的相关内容&#xff0c;正是由于JavaScript存在变量提升这种特性&#xff0c;从而导致了很多与直觉不符的代码&#xff0c;这也是Jav…

数字化坚鹏:小熊电器面向数字化转型的大数据顶层设计实践培训

小熊电器面向数字化转型的大数据顶层设计实践培训圆满结束 ——努力打造“数据技术营销”三轮驱动的数字化领先企业 小熊电器股份有限公司由李一峰创立于2006年&#xff0c;是一家专业从事创意小家电研发、设计、生产和销售的实业型企业。2019年8月23日正式在深交所挂牌上市。…

搜索模糊匹配% _ 等特殊字符转义工具

mysql 和达梦数据库不同的解决方式&#xff1a; mysql 数据库 解决搜索框传入%等特殊字符查询全部数据的问题&#xff1a; /***author liuxingying*description 搜索转义工具类*since 2023/11/30*/ public class EscapeUtil {/*** sql的模糊查询时特殊字符转义(条件查询%或者_…

Intel Arc显卡安装Stable Diffusion

StableDiffusion是一种基于深度学习的文本到图像生成模型&#xff0c;于2022年发布。它主要用于根据文本描述生成详细图像&#xff0c;也可应用于其他任务&#xff0c;如内补绘制、外补绘制和在提示词指导下生成图像翻译。通过给定文本提示词&#xff0c;该模型会输出一张匹配提…

gitee多用户配置

一、引言 在工作的时候我们有时候会自己创建项目Demo来实现一些功能&#xff0c;但是又不想把自己的Demo代码放到公司的仓库代码平台&#xff08;gitee&#xff09;中管理&#xff0c;于是就是想自己放到自己的Gitee中管理&#xff0c;于是就需要配置Git多用户。 本文将配置分别…

javascript解决接口请求过慢新的接口返回数据被旧的接口覆盖问题

今天请求接口的时候发现最新一次接口数据被上一次接口请求数据覆盖&#xff0c;原因是上一次接口用了2~3s,本次接口请求用了10ms, 导致新的数据被旧数据覆盖, 为了避免上一次请求的代码执行在本次请求之后才响应结束&#xff0c;使用Promise来管理异步操作。在每次请求开始时创…

串行流(Sequential Stream)和并行流(Parallel Stream)区别

在 Java 中&#xff0c;串行流和并行流是针对流操作的两种不同处理方式&#xff1a; 串行流&#xff08;Sequential Stream&#xff09;&#xff1a; 串行流是流元素按顺序依次处理的流。在串行流中&#xff0c;操作是单线程执行的&#xff0c;每个元素依次经过流水线上的各个…

力扣46---全排列(递归)

给定一个不含重复数字的数组 nums &#xff0c;返回其 所有可能的全排列 。你可以 按任意顺序 返回答案。 示例 1&#xff1a; 输入&#xff1a;nums [1,2,3] 输出&#xff1a;[[1,2,3],[1,3,2],[2,1,3],[2,3,1],[3,1,2],[3,2,1]]示例 2&#xff1a; 输入&#xff1a;nums …

vue2之各种插槽

插槽也是用于vue间创建的数据的一种方式&#xff0c;一般都是传递html元素。比如可以用于定义一个带样式的title等 默认插槽&#xff1a;没有name的插槽 ----父组件------ <template><div><TypeCom><!-- 如果这里的注释放开&#xff0c;那么子组件中默认…