基于FCN网络实现的多类别图像分割任务

1、前言

FCN 作为图像分割的开山之作,将分割任务作为逐个像素点的分类任务

之前完成了基于unet、resnet+unet、deeplab等等网络的分割任务,具体的可以参考本专栏:

图像分割_听风吹等浪起的博客-CSDN博客

因为FCN网络的实现较为复杂,当然有很多现成的代码实现FCN分割网络。不过torchvision中其实已经封装好了,这里我们直接利用这个torchvision完成即可

2、具体实现的思路

这里介绍代码实现的逻辑,具体的参考之前文章

2.1 数据处理

首先是对数据的处理,因为要完成的分割是属于有监督学习,并且label是和数据同样size的灰度图像,所以两者间的对应特别重要

有的label标签是全黑的,或者是那种白色区域很明显的,其实都是一样的。

因为图像分割是逐个像素点的分类任务,而你把分类的值设为1(全黑)或者255(白色区域)其实是一样的,只不过加载数据的时候需要处理下

这里还是使用之前博文unet处理的方式,通过便利mask图像,找到灰度值有几类,这样其实就是分割网络的输出有几类。

如下,可以看到总共有5个灰度值,也就代表了这个数据集是五分割的任务,0代表背景,也算作分割之一

需要注意的是,网络的输出是需要呈0 1 2 这种自然数,因为5分割的输出是5个特征图,而特征图的索引就是0 1 2 3 4,含义是每个特征图负责预测某个灰度值。

例如猫、狗、猪,三个分类任务,最后输出的张量必须是3,在3中找出最大概率的那个索引就是对应猫、狗、猪的某一类。

而网络是不知道猫、狗、猪是什么玩意,只知道0 1 2 ,我们人为规定0是猫、2是猪。

这里dataset的实现如下:

2.2 FCN网络的实现

torchvision给了我们两个backbone,resnet50和resnet101,这里我们全部实现。

其中weights参数是是否导入官方的预训练权重

2.3 数据预处理

 预处理是黑匣子,对于分割这种任务,知道预处理后的图像是什么样子很有必要,这里也实现一下

其中控制台会输出这样,这样是正常的,可以看到mask的灰度值被映射到了0 1 2 3 4中

需要注意的是,如果出现了255是正常的,因为这里使用了多尺度的随机缩放,255负责填充,在train的时候,代码会自动忽略255的部分

不过有的时候出现255,上面的图像可能会出现异常。

个人猜测,plt会自动将灰度图像调色,这样哪怕mask灰度靠的很近也会很明显的展示。要是出现255的话,调色可能会冲突?

3、对比实验

这里利用FCN对腹部多脏器的五分割进行实验,效果如下:

这里仅仅测试了20个epoch,网络并未收敛

resnet50:

 

resnet101:

 

4、代码使用

训练脚本的超参数如下:

  • backbone 选择resnet50 or resnet101作为FCN的特征提取网络
  • pretrained 是否载入官方预训练权重
  • base_size 在这个值的基础上对图像进行随机缩放0.8倍-1.2倍之间
  • crop_size 中心裁剪,这个值可以设置为数据的大小
  • img_f、mask_f :用于加载数据,因为有的数据和mask图像的文件名不一致,导致找不到对应的标签。在这里填入相应的后缀即可
  • vis 是否保存预处理数据的结果

 

数据的摆放还是和以前一样

 

输出的文件:

依次为:权重、mask灰度值信息、loss和iou分别在train和test数据集上的曲线、学习率衰减曲线、训练日志、可视化数据图像

训练控制台打印如下:

 

代码位置: 基于FCN网络对腹部多脏器数据集的5分割实战资源-CSDN文库

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/4978.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

杰发科技AC7840——CAN通信简介(7)_波形分析

参考: CAN总线协议_stm32_mustfeng-GitCode 开源社区 0. 简介 隐形和显性波形 整帧数据表示 1. 字节描述 CAN数据帧标准格式域段域段名位宽:bit描述帧起始SOF(Start Of Frame)1数据帧起始标志,固定为1bit显性(b0)仲裁段dentify(ID)11本数…

网安行业拐点!网络安全6大企业2023年报盘点

回顾2023:寒冬中的市场概览 2023年,网络安全行业经历了前所未有的挑战。全球经济波动与行业竞争加剧,加之下游客户预算收紧,招投标流程延长,使得整个行业感受到了冬日的严寒。裁员和不发年终奖金的决定在行业中成为普…

记录些RAG-Fusion、Agent、NL2SQL的问题

RAG-Fusion RAG-Fusion 的实现原理 Query Duplication with a Twist:用 LLM 根据用户的 Query 生成几个相关的但不同的 Queries。Vector Search Unleashed:对原 Query 和生成的 Queries 都进行向量(或者其他方式的)搜索。Intell…

DiffusionGAN ——最快的小波扩散模型应用研究

介绍 扩散模型最近出现并迅速发展,吸引了许多研究人员的兴趣。这些模型能从随机的噪声输入生成高质量的图像。在图像生成任务中,它们的表现尤其优于最先进的生成模型(GANs)。扩散模型可以灵活地处理各种条件输入,从而…

meterpreter运行run getgui -e报错

meterpreter运行run getgui -e报错 meterpreter > run getgui -e [!] Meterpreter scripts are deprecated. Try post/windows/manage/enable_rdp. [!] Example: run post/windows/manage/enable_rdp OPTIONvalue [...] [-] The specified meterpreter session script cou…

【C++第三阶段】list容器排序

以下内容仅为当前认识,可能有不足之处,欢迎讨论! 文章目录 构造函数赋值和交换大小操作插入和删除数据存取反转和排序排序案例 list容器在STL中是双向循环链表。 如图所示,每一个节点三个域,前向指针域,后…

用户中心(上)

文章目录 企业做项目流程需求分析技术选型计划初始化项目数据库设计登录/注册⽤户管理(仅管理员可⻅) 初始化项目⼀、前端初始化1.下载nodejs2.Ant Design Pro相关问题1.前端项目启动时报错、无法启动?2.如何初始化前端项目?为什么…

vue 模板字符串

1.模板字符串换行问题 white-space: pre-wrap; 2. 鼠标移入 显示提示框 点击手动隐藏 myChart.on("mouseover", function (params) {myChart.dispatchAction({type: "downplay",}); }); tooltip: {show: true, //是否显示提示框组件,包括…

机器人实验室CNRS-AIST JRL, IRL介绍

一、背景 作为搞机器人方向的学生,必须时常关注国际上顶尖实验室的研究成果,以免自己做的方向out,除了大家耳熟能详的Boston Dynamics,还有许多非常厉害的机器人实验室值得我们关注,如日本的CNRS-AIST JRL, IRL实验室…

spring cache(一)介绍

一、介绍 1、背景 项目中使用最多的缓存技术就是Redis,用Redis就可以实现了,为什么需要使用spring cache? 先看下我们使用缓存步骤: (1)查寻缓存中是否存在数据,如果存在则直接返回结果 (2&#xff09…

虚函数表与虚函数表指针

虚函数表与虚函数表是用来实现多态的,每一个类只有一个虚函数表 静态多态:函数重载(编译期确定) 动态多态:虚函数(运行期确定) 虚函数表的创建时机: 生成时间: 编译期…

生活服务推出品牌实惠团购,覆盖五一假期“吃喝玩乐”多场景

4月26日,抖音生活服务平台上线“跟着大牌过五一”活动会场,携手22家连锁品牌商家,于“五一”前推出优价团购和时令新品,覆盖“吃喝玩乐”多重购物需求,助力假期消费。同时,伴随各地涌现的文旅热潮&#xff…

SAP-ABAP-创建数据元素-02

事物码:SE11 三种数据对象,此处选择‘数据元素’ 基本类型:可以使用预定义或者域,下面一预定义为例,维护数据类型CHAR和长度10 点击字段标签,维护长度和描述, 激活,那么这个数据元素…

JavaSE-14笔记【反射机制(+2024新)】

文章目录 1.反射机制概述2.获取Class的四种方式3.通过反射机制实例化对象*4.反射机制结合配置文件灵活实例化对象*5.java.lang.reflect.Field5.1反编译类中的所有字段/属性5.2 通过反射机制给属性赋值* 6.java.lang.reflect.Method6.1反编译类中的所有方法6.2 通过反射机制调用…

变革 Perplexica:AI驱动的问答搜索引擎

Perplexica是一个开源的人工智能搜索工具,也可以说是一款人工智能搜索引擎,它深入互联网以找到答案。受Perplexity AI启发,它是一个开源选择,不仅可以搜索网络,还能理解您的问题。它使用先进的机器学习算法&#xff0c…

什么是环比折年率

环比折年率是月度(或季度)统计中一个十分重要的统计指标,由环比增速推算得到,用于反映经济的发展速度与趋势变化。环比折年率与同比增速相比具有对趋势变化灵敏度高的优点,在统计分析、趋势预测等领域有着广泛应用。 …

Docker-容器的前世今生

文章目录 Docker为什么产生?硬件虚拟化硬件虚拟化解决的问题硬件虚拟化定义硬件虚拟化技术虚拟机的优点虚拟机的缺点 操作系统虚拟化即容器容器化解决的问题容器化定义容器化技术历史 容器和虚拟机对比 Docker的发展历史Docker架构客户端服务端仓库Registry Docker重…

Linux工具篇 之 vim概念 操作 及基础指令讲解

学校不大 创造神话 讲桌两旁 陨落的王 临时抱佛脚 佛踹我一脚 书山有路勤为径 游戏玩的很起劲 想要计算机学的好,我的博客列表是个宝 –❀–❀–❀–❀–❀–❀–❀–❀–❀–❀–❀–❀–❀–❀–❀–❀–❀–❀–❀-正文开始-❀–❀–❀–❀–❀–❀–❀–❀…

这份详细的智慧校园建设方案,赶紧收藏

高等教育信息化是促进高等教育改革创新和提高质量的有效途径,是教育信息化发展的创新前沿。进一步加强基础设施和信息资源建设,重点推进信息技术与高等教育的深度融合,能促进教育内容、教学手段和方法现代化,创新人才培养、科研组…

渗透之sql注入---实战1

本期的sql注入实战在:BUUCTF在线评测 (buuoj.cn) 该网站上进行。 启动靶机: 1.进来后搜索web1 2.点击【SWPU2019】Web1启动靶机。 3.进来之后在此界面进行注入。 开始注入: 1.找注入点: 我们输入1 后查看广告详情发现报错&a…