A Simple Semi-Supervised Learning Framework for Object Detection

1. Introduction

SSL的成功主要有以下两个方面:

(1)一致性正则化:如果对一个未标记的数据应用实际的扰动, 其预测结果不应该发生显著变化, 也就是输出具有一致性,通过在未标记数据上构造添加扰动后的预测结果 y~​ 与正常预测结果 y之间的无监督正则化损失项, 提高模型的泛化能力。关键思想是首先为未标记的数据生成人工标签,并训练模型在为未标记的数据提供保持语义的随机增强时预测这些人工标签。

(2)数据增强技术的发展

本文的工作:

利用深度SSL在图像分类方面的经验来解决SSL用于目标检测的问题。 提出了一个用于对象检测的SSL框架,该框架结合了自我训练(通过伪标签)和基于强数据增强的一致性正则化。 受NoisyStudent框架的启发,系统包含两个训练阶段。

NoisyStudent框架流程:Self-training with Noisy Student improves ImageNet classification论文解析-CSDN博客

(1)首先将在ImageNet上训练好的模型作为Teacher Network来训练Student Network
(2)再使用训练好的T网络(无噪音)来对另一个数据集[JFT dataset]生成尽可能准确的伪标签
(3)之后使用生成伪标签的数据集[JFT dataset]和ImageNet一起训练Student Network
(4)Student Network中增加了模型噪音(1)DropOut(2)随机深度和数据噪音:(1)对图片进行数据增强

(1)首先,我们会将Unlabeled images经过Teacher模型,生成伪标签(NMS之后置信度过滤完成的高精度伪标签),还会为增强之后的imasge生成增强伪标签

(2) 在第二阶段,对每个未标记的图像应用强数据增强,并使用标记数据和未标记数据及其在第一阶段生成的相应伪标签训练模型

(3)将数据增强后的images输入进入Student模型进行Predict,然后再与教师生成的伪标签(增强之后的)进行损失计算。学生模型逐步学习未标注数据中的特征,优化自己的权重。

半监督学习方法:

1、基于一致性正则化:使模型对输入数据的微小扰动保持一致的输出。MeanTeacher、UDA和MixMatch

2、基于伪标签:利用模型自身对无标签数据的预测结果作为“伪造”的标签,以此来扩充训练数据集noise -student、FixMatch(如果有时间把这几篇论文都看一下)

数据增强:适当的颜色变换和输入空间的几何变换是关键

全局水平翻转(弱增强)来构建一致性损失,强增强还未得到深入研究

3. Methodology

3.1Unsupervised Loss in SSL

3.2STAC

训练步骤:

1、在可用的标记图像上训练一个教师模型(参考noise -student模型)

2、对unlabelled images生成伪标签(经过NMS之后,且基于置信度的阈值过滤)

3、对未标记的图像应用强数据增强,并在应用全局几何变换时相应地增强伪标签(即边界框)

生成伪标签:基于Fast RCNN网络

教师模型包括了目标检测的关键组成部分:Backbone(主干网络,用于提取特征)、RPN(区域建议网络,用于生成候选框)、和 CLS 网络(分类网络,用于对候选框进行分类)。

伪标签生成和传统的分类任务不同。分类任务通常直接使用原始的预测概率(如 softmax 输出)来计算置信度分数,而在目标检测中,生成伪标签的置信度分数是通过 NMS 之后的边界框来确定的。NMS 后的分数是基于汇总多个 anchor 框的预测概率,而不是直接使用单个预测的原始概率

置信度:为了进一步减少错误检测,使用了基于置信度的阈值筛选(confidence-based thresholding),这是从 FixMatch 和 Noisy Student 方法中借鉴的。

无监督损失:

如果锚点与任何教师模型的CLS预测置信度分数高于阈值 τ的伪边界框相关联,则 qi∗为 1;否则为 0(即被视为背景)。

λu​:​ 是一个超参数,用于平衡有监督损失和无监督损失。在实验中,发现 λu​ 在区间 [1,2] 内表现良好。

数据增强策略:

(1)全局颜色变换(C)

(2)全局几何变换(G):x-y平移、旋转、x-y剪切

(3)Box-level transformation

4.Experiments

当使用更多的标记训练数据和更复杂的数据增强策略时,训练时间越长,模型的性能越好

使用τ =0.9和λu =2进行所有实验,我们降低阈值τ =0.5以提高伪标签的召回率

5. Ablation Study

5.1. Data Augmentation

数据增强策略在具有少量label标记的数据上表现比较好;当使用所有标记数据进行训练时,网络明显不适合增强策略,但是可以通过增加训练时常来解决这个问题。

5.2Size of Unlabeled Data

STAC从更大规模的未标记训练数据中表现更好

5.3λu and τ

5.4. Quality of Pseudo Labels

实验发现,提高伪标签的质量(不同的数据增强方法训练)其实效果不是特别明显

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/57144.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【51 Pandas+Pyecharts | 深圳市共享单车数据分析可视化】

文章目录 🏳️‍🌈 1. 导入模块🏳️‍🌈 2. Pandas数据处理2.1 读取数据2.2 查看数据信息2.3 处理起始时间、结束时间2.4 增加骑行时长区间列2.5 增加骑行里程区间列 🏳️‍🌈 3. Pyecharts数据可视化3.1 各…

webGlL变量的声明与使用

抢先观看&#xff1a; 变量的声明格式&#xff1a;<存储限定符><类型限定符><变量名> 存储限定符&#xff1a;const, attribute, uniform, varying, buffer。 类型限定符&#xff1a;void, bool, int, float, double, vec2, vec3, vec4, mat2, mat3, mat4, s…

基于SSM的成都市旅游信息管理系统-计算机毕业设计源码65815

SSM成都市旅游信息管理系统 摘 要 本论文主要论述了如何使用SSM框架开发一个旅游信息管理系统&#xff0c;严格按照软件开发流程进行各个阶段的工作&#xff0c;采用B/S架构JAVA技术&#xff0c;面向对象编程思想进行项目开发。在引言中&#xff0c;作者将论述旅游信息管理系…

91.【C语言】数据结构之单向链表的头删和尾删

目录 1.尾删函数SLTPopBack 代码示例(写入SList.c) 在SList.h中写入该函数的声明 main.c部分代码改为 ​编辑 分析 解决方法 方法1:双指针算法(快指针tail,慢指针pretail) 方法2 2.头删函数SLTPopFront 一个节点示意图 多个节点示意图 代码示例(写入SList.c) 在S…

DEVOPS: 集群伸缩原理

概述 阿里云 K8S 集群的一个重要特性&#xff0c;是集群的节点可以动态的增加或减少有了这个特性&#xff0c;集群才能在计算资源不足的情况下扩容新的节点&#xff0c;同时也可以在资源利用 率降低的时候&#xff0c;释放节点以节省费用理解实现原理&#xff0c;在遇到问题的…

华为OD机试 - 无向图染色(Java 2024 E卷 100分)

华为OD机试 2024E卷题库疯狂收录中&#xff0c;刷题点这里 专栏导读 本专栏收录于《华为OD机试&#xff08;JAVA&#xff09;真题&#xff08;E卷D卷A卷B卷C卷&#xff09;》。 刷的越多&#xff0c;抽中的概率越大&#xff0c;私信哪吒&#xff0c;备注华为OD&#xff0c;加…

云智慧完成华为原生鸿蒙系统的适配, 透视宝 APM 为用户体验保驾护航

2024 年 10 月 22 日&#xff0c;首个国产移动操作系统 —— 华为原生鸿蒙操作系统 HarmonyOS NEXT 正式面世&#xff0c;成为继 iOS 和 Android 后的全球第三大移动操作系统。HarmonyOS NEXT&#xff0c;从系统内核、数据库根基&#xff0c;到编程语言创新、AI&#xff08;人工…

无人机之任务分配算法篇

无人机的任务分配算法是无人机系统中的重要组成部分&#xff0c;它决定了无人机如何高效、合理地执行各种任务。以下是一些常见的无人机任务分配算法&#xff1a; 一、合同网协议&#xff08;Contract Net Protocol, CNP&#xff09; 基本概念&#xff1a;CNP算法是一种分布式…

【WRF数据处理】基于GIS4WRF插件将geotiff数据转为tiff(geogrid,WPS所需数据)

【WRF数据处理】基于GIS4WRF插件将geotiff数据转为tiff&#xff08;geogrid&#xff0c;WPS所需数据&#xff09; 数据准备&#xff1a;以叶面积指数LAI为例QGis实操&#xff1a;基于GIS4WRF插件将geotiff数据转为tiff警告&#xff1a;GIS4WRF: Input layer had an unexpected …

【MySQL基础】高级查询

文章目录 一、聚合函数&#xff1a;COUNT、SUM、AVG、MIN、MAX1. 统计总数&#xff1a;COUNT2. 计算总和&#xff1a;SUM3. 计算平均值&#xff1a;AVG4. 找最小值&#xff1a;MIN5. 找最大值&#xff1a;MAX 综合使用聚合函数的例子小结 二、分组查询——GROUP BY 和 HAVING1.…

ElasticSearch备考 -- Index shrink

一、题目 索引task包括5个分片一个副本&#xff0c;对索引执行shrink压缩操作&#xff0c;压缩后索引为1主分片&#xff0c;索引名称为task-new 二、思考 在执行shrink前必须满足三个前置条件 The index must be read-only.A copy of every shard in the index must reside o…

名词(术语)了解--CSSOM (CSS Object Model)

名词&#xff08;术语&#xff09;了解–CSSOM (CSS Object Model) CSSOM 概述 CSSOM 是一个与 DOM (Document Object Model) 相对应的、用于 CSS 的 API 集合。 它提供了一种程序化的方式来读取和修改文档的样式信息。 CSSOM 的主要组成部分 样式规则树 document └── …

智能化超声波影像分析,优化医疗决策的开源AI解决方案

思通数科的医疗信息精准抽取系统是一款基于人工智能的开源软件&#xff0c;旨在自动化处理医疗数据&#xff0c;特别是从超声波影像到诊断报告的信息提取。该系统集成了图像识别、自然语言处理和知识图谱等先进技术&#xff0c;能够从医疗影像中提取关键数据&#xff0c;并将这…

Objective-C 音频爬虫:实时接收数据的 didReceiveData_ 方法

在互联网技术领域&#xff0c;数据的获取和处理是至关重要的。尤其是对于音频内容的获取&#xff0c;实时性和效率是衡量一个爬虫性能的重要指标。本文将深入探讨在Objective-C中实现音频爬虫时&#xff0c;如何高效地使用didReceiveData:方法来实时接收数据&#xff0c;并通过…

Python轴承故障诊断 (15)基于CNN-Transformer的一维故障信号识别模型

往期精彩内容&#xff1a; Python-凯斯西储大学&#xff08;CWRU&#xff09;轴承数据解读与分类处理 Pytorch-LSTM轴承故障一维信号分类(一)-CSDN博客 Pytorch-CNN轴承故障一维信号分类(二)-CSDN博客 Pytorch-Transformer轴承故障一维信号分类(三)-CSDN博客 三十多个开源…

如何在 Elasticsearch Ruby 客户端中使用 ES|QL Helper

作者&#xff1a;来自 Elastic Fernando Briano 了解如何使用 Elasticsearch Ruby 客户端编写 ES|QL 查询并处理其结果。 简介 Elasticsearch Ruby 客户端可用于编写 EQ|QL 查询&#xff0c;使处理从 esql.query 返回的数据更加容易。ES|QL 允许开发人员通过查询过滤、转换和分…

【elkb】ELKB安装token过期

问题 elastic启动时候生成的token 有效期只有30分钟。 30分钟后提示&#xff1a; Couldnt configure Elastic Generate a new enrollment token or configure manually. 相关版本信息 elasticsearch&#xff1a;8.8.1kibana&#xff1a;8.8.1logstash&#xff1a;8.8.1file…

交易所开发:开启数字金融新时代

当今数字化高速发展的时代&#xff0c;交易所作为金融市场的核心枢纽&#xff0c;发挥着至关重要的作用。而随着区块链技术的兴起&#xff0c;数字货币交易所的开发更是为金融领域带来了全新的变革与机遇。 一、数字货币交易所的重要性 数字货币交易所是连接数字货币世界与传统…

企业内训|LLM大模型在服务器和IT网络运维中的应用-某日企IT运维部门

本课程是为某在华日资企业集团的IT运维部门专门定制开发的企业培训课程&#xff0c;本课程旨在深入探讨大型语言模型&#xff08;LLM&#xff09;在服务器及IT网络运维中的应用&#xff0c;结合当前技术趋势与行业需求&#xff0c;帮助学员掌握LLM如何为运维工作赋能。通过系统…

网上商城设计小程序ssm+论文源码调试讲解

2相关技术 2.1微信小程序 小程序是一种新的开放能力&#xff0c;开发者可以快速地开发一个小程序。小程序可以在微信内被便捷地获取和传播&#xff0c;同时具有出色的使用体验。尤其拥抱微信生态圈&#xff0c;让微信小程序更加的如虎添翼&#xff0c;发展迅猛。 2.2 MYSQL数据…