【目标检测】Focal Loss

Focal Loss用来解决正负样本不平衡问题,并提升训练过程对困难样本的关注。

在一阶段目标检测算法中,以YOLO v3为例,计算置信度损失(图中第3、4项)时有目标的点少,无目标的点多,两者可能相差百倍千倍甚至更多,这就导致无目标的置信度损失会以压倒性的数量优势在数值上淹没有目标的置信度损失。

首先,我们回顾一下第三、四项里 [ ⋅ ] [\cdot] []所对应的BCELoss,其公式如下:

其中, p ∈ [ 0 , 1 ] p\in[0,1] p[0,1]是经sigmoid输出的预测概率, y ∈ { 0 , 1 } y\in\{0,1\} y{0,1}是真实标签。简单起见,我们使用 p t p_t pt简化上述损失, p t p_t pt公式如下:

于是,我们得到

在此基础上,Focal Loss引入 α t \alpha_t αt来加权BCELoss以解决正负样本不平衡的问题,公式如下:

其中, α t \alpha_t αt定义如下:

其中, α ∈ [ 0 , 1 ] \alpha\in[0,1] α[0,1]是自行设定的权重参数。直观来说,当正样本较少时,我们可以设定一个较大的 α \alpha α,例如 0.9 0.9 0.9,这样正样本的损失相比负样本的损失就会更大从而解决正负样本失衡的问题。

⚠️ 事实上,Focal Loss原文中的最佳 α \alpha α 0.25 0.25 0.25,这说明原文并不是用它来处理正负样本失衡的,更像是一个超参数。

进一步地,Focal Loss还能使得模型在训练过程中更加关注困难样本。对于正样本来说,我们希望预测概率 p → 1 p\rightarrow 1 p1,那么 p p p越小说明该样本预测起来就越困难,反之就越简单。对于负样本, p p p越小说明该样本预测起来就越简单,反之就越困难。直观上,我们只需努力矫正困难样本,毕竟简单样本已经预测的不错了,于是Focal Loss引入 ( 1 − p t ) γ (1-p_t)^{\gamma} (1pt)γ来加权BCELoss以实习对困难样本的关注,公式如下:

其中, γ ≥ 0 \gamma\geq0 γ0,从下表可以看出, ( 1 − p t ) γ (1-p_t)^{\gamma} (1pt)γ使简单样本的损失大大降低,从而使困难样本与简单样本的损失比增大,以使训练过程更加关注困难样本。

y y y γ \gamma γ p p p p t p_t pt C E ( p , y ) CE(p,y) CE(p,y) ( 1 − p t ) γ (1-p_t)^{\gamma} (1pt)γ F L ( p t ) FL(p_t) FL(pt)
120.90.90.110.010.0011
120.10.12.300.811.863
020.20.80.220.040.0088
020.80.21.610.641.0304

综合 α t \alpha_t αt ( 1 − p t ) γ (1-p_t)^{\gamma} (1pt)γ即为完整的Focal Loss,公式如下:

写成 p p p α \alpha α的形式就是:
F L ( p ) = { − α ( 1 − p ) γ log ⁡ ( p ) , i f y = 1 − ( 1 − α ) p γ log ⁡ ( 1 − p ) , o t h e r w i s e FL(p)=\begin{cases}-\alpha(1-p)^{\gamma}\log(p),&if~y=1\\-(1-\alpha)p^{\gamma}\log(1-p), &otherwise\end{cases} FL(p)={α(1p)γlog(p),(1α)pγlog(1p),if y=1otherwise

致谢:

本博客仅做记录使用,无任何商业用途,参考内容如下:
3.1 YOLO系列理论合集(YOLOv1~v3)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/293.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

009 springboot整合mybatis-plus 增删改查 ajax 登录退出accessToken

文章目录 ConfigRegistCenter.javaMybatisplusConfig.javaCustomerController.javaReceiveAddressJsonController.javaCustomer.javaLoginCustomer.javaReceiveAddress.javaJwtInterceptor.javaCustomerMapper.javaReceiveAddressMapper.javaCustomerServiceImpl.javaReceiveAd…

华为OD-C卷-路口最短时间问题[200分]Java 100%

题目描述 假定街道是棋盘型的,每格距离相等,车辆通过每格街道需要时间均为 timePerRoad; 街道的街口(交叉点)有交通灯,灯的周期 T(=lights[row][col])各不相同; 车辆可直行、左转和右转,其中直行和左转需要等相应 T 时间的交通灯才可通行,右转无需等待。 现给出…

【1524】java投票管理系统Myeclipse开发mysql数据库web结构java编程计算机网页项目

一、源码特点 java 投票管理系统是一套完善的java web信息管理系统,对理解JSP java编程开发语言有帮助,系统具有完整的源代码和数据库,系统主要采用B/S模式开发。开发环境为TOMCAT7.0,Myeclipse8.5开发,数据库为Mysql5.0&…

Rust入门-所有权与借用

一、为什么、是什么、怎么用 1、为什么Rust要提出一个所有权和借用的概念 所有的程序都必须和计算机内存打交道,如何从内存中申请空间来存放程序的运行内容,如何在不需要的时候释放这些空间,成为所有编程语言设计的难点之一。 主要分为三种…

java新冠病毒密接者跟踪系统(springboot+mysql源码+文档)

风定落花生,歌声逐流水,大家好我是风歌,混迹在java圈的辛苦码农。今天要和大家聊的是一款基于springboot的新冠病毒密接者跟踪系统。项目源码以及部署相关请联系风歌,文末附上联系信息 。 项目简介: 新冠病毒密接者跟…

Java垃圾回收1

1.对象什么时候可以被垃圾器回收 1.垃圾回收的概念 为了让程序员更专注于代码的实现,而不用过多的考虑内存释放的问题,所以, 在Java语言中,有了自动的垃圾回收机制,也就是我们熟悉的GC(Garbage Collection)。 有了垃圾…

2、MATLAB入门常用命令

一、退出和中断 exit和quit:结束MATLAB会话。程序完成,如果没有明确保存,则变量中的数据丢失。 Ctrl c:中断一个MATLAB任务。例如,当MATLAB正在计算或打印时,中断一个任务,但会话并没有结束。…

Flink CDC 整库 / 多表同步至 Kafka 方案(附源码)

本文讨论的方案将是本博客以往介绍的所有关于 CDC 数据同步方案中最贴合实际生产需要的,因为以往介绍的开箱即用方案往往都是一张表对应一个 Kafka Topic,在数据库和数据表数量很大的情况下,这种模式是不实用的,用户真正需要的是:将多张数据表或整个数据库写入到一个 Kafk…

Oracle入门——基础语法篇

01-表空间_用户创建 -- 查看当前用户 select user FROM dual;--创建表空间 --datefile 地址 --size --autoextend on --next create tablespace test datafile c:/data/test.dbf size 100m autoextend on next 10m;--创建用户 default tablespace 默认表空间 create user c##u…

麒麟服务器操作系统自动化安装应答文件制作

原文链接:麒麟服务器操作系统自动化安装应答文件制作 Hello,大家好啊!今天我们将探讨如何为麒麟服务器操作系统制作自动化安装应答文件。在部署大量服务器时,自动化安装是提高效率和确保安装一致性的关键技术。通过使用应答文件&a…

云原生Kubernetes: K8S 1.29版本 部署Kuboard

目录 一、实验 1.环境 2.K8S 1.29版本 部署Kuboard (第一种方式) 3.K8S 1.29版本 部署Kuboard (第二种方式) 4.K8S 1.29版本 使用Kuboard 二、问题 1.docker如何在node节点间移动镜像 一、实验 1.环境 (1)主机 表1 主机 主机架构版本IP备注ma…

全量知识系统 程序详细设计之 刀具库钩子程序和胶水语言(QA 百度搜索)

Q1. 我们聊聊全量知识系统中的三大套:刀具库、钩子程序和胶水语言 全量知识系统中的三大套——刀具库、钩子程序和胶水语言,在软件开发和系统构建中扮演着至关重要的角色。这些概念在不同的技术背景下可能有所不同,但总体来说,它…

css3中有哪些伪选择器?

CSS3中有以下伪选择器: :active(选中的元素处于活动状态):checked(选中的表单元素):disabled(禁用的表单元素):empty(没有子元素的元素):enabled(可用的表单…

Hive进阶(5)----yarn的资源调度策略

yarn的资源调度策略 YARN(Yet Another Resource Negotiator)是Apache Hadoop的资源管理器。它负责集群资源的管理和作业调度。YARN的资源调度是通过几个关键组件来实现的: ResourceManager(RM):RM是YARN集群…

如何在Python中有效地使用列表推导式和生成器表达式? —— 编写更简洁、高效的代码

列表推导式和生成器表达式是Python中非常强大和常用的工具,可以帮助我们编写更简洁、高效的代码。下面是一些使用列表推导式和生成器表达式的技巧和建议: 使用列表推导式创建新的列表: 从已有的列表中选择满足特定条件的元素:new_…

tp8 在构造函数中实例化模型

在ThinkPHP 8(TP8)中,如果你需要在控制器或其他类的构造函数中实例化模型,你可以按照以下步骤进行: 首先,确保你已经定义了模型类。例如,如果你有一个名为User的模型,你应该有一个a…

安全开发之碰撞检测与伤害计算逻辑

一、什么是碰撞检测逻辑? 用通俗移动的话来说,碰撞检测就是一门检测两部分运动轨迹是否碰到一起的逻辑,在游戏中一般至少包含2方面的碰撞检测逻辑:一、核心玩法的碰撞检测逻辑;二、运动碰撞检测逻辑。 关于核心玩法的…

手写一个民用Tomcat (06)

我们这次是引入获取参数,比如你的GET 请求 或者post 请求 如何吧请求参数进行封装 成map 集合 。 先看下erquest。请求类里边改造 private void parseRequestLine() 这个方法 改造成 依据 ?进行分割处理因为 http://localhost:8080/servlet/com.yixin.HelloWor…

负载均衡原理|算法

负载均衡(Load Balancing)是一种计算机网络技术,其目的是将大量的并发请求或网络流量分散到多个服务器上,以此来提高服务的可用性、响应速度、以及系统的总体处理能力,同时减轻单个服务器的负担。负载均衡不仅能够避免…

太阳能路灯光伏板的朝向设计问题

题目:太阳能路灯光伏板的朝向设计问题 难度对标几乎每一年的国赛A题。 QQ群:592697532 公众号:川川菜鸟 文章目录 背景问题问题一问题二问题三 题目解读相关公式(必备)太阳辐射的计算光伏板接收的辐射光学效率大 气透…