损失函数汇总

kl

在多分类问题中,KL(Kullback-Leibler)损失通常用于衡量模型预测的概率分布与真实标签的概率分布之间的差异。在多分类任务中,通常使用交叉熵损失(Cross Entropy Loss)作为主要的损失函数,但KL损失可以作为附加的损失函数或正则化项来提供额外的信息,尤其在一些特定场景下。

假设有一个多分类任务,模型预测的概率分布为Q,真实标签的概率分布为P。KL损失定义如下:
K L ( P ∣ ∣ Q ) = ∑ P i ∗ l o g ( P i Q i ) KL(P || Q) = \sum P_i * log(\frac{P_i}{Q_i}) KL(P∣∣Q)=Pilog(QiPi)
其中, P i P_i Pi Q i Q_i Qi分别是真实标签和模型预测的第 i i i个类别的概率值。 ∑ \sum 表示对所有类别的求和。

交叉熵

交叉熵损失(Cross Entropy Loss),也称为负对数似然损失(Negative Log Likelihood Loss),是在分类任务中常用的一种损失函数。它用于衡量模型预测的概率分布与真实标签之间的差异,通常用于训练分类模型。

在交叉熵损失中,假设有一个多分类任务,模型的输出是一组概率分布,表示每个类别的预测概率。真实标签是一个one-hot编码的向量,其中仅有正确类别的位置为1,其他位置为0。交叉熵损失通过对每个类别的预测概率和真实标签的one-hot向量进行对数运算,来度量预测概率与真实标签之间的差异。

对于单个样本,交叉熵损失的计算公式如下,是LogSoftmax和NLLLoss的结合:
C r o s s E n t r o p y L o s s = − ∑ y i ∗ l o g ( p i ) l o s s ( x , c l a s s ) = − log ⁡ ( e x p ( x [ c l a s s ] ) ∑ j e x p ( x [ j ] ) CrossEntropyLoss = -\sum y_i * log(p_i) \\ loss(x,class) = -\log (\frac{exp(x[class])}{\sum_j exp(x[j])} CrossEntropyLoss=yilog(pi)loss(x,class)=log(jexp(x[j])exp(x[class])
其中, y i y_i yi表示真实标签的第 i i i个类别的one-hot编码(即0或1), p i p_i pi表示模型预测的第 i i i个类别的概率。

BCE loss

假设 N N N为batch size,x为prediction,范围为 ( 0 , 1 ) (0,1) (0,1),y为target,取值为 { 0 , 1 } \{0,1\} {0,1} w w w为权重,损失:
l ( x , y ) = L = { l 1 , . . . l N } N , l n = − w n [ y n ⋅ log ⁡ x n + ( 1 − y n ) ⋅ log ⁡ ( 1 − x n ) ] l(x,y) = L = \{l_1,...l_N\}^N, l_n = -w_n[y_n\cdot \log x_n + (1-y_n)\cdot \log(1 - x_n)] l(x,y)=L={l1,...lN}N,ln=wn[ynlogxn+(1yn)log(1xn)]
在实现中还可以选择reduction为 m e a n mean mean还是 s u m sum sum
保证预测范围在 ( 0 , 1 ) (0,1) (0,1)是通过sigmoid函数
f ( x ) = 1 1 + e − x f(x) = \frac{1}{1 + e^{-x}} f(x)=1+ex1

focalloss

Focal Loss是一种用于解决类别不均衡问题的损失函数,特别适用于目标检测等任务中存在严重类别不平衡的情况。Focal Loss由Lin et al.在2017年的论文《Focal Loss for Dense Object Detection》中提出。

在传统的交叉熵损失函数中,所有的预测错误都被均等地对待,即使对于易于分类的样本,其错误也会对损失函数产生较大的贡献。而对于类别不平衡的情况,数量较少的类别往往容易被忽略,导致模型对于这些类别的预测性能较差。

Focal Loss通过引入一个调节因子来解决类别不平衡的问题。其主要思想是将易分类的样本的损失贡献减少,从而使模型更加关注难分类的样本。Focal Loss的计算公式如下:
F o c a l L o s s = − α ∗ ( 1 − p ) γ ∗ l o g ( p ) Focal Loss = -\alpha * (1-p)^\gamma * log(p) FocalLoss=α(1p)γlog(p)
其中, p p p是模型预测的概率, α α α是一个平衡因子,用于调整易分类样本和难分类样本之间的权重, γ γ γ是一个调节因子,用于调整对难分类样本的关注程度。

具体来说,当样本属于数量较少的类别(难分类样本)时, p p p较小, ( 1 − p ) γ (1 - p)^γ (1p)γ的值较大,因此对应的损失贡献较大。而当样本属于数量较多的类别(易分类样本)时, p p p较大, ( 1 − p ) γ (1 - p)^γ (1p)γ的值较小,因此对应的损失贡献减少。 α α α可以根据实际情况设置,通常可以根据类别的样本数量来进行调整。

import torch
import torch.nn as nn
import torch.nn.functional as Fclass FocalLoss(nn.Module):def __init__(self, alpha=0.25, gamma=2):super(FocalLoss, self).__init__()self.alpha = alphaself.gamma = gammadef forward(self, inputs, targets):# 计算交叉熵损失ce_loss = F.cross_entropy(inputs, targets, reduction='none')# 计算概率probs = F.softmax(inputs, dim=1)# 计算Focal Lossfocal_loss = self.alpha * (1 - probs) ** self.gamma * ce_loss# 求平均损失return focal_loss.mean()# 示例用法
# 创建模型
model = YourModel()# 创建损失函数
focal_loss_fn = FocalLoss()# 前向传播计算损失
inputs = torch.randn(batch_size, num_classes)
targets = torch.randint(0, num_classes, (batch_size,))
loss = focal_loss_fn(inputs, targets)# 反向传播更新参数
loss.backward()
optimizer.step()

Reploss

“Reploss”(Representation Loss)是一种用于特征学习和表示学习的损失函数,它的目标是使学到的特征在某种度量上具有一定的性质或优势。Representation Loss在深度学习中被广泛用于各种任务,如图像检索、聚类、生成对抗网络(GANs)等,以及一些特征学习的自监督学习方法中。

Representation Loss通常是一种对比损失(Contrastive Loss)或三元组损失(Triplet Loss),它们的目标是通过对训练数据的正负样本之间的距离进行约束,使得同类样本之间的距离尽量小,不同类样本之间的距离尽量大。这样可以使得学习到的特征在某种度量下具有更好的可区分性,有利于后续的任务处理。

常见的Representation Loss包括:

  • 对比损失(Contrastive Loss):对于一对样本,根据它们之间的距离来计算损失,希望同类样本之间的距离接近0,不同类样本之间的距离远离。

  • 三元组损失(Triplet Loss):对于一组三元组(锚样本、正样本、负样本),通过约束锚样本到正样本的距离小于锚样本到负样本的距离来计算损失,从而使得同类样本之间的距离尽量小于不同类样本之间的距离。

Representation Loss在自监督学习中也得到广泛应用。在自监督学习中,模型通过预测数据的自身特征或数据的某种变换形式来学习表示,而Representation Loss则用于衡量学到的表示的质量和可用性。

需要根据具体任务和数据特点来选择合适的Representation Loss,它的设计和使用在深度学习中起到了至关重要的作用,可以帮助学习到更有用和具有判别性的特征表示。

SmoothL1Loss

N N N为batchsize
l ( x , y ) = L = { l 1 , . . . , l N } T l n = { 0.5 ( x n − y n ) 2 / b e t a ∣ x n − y n ∣ < b e t a ∣ x n − y n ∣ − 0.5 ∗ b e t a o t h e r w i s e l(x,y) = L = \{l_1,...,l_N\}^T \\ ln = \begin{cases} 0.5(x_n-y_n)^2/beta & |x_n-y_n|<beta \\ |x_n-y_n|-0.5*beta & otherwise \end{cases} l(x,y)=L={l1,...,lN}Tln={0.5(xnyn)2/betaxnyn0.5betaxnyn<betaotherwise

MSE loss

l n = ( x n − y n ) 2 l_n = (x_n - y_n)^2 ln=(xnyn)2

REF
https://blog.csdn.net/Blankit1/article/details/119799222
https://pytorch.org/docs/stable/nn.html#loss-functions

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/1816.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Threejs绘制传送带

接下来会做一个MES场景下的数字孪生&#xff0c;所以开始做车间相关的模型&#xff0c;不过还是尽量少用建模&#xff0c;纯代码实现&#xff0c;因为一方面可以动态使用&#xff0c;可以调节长度和宽度等&#xff0c; 下面这节就做一个简单的传送带&#xff0c;这是所有车间都…

c++计算DNA探针的熔解温度

DNA探针的熔解温度(Tm)是指DNA双链在解离过程中的温度,可以用来估计DNA探针与靶序列的结合强度。 DNA探针富集实验中使用的盐浓度通常是在高盐条件下进行的,以帮助DNA与探针结合并提高富集效率。一般来说,盐浓度在0.5 M到1 M之间是常见的范围,但具体的盐浓度会根据实验的…

基础SQL DML-插入语句

插入语句前&#xff0c;我们先创建一个表。表的创建在DDL语句里面涉及&#xff0c;可以参考&#xff1a;小赖同学吖-CSDN博客 我们创建一个员工表进行数据的插入操作 插入&#xff08;添加&#xff09;语句的语法 给员工表添加一条记录 给员工表添加多条记录 也可以通过下面的方…

年薪5.8万美元|临床医生赴美国康奈尔大学从事博士后研究

作为临床医学8年制的博士毕业生&#xff0c;A医生希望能到国外从事一段时间的博士后&#xff0c;以强化基础科研训练&#xff0c;弥补职业发展的短板。最终我们为其申请到康奈尔大学Weill Cornell医学院的博士后职位&#xff0c;年薪为5.8万美元。 A医生背景&#xff1a; 申请…

C语言项目实践——贪吃蛇

引言&#xff1a;本篇博客中&#xff0c;我将会使用结构体&#xff0c;链表&#xff0c;WIN32 API等一系列知识完成C语言项目——贪吃蛇的实现。在观看此篇博客之前&#xff0c;请将这些知识所熟悉&#xff0c;不然可能会造成理解困难。 更多有关C语言的知识详解可前往个人主页…

【C++】explicit关键字详解(explicit关键字是什么? 为什么需要explicit关键字? 如何使用explicit 关键字)

目录 一、前言 二、explicit关键字是什么&#xff1f; 三、构造函数还具有类型转换的作用 &#x1f34e;单参构造函数 ✨引出 explicit 关键字 &#x1f34d;多参构造函数 ✨为什么需要explicit关键字&#xff1f; ✨怎么使用explicit关键字&#xff1f; 四、总结 五…

CentOS 7离线升级OpenSSH至9.1p1操作过程及遇上的问题

在文章顶部下载适用于CentOS7的OpenSSH 9.1p1 rpm包&#xff0c;包含了服务器和客户端。 默认全部以root用户权限执行命令。 简单版 懒得看的话&#xff0c;复制以下4行命令执行即可。 tar -zxvf centos7-openssh-9.1p1.tar.gz rpm -Uvh openssh-9.1p1-1.tl2.x86_64.rpm op…

第十四届蓝桥杯 子串简写 | 树状数组解法

Problem: 第十四届蓝桥杯 子串简写 程序猿圈子里正在流行一种很新的简写方法&#xff1a; 对于一个字符串&#xff0c;只保留首尾字符&#xff0c;将首尾字符之间的所有字符用这部分的长度代替。 例如 internationalization 简写成 i18n&#xff0c;Kubernetes 简写成 K8s&am…

npx\pnpm 镜像过期解决方法

. // 1. 清空缓存 npm cache clean --force // 2. 关闭SSL验证 npm config set strict-ssl false // 3. 安装 到这里就可以正常使用npm命令安装需要的工具了。如( npm install -g cnpm )

虚拟机中使用LNMP模拟跨域并结合前端代码解决CORS跨域的简单示例

目录 一、首先&#xff0c;下载lnmp_soft.tar.gz压缩包 二、解压lnmp_soft.tar.gz和下载相关的依赖&#xff0c;插件 三、修改/usr/local/nginx/conf/nginx.conf配置文件 四、/usr/local/nginx/sbin/nginx命令启动nginx 五、在/usr/local/nginx/html目录下新建80.html&…

D. Nene and the Mex Operator - dfs + 位运算枚举

题面 分析 将一段区间[l, r]变成最大&#xff0c;可以遵循以下规则&#xff0c;先对第一个数进行操作&#xff0c;如果他是0&#xff0c; 那么会变成1&#xff0c;所以不进行操作&#xff0c;如果不是0&#xff0c;就要进行操作&#xff0c;让它变成0&#xff0c;只有这样才能…

书生·浦语大模型实战营之微调 Llama 3 实践与教程 (XTuner 版)

书生浦语大模型实战营之微调 Llama 3 实践与教程 (XTuner 版) Llama 3 近期重磅发布,发布了 8B 和 70B 参数量的模型,XTuner 团队对 Llama 3 微调进行了光速支持!!!开源同时社区中涌现了 Llama3-XTuner-CN 手把手教大家使用 XTuner 微调 Llama 3 模型。 XTuner:http:/…

图深度学习——2.图的理论知识

1.图 1.1 图的定义 图是由节点&#xff08;顶点&#xff09;和边构成的数学结构。图用于表示对象之间的关系&#xff0c;其中节点表示对象&#xff0c;边表示对象之间的关系。 一个图&#xff0c;记为 G <V, E> &#xff0c;它包括以下两个要素&#xff1a; 1.节点&am…

[C++ 多线程并发] std::async

c11中增加了线程&#xff0c;使得我们可以非常方便的创建线程&#xff0c;它的基本用法是这样的&#xff1a; void f(int n); std::thread t(f, n 1); t.join();但是线程毕竟是属于比较低层次的东西&#xff0c;有时候使用有些不便&#xff0c;比如我希望获取线程函数的返回结…

第22天:安全开发-PHP应用留言板功能超全局变量数据库操作第三方插件引用

第二十二天 一、PHP留言板前后端功能实现 开发环境&#xff1a; DW PHPStorm PhpStudy Navicat Premium DW : HTML&JS&CSS开发 PHPStorm : 专业PHP开发IDE PhpStudy &#xff1a;Apache MYSQL环境 Navicat Premium: 全能数据库管理工具 二、数据库创建&架…

机器学习(三)之监督学习2

前言&#xff1a; 本专栏一直在更新机器学习的内容&#xff0c;欢迎点赞收藏哦&#xff01; 笔者水平有限&#xff0c;文中掺杂着自己的理解和感悟&#xff0c;如果有错误之处还请指出&#xff0c;可以在评论区一起探讨&#xff01; 1.支持向量机&#xff08;Support Vector Ma…

iTwin Capture Modeler-23中文版下载地址及安装教程

文章目录 一、iTwin Capture Modeler23中文版安装教程二、iTwin Capture Modeler23中文版下载地址一、iTwin Capture Modeler23中文版安装教程 1. 解压安装包。订阅专栏(可获取专栏内所有文章阅读权限与软件安装包)后,从文末获取安装包解压,如下所示: 2. 右击安装包,选择以…

【Web】HNCTF 2022 题解(全)

目录 Week1 Interesting_include 2048 easy_html What is Web Interesting_http easy_upload Week2 ez_SSTI easy_include ez_ssrf Canyource easy_unser easy_sql ohmywordpress Week3 ssssti Fun_php ez_phar QAQ_1inclu4e logjjjjlogjjjj …

图像哈希:Global+Local

文章信息 作者&#xff1a;梁小平&#xff0c;唐振军期刊&#xff1a;ACM Trans. Multimedia Comput. Commun. Appl&#xff08;三区&#xff09;题目&#xff1a;Robust Hashing via Global and Local Invariant Features for Image Copy Detection 目的、实验步骤及结论 目…

oai调试

1、修改docker-compose脚本 entrypoint: ["/bin/sh", "-c", "while true; do echo Hello World; sleep 1; done"] oai-upf:container_name: "oai-upf"image: oaisoftwarealliance/oai-upf:v2.0.1### 修改entrypointentrypoint: [&qu…