【损失函数】Cross Entropy Loss 交叉熵损失

 1、介绍

        主页介绍的几种损失函数都是适用于回归问题损失函数,对于分类问题,最常用的损失函数是交叉熵损失函数 Cross Entropy Loss。它用于测量两个概率分布之间的差异,通常用于评估分类模型的性能。

2、公式

对于二分类问题,交叉熵损失的一般形式为:

$ Binary Cross Entropy Loss=-\frac{1}{N} \sum_{i=1}^N\left[y_i \log \left(\hat{y}_i\right)+\left(1-y_i\right) \log \left(1-\hat{y}_i\right)\right]$

其中,{N} 是样本数量,{y}_i 是实际标签,\hat{y}_i 是模型的预测概率。

对于多分类问题,交叉熵损失的一般形式为:

$ Categorical Cross Entropy Loss=-\frac{1}{N} \sum_{i=1}^N \sum_{j=1}^C y_{i j} \log \left(\hat{y}_{i j}\right)$

其中,{N} 是样本数量,{C} 是类别数量,\hat{y}_{i j} 是实际标签的独热编码(one-hot encoding),{y}_{i j}​ 是模型对类别 {j}的预测概率。

3、图像

        上图是交叉熵损失(Cross Entropy Loss)的图像。图中展示了两个类别(真实类别和错误类别)的概率与损失之间的关系,可以看到约接近目标值损失越小,随着误差变差,损失呈指数增长。

4、实例

假设我们有以下情况:我们正在训练一个模型来进行三种实例的分类,此时有100个待测样本。

我们使用 CrossEntropyLoss 作为损失函数:

import torch
import torch.nn as nn# 示例数据
torch.manual_seed(42)
num_classes = 3
num_samples = 100
y_true = torch.randint(0, num_classes, (num_samples,))
y_pred_logits = torch.randn(num_samples, num_classes)# 定义交叉熵损失函数
criterion = nn.CrossEntropyLoss()# 计算损失
loss = criterion(y_pred_logits, y_true)print(f'Cross Entropy Loss: {loss.item()}')

      在这个例子中,y_pred_logits 是模型的输出,它包含了对每个类别的未归一化的预测值。y_true 是实际标签。通过传递这两者给 CrossEntropyLoss,可以计算交叉熵损失。在实际训练中,您可能需要结合优化器来更新模型的权重以减小损失。

5、参考

深度学习常用损失函数总览:基本形式、原理、特点 (qq.com)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/596209.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

服务器日常怎么维护 有哪些

服务器日常维护主要包含两位部分:硬件维护和软件维护。硬件维护 硬件维护就是指对服务器的硬件进行检测,更换,升级,最常见的是防火墙更新,时刻能够应对市场上的变化。 也包含服务器环境的一些维护,定期检查…

SV-7042VP 15W sip网络有源音箱,可外接15W无源副音箱

SV-7042VP 15W sip网络有源音箱,可外接15W无源副音箱 一、描述 SV-7042VP是深圳锐科达电子有限公司的一款壁挂式SIP网络有源音箱,具有10/100M以太网接口,可将网络音源通过自带的功放和喇叭输出播放,可达到功率15W。同时它可以外接一个15W的…

【GO语言卵细胞级别教程】01.GO基础知识

01.GO基础知识 目录 01.GO基础知识1.GO语言的发展历程2.发展历程3.Windowns安装4.VSCode配置5.基础语法5.1 第一段代码5.2 GO执行的流程5.3 语法规则5.4 代码风格5.5 学习网址 1.GO语言的发展历程 Go语言是谷歌公司于2007年开始开发的一种编程语言,由Robert Griese…

Java版直播商城免 费 搭 建:平台规划与常见营销模式,电商源码、小程序、三级分销及详解

【saas云平台】打造全行业全渠道全场景的saas产品,为经营场景提供一体化解决方案;门店经营区域化、网店经营一体化,本地化、全方位、一站式服务,为多门店提供统一运营解决方案;提供丰富多样的营销玩法覆盖所有经营场景…

游戏引擎?

游戏引擎是指一些已编写好的可编辑电脑游戏系统或者一些交互式实时图像应用程序的核心组件。这些系统为游戏设计者提供各种编写游戏所需的各种工具,其目的在于让游戏设计者能容易和快速地做出游戏程式而不用由零开始。大部分都支持多种操作平台,如Linux、…

使用AOP实现自定义日志

在实现自定义日志之前,我们需要了解AOP。 1.AOP AOP(Aspect-Oriented Programming,面向切面编程)是一种编程范式,旨在通过将横切关注点(cross-cutting concerns)从主要业务逻辑中分离出来&…

macOS跨进程通信: XPC 创建实例

一:简介 XPC 是 macOS 里苹果官方比较推荐和安全的的进程间通信机制。 集成流程简单,但是比较绕。 主要需要集成 XPC Server 这个模块,这个模块最终会被 apple 的根进程 launchd 管理和以独立进程的方法唤起和关闭, 我们主app 进…

【运维】界面操作与直接操作

对于一个大型的复杂的系统,各个模块之间紧密关联,界面上的一个操作,可能涉及到很多底层逻辑的连携反应。 在一个共享文件系统中,一个简单的小操作,可能就涉及到数据库多张表的改动,而且往往改动的表并不是…

Flume基础知识(四):Flume实战之实时监控单个追加文件

1)案例需求: 实时监控 Hive 日志,并上传到 HDFS 中 2)需求分析: 3)实现步骤: (1)Flume 要想将数据输出到 HDFS,依赖 Hadoop 相关 jar 包 检查/etc/profile.d…

【MySQL】MySQL运维SQL(持续更新。。。)

MySQL运维SQL 信息统计 查询数据库有多少张表 SELECT COUNT(*) AS table_count FROM information_schema.TABLES WHERE table_schema 数据库名;查询表中有多少个字段 SELECTCOUNT(*) AS field_count FROMinformation_schema.COLUMNS WHEREtable_schema 数据库名 AND tab…

Spark内核解析-Spark shuffle6(六)

1、Spark Shuffle过程 1.1MapReduce的Shuffle过程介绍 Shuffle的本义是洗牌、混洗,把一组有一定规则的数据尽量转换成一组无规则的数据,越随机越好。MapReduce中的Shuffle更像是洗牌的逆过程,把一组无规则的数据尽量转换成一组具有一定规则…

RFID数据中心智能资产管理系统

数据中心机房承担着保障企业关键数据处理的重要责任,机房的日常管理直接关系到整体机房的日常维护和运行安全,数据资产管理中心在监管机房各部分设备的运行情况、维护数据中心的资产方面发挥着重要的作用。 成功的数据中心机房管理不仅需要选择高可靠性…

游戏分组(100用例)C卷 (JavaPythonC语言C++Node.js)

部门准备举办一场王者荣耀表演赛,有10名游戏爱好者参与,分为两队,每队5人。 每位参与者都有一个评分,代表着他的游戏水平。为了表演赛尽可能精彩,我们需要把10名参赛者分为实力尽量相近的两队。一队的实力可以表示为这一队5名队员的评分总和。 现在给你10名参与者的游戏水…

NFT 项目入驻 NFTScan Site 流程说明

NFTScan Site 是由数据基础设施 NFTScan 推出的功能强大的 NFT 项目管理平台。NFTScan Site 主要为 NFT Collection、NFT Marketplace、NFTFi 以及其他 NFT 生态项目提供专业的项目管理后台服务和链上数据分析追踪服务。 NFTScan Site 功能: 1)项目信息编…

鸿蒙开发之Touch事件拦截stopPropagation()

在读Touch事件官方文档的时候,遇到了一个属性 其他属性都好理解,这个阻塞事件冒泡什么意思呢?官网也没有解释 后来查资料知道这个方法是阻止onTouch冒泡传递到父组件。 show code Entry Component struct OfficialTouchPage {State messa…

【leetcode100-30】【链表】两两交换链表节点

【题干】 给你一个链表,两两交换其中相邻的节点,并返回交换后链表的头节点。你必须在不修改节点内部的值的情况下完成本题(即,只能进行节点交换)。 【思路】 先说递归的,退出条件很明显,当剩…

键盘符号中英文名称大全

符号中文英文~波浪号tilde反引号,重音号backquote,backtick,grave accent#井号number sign,pound sign,hash mark#!sha-bang|竖线pipe,vertical bar单引号single quote"双引号double quote,quotation mark$美元符号dollar sign.点,句号dot,period,point!感叹号exclamation…

C Primer Plus (中文版)第12章编程练习 参考答案(仅供参考~)

C Primer Plus (中文版)第12章编程练习 参考答案(仅供参考~) 🌴 C Primer Plus第12章编程练习~ 加油加油!🍭 🍭这一章主要是各种存储变量的应用 同时也有多文件应用的题~ 🌈加油,我们…

Java项目:108SSM教务管理系统

博主主页:Java旅途 简介:分享计算机知识、学习路线、系统源码及教程 文末获取源码 一、项目介绍 教务管理系统基于SpringSpringMVCMybatis开发,功能和学生成绩管理系统,学生选课管理系统类似,也可以做学生成绩管理系统…

R语言【base】——do.call():根据名称或函数以及要传递给它的参数列表构造并执行函数调用

Package base version 4.2.0 Parameters do.call(what, args, quote FALSE, envir parent.frame()) 参数【what】:命名要调用的函数的函数或非空字符串。 参数【args】:函数调用的参数列表。参数【args】的 names 属性为参数提供名称。 参数【quot…