【机器学习300问】30、准确率的局限性在哪里?

一、什么是准确率?

        在解答这个问题之前,我们首先得先回顾一下准确率的定义,准确率是机器学习分类问题中一个很直观的指标,它告诉我们模型正确预测的比例,即

Accuracy=\frac{N_{correct}}{N_{total}}

        还是用我最喜欢的方式,举例子来解释一下:

        假设我们的任务是将苹果(1)和橘子(0)分开,按照水果的形状、颜色特征来识别并分拣。现在有一个篮子,里面装满了分好的水果。现在,我们要评估一下我们今天工作的准确性。我们就开始一个个地检查篮子里的水果。如果篮子里有100个水果,其中90个是正确分类的(苹果1),那么我们的分拣准确率就是90%。

        准确率(Accuracy) = (正确分类的水果数量) / (篮子里水果的总数量)

        在这个案例中:准确率 = 90 / 100 = 0.9 或 90%

关于更多其他评估指标,也可以读读我之前的文章作为补充哦。

【机器学习300问】25、常见的模型评估指标有哪些?icon-default.png?t=N7T8http://t.csdnimg.cn/pGYSw

二、准确率局限在哪儿?

        准确率虽然是一个直观的模型评估指标,但它有一些局限性,尤其是在处理不平衡数据集(即数据集中某些类别的样本数量远多于其他类别)时。那为什么不平衡的数据集就会导致准确率失去作用呢?

(1)罕见疾病诊断任务为例

        目的是预测一组患者是否患有某种疾病。设想这个疾病相对较罕见,所以在1000名患者中,也许只有10人实际上患有这种疾病。患病的人(正类)没有患病的人(负类),一个简单的模型可能会采取最保守的策略,预测所有人都没有患病。

        按照准确率的计算方式,这个模型将会有一个很高的准确率:

Accuracy=\frac{990+0}{1000}=0.99

        因为模型预测所有的人都没患病,但实际上有10个人患病,所以模型预测对了990个人,于是分子为990,但是对实际临床应用没有任何价值,因为它没有识别出任何真正的病例。这就是准确率的局限性所在:在不平衡数据集的情况下,它没有考虑到预测的分布是否匹配了现实情况,也没有区分假阳性和假阴性的错误类型。

         在医疗领域,漏诊(False Negative, FN, 假阴性)的后果通常比误诊(False Positive, FP, 假阳性)更严重。例如,如果模型未能正确识别出癌症患者,可能导致病情延误、治疗不及时甚至危及生命;而误诊为癌症可能会带来不必要的心理压力和过度治疗,但可以通过进一步检查和专家复核来降低风险。准确率指标无法反映这种重要类别(患病)的识别效果。

  • 漏诊(False Negative, FN, 假阴性)模型猜错了[False],猜的是没有得病[Negative],实际上这个人是得病了
  • 误诊(False Positive, FP, 假阳性)模型猜错了[False],猜的是得病了[Positive],实际上这个人没得病

(2)电商平台推荐奢侈品任务为例

        假设我们正在开发一个系统来为用户推荐高端奢侈品牌商品,通常情况下,消费高端奢侈品的用户群体相比整体用户群体来说要小得多。在所有用户中,可能只有一小部分用户会对奢侈品产生购买行为。因此,数据集在这里是不平衡的,即购买用户(正类)远少于非购买用户(负类)。

        假设在一个数据集中,有10000名用户,其中只有100名用户实际购买了奢侈品。如果我们的推荐系统简单地对所有用户都不推荐奢侈品,那么它将在9900个用户身上做出正确的决策(不推荐给不会购买的用户),看上去好像这个推荐系统的准确率很高

Accuracy=\frac{9990+0}{10000}=0.99

        这个推荐系统实际上完全失败了,因为它没有成功推荐任何一名用户购买奢侈品,即所有有购买意愿的用户(100名)都被忽略了。

        在推荐奢侈品时,误推的成本(False Positive, FP, 假阳性)可能非常高昂。如果推荐给一个对奢侈品兴趣不大或者经济能力不足的用户,不仅浪费了宝贵的推广资源,还可能损害用户体验,降低用户对平台的信任度。漏推的成本(False Negative, FN, 假阴性)同样重要。如果未能识别出潜在的奢侈品买家并向他们推送相关商品,可能导致销售机会的流失和利润减少。

  • 误推(False Positive, FP, 假阳性)模型推荐了不买奢侈品的人,推错了[False],模型猜他想买[Positive]
  • 漏推(False Negative, FN, 假阴性)模型没有推荐给买奢侈品的人,没推[False],模型猜他不想买[Negtive]

三、有什么办法能对不平衡数据集情况下的模型进行评估呢?

        这时候就要考虑用其他的指标来精确率和召回率,关于精确率和召回率的定义,我在另一篇文章中已经介绍过了,链接已经放在上面啦!关于如何不平衡数据集下如何评估模型,我会单独出一篇文章来说精确率和召回率到底怎么理解,还会继续用上面两个任务为大家来深度剖析这两个指标是怎么起作用的。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/731872.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

倒计时35天

dp预备(来源:b站acm刘春英老师) 1. 2. 3. 4. 5. 6. 7.

13:大数据与Hadoop|分布式文件系统|分布式Hadoop集群

大数据与Hadoop|分布式文件系统|分布式Hadoop集群 Hadoop部署Hadoop HDFS分布式文件系统HDFS部署步骤一:环境准备HDFS配置文件 查官方手册配置Hadoop集群 日志与排错 mapreduce 分布式离线计算框架YARN集群资源管理系统步骤一:安装…

spring boot 集成 mysql ,mybatisplus多数据源

1、需要的依赖&#xff0c;版本自行控制 <dependency><groupId>com.alibaba</groupId><artifactId>druid</artifactId> </dependency><dependency><groupId>mysql</groupId><artifactId>mysql-connector-java<…

初阶数据结构之---二叉树的顺序结构-堆

引言 今天要讲的堆&#xff0c;不是操作系统虚拟进程地址空间中&#xff08;malloc&#xff0c;realloc等开空间的位置&#xff09;的那个堆&#xff0c;而是数据结构中的堆&#xff0c;它们虽然名字相同&#xff0c;却是截然不同的两个概念。堆的底层其实是完全二叉树&#x…

【spark operator】spark operator动态分配executor

背景&#xff1a; 之前在使用spark operator的时候必须指定executor的个数&#xff0c;在将任务发布到spark operator后&#xff0c;k8s会根据指定的个数启动executor&#xff0c;但是对于某些spark sql可能并不需要用到那么多executor&#xff0c;在此时executor的数量就不好…

Python快速入门系列-1

Python快速入门系列 第一章: Python简介1.1 Python的历史与发展1.2 Python的优势与特点1.2.1 易学易用1.2.2 动态类型1.2.3 丰富的标准库与第三方库1.2.4 面向对象与函数式编程1.2.5 广泛应用领域 1.3 Python的应用领域 第一章: Python简介 1.1 Python的历史与发展 Python是一…

sizeof和strlen的详细万字解读

sizeof和strlen的对比 sizeof不是函数 侧面证明sizeof不是函数 如果是函数 应该需要有括号 不能落下来 strlen 只针对字符串 包含头文件 string.h 并且这个是个函数 随机数值 sizeof里面有表达式的话 表达式里面是不参与计算的 下面的s求出的是4 就是因为是不参与计算的 不…

AI绘画StableDiffusion实操教程:冰霜旗袍美女

前几天分享了StableDiffusion的入门到精通教程&#xff1a;AI绘画&#xff1a;Stable Diffusion 终极炼丹宝典&#xff1a;从入门到精通 但是还有人就问&#xff1a;安装是安装好了&#xff0c;可是为什么生成的图片和你生成的图片差距那么远呢&#xff1f; 怎么真实感和质感…

pytorch CV入门3-预训练模型与迁移学习

专栏链接&#xff1a;https://blog.csdn.net/qq_33345365/category_12578430.html 初次编辑&#xff1a;2024/3/7&#xff1b;最后编辑&#xff1a;2024/3/8 参考网站-微软教程&#xff1a;https://learn.microsoft.com/en-us/training/modules/intro-computer-vision-pytorc…

GitHub会员充值

GitHub是一个基于Web的代码托管平台&#xff0c;为开发者提供了协作、版本控制和代码管理的工具。它允许个人和团队共同协作开发软件项目&#xff0c;并提供了许多功能&#xff0c;使得代码的管理和维护更加容易 版本控制系统&#xff1a; GitHub使用Git作为其版本控制系统。Gi…

基于Springboot的高校宣讲会管理系统。Javaee项目,springboot项目。

演示视频&#xff1a; 基于Springboot的高校宣讲会管理系统。Javaee项目&#xff0c;springboot项目。 项目介绍&#xff1a; 采用M&#xff08;model&#xff09;V&#xff08;view&#xff09;C&#xff08;controller&#xff09;三层体系结构&#xff0c;通过Spring Spri…

基于Java的开放实验室管理系统(Vue.js+SpringBoot)

目录 一、摘要1.1 项目介绍1.2 项目录屏 二、研究内容2.1 实验室类型模块2.2 实验室模块2.3 实验管理模块2.4 实验设备模块2.5 实验订单模块 三、系统设计3.1 用例设计3.2 数据库设计 四、系统展示五、样例代码5.1 查询实验室设备5.2 实验放号5.3 实验预定 六、免责说明 一、摘…

Charles抓包工具使用

Charles简介 Charles是一款基于HTTP协议的代理服务器和HTTP监视器&#xff0c;通过将自己设置为电脑或浏览器的网络访问代理&#xff0c;能够截取请求和请求结果&#xff0c;从而达到分析抓包的目的。它允许开发者查看所有连接互联网的HTTP通信&#xff0c;包括请求、响应和HTT…

人工智能|机器学习——Canopy聚类算法(密度聚类)

1.简介 Canopy聚类算法是一个将对象分组到类的简单、快速、精确地方法。每个对象用多维特征空间里的一个点来表示。这个算法使用一个快速近似距离度量和两个距离阈值T1 > T2 处理。 Canopy聚类很少单独使用&#xff0c; 一般是作为k-means前不知道要指定k为何值的时候&#…

专题一 - 双指针 - leetcode 202. 快乐数 | 简单难度

leetcode 202. 快乐数 leetcode 202. 快乐数 | 简单难度1. 题目详情1. 原题链接2. 基础框架 2. 解题思路1. 题目分析2. 算法原理3. 时间复杂度 3. 代码实现4. 知识与收获 leetcode 202. 快乐数 | 简单难度 1. 题目详情 编写一个算法来判断一个数 n 是不是快乐数。 「快乐数」…

简单BFF架构设计

又到周五了有了一个小时的闲暇时间简单写点东西&#xff0c;介绍一个简单的BFF的架构。BFF:Backends For Frontends,其实现在是个比较常见的前端架构设计的方案&#xff0c;其最大的优势便在于前端可以高度自由的在Node层做一些server端才可以做的东西&#xff0c;比如SSR、登录…

SSH安全协议介绍

知识改变命运&#xff0c;技术就是要分享&#xff0c;有问题随时联系&#xff0c;免费答疑&#xff0c;欢迎联系&#xff01; SSH&#xff08;Secure Shell&#xff0c;安全外壳&#xff09;是一种网络安全协议&#xff0c;通过加密和认证机制实现安全的访问和文件传输等业…

气象数据免费下载(超级好用)

你是不是做实验经常性的需要一些气象数据&#xff0c;例如PM2.5、相对湿度、月均温度等等…… 但是当你开始寻找数据时就遇到困难了&#xff0c;由于权限、数据网站之类的麻烦你会花费大量无用时间&#xff0c;甚至有时候一无所获得不偿失&#xff0c;这就很头疼了&#xff01;…

服务器配置禁止IP直接访问,只允许域名访问

联网信息系统需设置只允许通过域名访问&#xff0c;禁止使用IP地址直接访问&#xff0c;建议同时采用云防护技术隐藏系统真实IP地址且只允许云防护节点IP访问服务器&#xff0c;提升网络安全防护能力。 一、Nginx 修改配置文件nginx.conf&#xff0c;在server段里插入正则表达式…

智昊电气推出RCL-0923U型光伏并网点电压自动控制装置/分布式光伏并网点电压自动控制设备/电压控制器

一&#xff1a;行业背景分析 在新型电网的发展的业态下&#xff0c;随着以光伏&#xff0c;风电等可再生能源为代表的新型能源的大量并网接入&#xff0c;配电网从单向电网走向双向电网&#xff0c;从无源电网走向有源电网的演进。但新能源在并网过程对大电网带来诸多影响&…