模型性能评估-混淆矩阵简介

混淆矩阵

  • Positive § - 正例
  • Negative (N) - 负例

结果:

                  预测为正类别    预测为负类别
真实为正类别      True Positive (TP)    False Negative (FN)
真实为负类别      False Positive (FP)   True Negative (TN)
  • TP - 预测 P, 实际 P, 模型预测正确
  • FP - 预测 P, 实际 N, 模型预测错误
  • FN - 预测 N, 实际 P, 模型预测错误
  • TN - 预测 N, 实际 N, 模型预测正确

指标

  • 准确率(Accuracy) - 判断模型正确分类的能力. (TP + TN) / (TP + TN + FP + FN)
  • 精确率(Precision)- 判断模型识别出来的结果有多精确的指标. TP / (TP + FP)
  • 召回率(Recall)- 查全率, 判断模型识别广度的指标. TP / (TP + FN)
  • F1 值 - 综合反应 精确率 和 召回率, 越高越好 2 * Precision * recall / (precision + recall)

精确率说明找到的 P 有多少是对的.

召回率说明所有的 P 中找到了多少个.

总结:

在这里插入图片描述

  • 准确率:理解成本最低,但不要滥用。在样本不均衡情况下,指标结果容易出现较大偏差;

  • 精确率:用于关注筛选结果是不是正确的场景,宁可没有预测出来,也不能预测错了。 比如,在刷脸支付的场景下,我们宁可告诉用户检测不通过,也不能让另外一个人的人脸通过检测;

  • 召回率:用于关注筛选结果是不是全面的场景,“宁可错杀一千,绝不放过一个”。 比如,在信贷场景下,我要控制逾期率,所以宁可把好用户拦在外面,不让他们贷款,也不能放进来一个可能逾期的用户。毕竟,用户一旦逾期,无法收回的本金产生的损失,比我多放过几个好用户带来的收益要多很多。

  • KS

  • AUC

基础指标:

  • TPR(True Positive Rate)真正率 - 评估模型正确预测的能力. TP / (TP + FN)
  • FPR(False Positive Rate)假正率 - 评估模型误判的比率或者误伤的比率. FP / (FP + TN)

ROC 曲线

在没有准确阈值的情况下,对所有分数进行分段处理,计算每一个切分点对应的TPR和FPR,以FPR做横轴、TPR做纵轴绘制出的一条曲线。

ROC代表的是模型召回率和误伤率之间的变化关系

在这里插入图片描述

红线是随机线.

模型的ROC曲线越贴近这条随机线,模型的分类效果就越差。

当ROC曲线越偏离随机线并且靠近左上方(0,1)点的时候,说明模型分类效果越好.

AUC

AUC: 把曲线右下方和横坐标轴闭合起来的面积作为一个评估指标。

AUC 一般在 0.5 到 1 之间.

  • AUC = 0.5 - 表示模型没有区分能力, 结果等于是随机猜测
  • AUC < 0.5 - 表示这个模型大概率很差
  • AUC > 0.5 && AUC < 1 - AUC 越高代表模型的区分能力越好

KS

KS 统计量是一种衡量累积分布函数(Cumulative Distribution Function,CDF)差异的指标。

KS代表的是在某一点上,模型召回率最大并且误伤率最小。

把召回率和误伤率都作为纵轴,把切分的分数点作为横轴。

一个切分点会同时得到TPR和FPR两个值,所以可以画出来两条曲线。

在这里插入图片描述

KS就是图中红色线和绿色线间隔最大时候的距离。

如果模型的KS或者AUC值很高,不一定是一件好事情。需要了解背后的原因,这有可能是数据不准确导致的。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/487283.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

观点|重磅出炉!29页《业内观点:机器人行业的未来》

来源&#xff1a;硅谷浦发银行未来智能实验室的主要工作包括&#xff1a;建立AI智能系统智商评测体系&#xff0c;开展世界人工智能智商评测&#xff1b;开展互联网&#xff08;城市&#xff09;云脑研究计划&#xff0c;构建互联网&#xff08;城市&#xff09;云脑技术和企业…

html文本改,编辑html格式文本可改成txt格式(可以替换或更换某文本)新手

该楼层疑似违规已被系统折叠 隐藏此楼查看此楼新的名字生活助手If Clock.Hour < 12 ThenTextWindow.WriteLine("早上好&#xff0c;测试者")ElseIf Clock.Hour < 14 ThenTextWindow.WriteLine("中午好&#xff0c;测试者")ElseIf Clock.Hour < 17…

出道即巅峰,掀起AI领域巨浪的GPT-3,被过誉了吗?

机器之心报道编辑&#xff1a;蛋酱、杜伟、小舟是时候重新审视这个「无所不能的」模型了&#xff01;GPT-3&#xff0c;「出道即巅峰」界的代表。2020 年 5 月&#xff0c;OpenAI 高调推出了一款具有 1750 亿参数的自回归语言模型「GPT-3」&#xff0c;在人工智能领域掀起了一阵…

SQuirreL SQL Client3.8 连接 HIVE2.2

在 使用 SQuirreL SQL Client3.8 连接 HIVE2.2 发生错误&#xff0c;后换用 SQuirreL SQL Client3.7 好用&#xff01; 只需要使用 hive-jdbc-2.2.0-standalone.jar 和 hadoop-common-2.8.2.jar &#xff08;本人环境 为 hadoop2.8 和 hive 2.2&#xff09; 转载于…

虎贲计算机二级视频解析百度云,详解虎贲T7520:5G为什么需要全场景覆盖增强技术?...

紫光展锐近期发布了采用6nm EUV工艺的新一代5G SoC“虎贲T7520”&#xff0c; 先进的工艺、低功耗的系统设计&#xff0c;大幅提升的AI算力和多媒体影像处理能力&#xff0c;将为5G智能体验带来更好的选择。值得注意的是&#xff0c;基于第二代马卡鲁5G技术平台&#xff0c;虎贲…

“万物就只是5万亿个参数”,AI模型GPT-3让人怀疑人生

本文转自开源中国这几天轰动硅谷的 GPT-3 是什么来头&#xff1f;相信不太了解 AI 的朋友这几天也或多或少看到了一些关于 GPT-3 的重磅消息&#xff0c;甚至有媒体称其为 “继比特币之后又一个轰动全球的现象级新技术”。请注意&#xff0c;现在站在你面前的是&#xff1a;互联…

06_jQuery_内容过滤

HTML代码&#xff1a; <div>John Resig</div><div>gggg resig</div><div>Malcom John sinclai</div><div>J.ohn</div>jQuery代码&#xff1a; $(function(){$("div:contains(John)").css("text-decoration&quo…

计算机应用基础王秀娟,计算机应用基础课教学内容设计分析.doc

计算机应用基础课教学内容设计分析计算机应用基础课程教学内容设计分析摘要&#xff1a;随着科技的发展和时代的不断进步&#xff0c;计算机技术的应用被高度重视&#xff0c;计算机作为提高人们的生活质量和工作效率的一种必备工具已深深融入到了人们的工作、学习和生活中&…

从技术角度探讨:深度传感器行业有哪些发展机会

来源&#xff1a;仪商网以前&#xff0c;我们一直认为传统相机将3D世界转换为2D图像&#xff0c;已可以满足我们对于图像的应用&#xff0c;而2D图像中丢失的三维似乎并不重要。但随着计算机视觉&#xff08;CV&#xff09;的飞速发展以及与深度学习的结合&#xff0c;许多雄心…

计算机二级vf上机试题,计算机二级VF上机模拟题

计算机二级VF上机模拟题一、基本操作题(共4小题&#xff0c;第1和2题是7分、第3和4题是8分)在考生文件夹下完成下列操作(在"成绩管理"数据库中完成)&#xff1a;1、为"学生"表在"学号"字段上建立升序主索引&#xff0c;索引名和索引表达式均为学…

python 替换字符串

>>> a hello world >>> a.replace(hello,ni) ni world >>> a hello world >>> a.replace(he,ni) nillo world >>> a.replace(ac,ni) #ac在字符串中没有&#xff0c;就不会替换 hello world 1.替换之后&#xff0c;原本…

城市大脑全球标准,构建人类协同发展类脑智能支撑平台

21世纪以来&#xff0c;种种迹象表明诞生于1969年的互联网正在从网状结构向类脑模型演化。这种演化不但导致物联网、云计算、大数据、工业互联网、边缘计算、云机器人的产生&#xff0c;同时也使得谷歌大脑、百度大脑、阿里大脑、360安全大脑、腾讯超级大脑&#xff0c;城市大脑…

全国网络教育统考计算机应用基础题目精选,全国网络教育统考计算机应用基础题目精选解析.doc...

《计算机应用基础》试卷结构与题型试题分为知识题和操作题两大类&#xff0c;其中知识题约占40&#xff05;&#xff0c;操作题约占60&#xff05;。试卷内容比例为&#xff1a;计算机基础知识和操作系统及其应用约占30&#xff05;、文字编辑、电子表格和电子演示文稿约占35&a…

一场物理界和数学界永远不能停下的争论

来源&#xff1a;算法数学俱乐部数学和物理的搞笑差别一场物理界和数学界永远不能停下的争论&#xff1a; 数学系和物理系的学生有什么差别&#xff1f;数学系的学生学数学分析、复分析、实分析、泛函分析、数值分析、线性代数、抽象代数、概率论、集合论、数论、微分几何、微分…

Nature:麻省理工人造「巨型原子」问世,量子处理和量子通信合二为一

文章来源&#xff1a;nature在量子计算中&#xff0c;交互就是一切。量子计算机的主要挑战之一&#xff0c;就是如何让稍远距离的量子比特也能交互。一项发表于《自然》上的论文有了新的进展。一直以来&#xff0c;量子计算机都是一个神秘且「高大上」的存在。中国科学院院士潘…

计算机一级模拟7试题,计算机一级模拟试题7.doc

计算机一级模拟试题7计算机一级模拟试题7(本试题答卷时间为60分钟)考号 姓名说明&#xff1a;(1)本试卷全部为选择题&#xff0c;每题可供选择的答案中只有一个正确或最佳答案(2)答题时&#xff0c;要在标准答题纸上编号对应的栏目中用铅笔将选择的答案涂黑&#xff0c;在试题上…

神经网络与推荐系统初步简介

作者&#xff1a;一人 1.深度神经网络对于任何领域都是适用的 深度神经网络&#xff08;Deep Neural Networks, DNN&#xff09;在过去的数年已经在图像分类、语音识别、自然语言处理中取得了突破性的进展。在实践中的应用已经证明了它可以作为对于一种十分有效的技术手段应用…

18个顶级人工智能平台

来源&#xff1a;机器人小妹很多时候企业拥有重复&#xff0c;乏味且困难的工作流程&#xff0c;这些流程往往会减慢生产速度并增加运营成本。为了降低生产成本&#xff0c;企业别无选择&#xff0c;只能自动化某些功能以降低生产成本。通过数字化重复性任务&#xff0c;企业可…

计算机内部程序代码,计算机为什么能够读懂程序代码?

01 引子上一回&#xff0c;我们的主人公小A初次亮相&#xff0c;凭借基础的前后端理解&#xff0c;从技术实现的层面为我们剖析了微信扫码登录的原理和机制。可能很多人因此会好奇&#xff0c;小A到底是做什么的呢&#xff1f;为什么能够弄懂这些原理呢&#xff1f;其实&#x…

mysql_crud

多分支查询 SELECT (CASE WHEN (marketprice > 0.1 and marketprice < 2) then marketprice 1 WHEN (marketprice > 2.1 and marketprice < 5) then marketprice 3 WHEN (marketprice > 5 and marketprice < 10) then marketprice 5 WHEN (ma…