去除wordpress主题版权/达州seo

去除wordpress主题版权,达州seo,怎么做电商网站,建设项目查询官网机器学习模型性能评估指标(含多类别情况) 1. 模型评估指标简介 在机器学习中,模型的性能评估非常重要。常用的模型评估指标有: 准确率(Accuracy)精度(Precision)召回率&#xff0…

机器学习模型性能评估指标(含多类别情况)

1. 模型评估指标简介

在机器学习中,模型的性能评估非常重要。常用的模型评估指标有:

  • 准确率(Accuracy)
  • 精度(Precision)
  • 召回率(Recall)
  • F-Score
  • Micro Average 和 Macro Average

这些指标能够帮助我们了解模型在预测中的表现,尤其是在不同类别不平衡的情况下,选择适合的评估标准非常重要。

2. 常用的评估指标

2.1 准确率(Accuracy)

准确率是正确预测的样本占所有样本的比例,计算公式为:
Accuracy = T P + T N T P + T N + F P + F N \text{Accuracy} = \frac{TP + TN}{TP + TN + FP + FN} Accuracy=TP+TN+FP+FNTP+TN
其中:

  • TP:真正例(True Positive)
  • TN:真反例(True Negative)
  • FP:假正例(False Positive)
  • FN:假反例(False Negative)

准确率适用于类别分布比较均衡的情况,但在类别不平衡的情况下,可能会导致误导。

2.2 精度(Precision)

精度表示预测为正类的样本中,实际为正类的比例,计算公式为:
Precision = T P T P + F P \text{Precision} = \frac{TP}{TP + FP} Precision=TP+FPTP
精度可以帮助我们了解预测为正的样本有多少是准确的。

2.3 召回率(Recall)

召回率表示实际为正类的样本中,被正确预测为正类的比例,计算公式为:
Recall = T P T P + F N \text{Recall} = \frac{TP}{TP + FN} Recall=TP+FNTP
召回率能够告诉我们有多少正类被模型捕获。

2.4 F-Score

F-Score 是精度和召回率的调和平均值,计算公式为:

F − S c o r e = 2 × Precision × Recall Precision + Recall F-Score = 2 \times \frac{\text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}} FScore=2×Precision+RecallPrecision×Recall
F-Score 综合了精度和召回率,是常用的评估指标,尤其在不平衡分类问题中尤为重要。


3. 多类别评估

当我们面临多类别问题时,计算方式稍微复杂一些。常用的评估方式包括 Micro AverageMacro Average

3.1 多类别混淆矩阵

在多类别分类问题中,混淆矩阵会扩展为一个矩阵,其中每一行表示真实类别,每一列表示预测类别。举个例子,如果有四个类别(0, 1, 2, 3),混淆矩阵如下所示:

类别预测为 0预测为 1预测为 2预测为 3
实际为 050532
实际为 1154023
实际为 284605
实际为 334530

我们可以从这个混淆矩阵中计算出每个类别的 TP, FP, FN, TN

3.2 每个类别的指标

例如,类别 0 的 TP, FP, FN, TN 计算如下:

  • TP: 50(实际为 0 且预测为 0)
  • FP: 15 + 8 + 3 = 26(实际不是 0,但预测为 0)
  • FN: 5 + 3 + 2 = 10(实际为 0,但预测为其他类别)
  • TN: 所有其他未预测为 0 的项:40 + 60 + 30 + 3 + 4 + 5 = 142

类似地,我们可以计算其他类别的指标。

3.3 Precision, Recall 和 F-Score 的计算

接下来,我们根据每个类别的 TP, FP, FN 来计算 Precision, RecallF-Score

类别TPFPFNPrecisionRecallF-Score
05026100.6570.8330.740
14017200.7010.6670.684
26012140.8330.8110.822
33012100.7140.7500.731
3.4 Micro Average 和 Macro Average
  • Micro Average:先汇总所有类别的 TP, FP, FN,然后计算 Precision, RecallF-Score
  • Macro Average:对每个类别的 Precision, RecallF-Score 进行平均。

Micro AverageMacro Average 的计算可以帮助我们从整体和类别均值两个角度评估模型。

Micro Average
  • Micro TP = 50+40+60+30=180
  • Micro FP = 26+17+12+12=67
  • Micro FN = 10+20+14+10=54

Micro Precision =
180 180 + 67 = 0.729 \frac{180}{180 + 67} = 0.729 180+67180=0.729
Micro Recall =
180 180 + 54 = 0.769 \frac{180}{180 + 54} = 0.769 180+54180=0.769
Micro F-Score =
2 × 0.729 × 0.769 0.729 + 0.769 = 0.748 2 \times \frac{0.729 \times 0.769}{0.729 + 0.769} = 0.748 2×0.729+0.7690.729×0.769=0.748

Macro Average

Macro Precision =
0.657 + 0.701 + 0.833 + 0.714 4 = 0.751 \frac{0.657 + 0.701 + 0.833 + 0.714}{4} = 0.751 40.657+0.701+0.833+0.714=0.751

Macro Recall =
0.833 + 0.667 + 0.811 + 0.750 4 = 0.765 \frac{0.833 + 0.667 + 0.811 + 0.750}{4} = 0.765 40.833+0.667+0.811+0.750=0.765

Macro F-Score =
0.740 + 0.684 + 0.822 + 0.731 4 = 0.744 \frac{0.740 + 0.684 + 0.822 + 0.731}{4} = 0.744 40.740+0.684+0.822+0.731=0.744


4. 总结

指标类别 0类别 1类别 2类别 3Micro AverageMacro Average
Precision0.6570.7010.8330.7140.7290.751
Recall0.8330.6670.8110.7500.7690.765
F-Score0.7400.6840.8220.7310.7480.744
  • 准确率(Accuracy):适用于类别分布较为平衡的情况。
  • 精度(Precision):反映了模型对正类预测的准确性。
  • 召回率(Recall):反映了模型捕获到正类的能力。
  • F-Score:综合了精度和召回率,是综合性评估指标。
  • Micro Average:考虑每个样本的贡献,适合不平衡数据集。
  • Macro Average:对各类别的表现取平均,适合类别均衡时的综合评估。

5. 应用场景

这些评估指标广泛应用于分类问题,尤其是当数据类别不平衡时,F-ScoreMacro Average 常常比 Accuracy 更具参考价值。

6. 任务相关性对评估指标选择的影响

不同任务对 False Positive (FP)False Negative (FN) 的容忍度不同,因此在选择评估指标时,必须考虑任务的目标和后果。

6.1 垃圾邮件检测(Spam Detection)

在垃圾邮件检测任务中:

  • False Positive (FP):将一个真实邮件误判为垃圾邮件。这个错误的影响比较大,因为用户可能会错过重要的邮件。
  • False Negative (FN):将垃圾邮件误判为正常邮件。这个错误影响较小,用户可以手动删除多余的垃圾邮件。

模型评估建议

  • 对于垃圾邮件检测任务,False Positives (FP) 更为严重,因为用户宁愿删除一些额外的垃圾邮件,也不希望错过重要邮件。
  • 因此,在这种情况下,我们应该更加关注 Precision,即我们预测为正的邮件中,有多少是真正的垃圾邮件。
6.2 法院文件提交(Providing Document in Court)

在法庭文件提交任务中:

  • False Positive (FP):错误地提交了不相关的文件。这个错误的后果较小,可能仅会导致一些额外的工作。
  • False Negative (FN):漏掉了需要提交的重要文件。这个错误的后果非常严重,可能会导致案件失败或法律后果。

模型评估建议

  • 对于这种任务,False Negatives (FN) 更为严重,因为漏掉重要文件可能会对案件产生灾难性的后果。
  • 因此,我们应该更加关注 Recall,即模型能识别出多少真实需要提交的文件。
6.3 任务翻转的影响

如果任务发生翻转,评估指标的优先级也可能发生变化。例如:

  • 如果将“垃圾邮件检测”任务翻转为“相关邮件检测”任务,目标是找出所有与用户相关的重要邮件,而不仅仅是过滤垃圾邮件,那么 Recall 变得更加重要。
  • 在这种情况下,漏掉一个重要邮件(False Negative)可能比误将一些不重要邮件标记为重要(False Positive)更加严重。

7. ROC 曲线与 Precision-Recall 曲线

7.1 什么是 ROC 曲线?

7.1.1 ROC 曲线的定义

ROC(Receiver Operating Characteristic)曲线用于评估分类模型在不同阈值下的表现。它描绘了模型的 True Positive Rate (TPR)False Positive Rate (FPR) 之间的关系。

  • TPR(True Positive Rate),即 Recall:表示模型在所有实际为正类的样本中预测正确的比例。
  • FPR(False Positive Rate):表示模型在所有实际为负类的样本中错误预测为正类的比例,计算公式为:

F P R = F P F P + T N FPR = \frac{FP}{FP + TN} FPR=FP+TNFP

7.1.2 ROC 曲线的含义

  • TPR(True Positive Rate) 对应的是 Recall
  • FPR(False Positive Rate) 对应的是 1 - Specificity,其中 Specificity 是指模型在所有实际为负类的样本中预测正确的比例。

通过绘制不同阈值下的 TPRFPR,我们可以得到 ROC 曲线。ROC 曲线的理想情况是 TPR 为 1,FPR 为 0,这意味着模型的分类能力完美。

7.1.3 AUC(Area Under Curve)

AUC 是 ROC 曲线下的面积,值越接近 1,表示模型越好。AUC 值为 0.5 表示模型没有任何区分能力,相当于随机猜测。


7.2 什么是 Precision-Recall 曲线?

ROC 曲线类似,Precision-Recall 曲线也是评估模型性能的一种方法,但其更加关注正类样本的表现。当数据集是高度不平衡时,Precision-Recall 曲线往往比 ROC 曲线更能准确反映模型的性能。

7.2.1 Precision-Recall 曲线的定义

  • Precision-Recall 曲线 描绘了 PrecisionRecall 在不同阈值下的变化。我们通过调整分类阈值来计算不同阈值下的 PrecisionRecall,然后绘制出曲线。

7.2.2 Precision-Recall 曲线的作用

  • Precision-Recall 曲线 可以帮助我们理解模型在正类样本的分类表现,尤其是当正类样本数量较少时。
  • 如果 PrecisionRecall 都较高,则说明模型在正类预测时既准确又完整。

7.3 如何计算 Precision 和 Recall 并绘制 Precision-Recall 曲线

7.3.1 准备数据

假设我们有以下数据集,包含了每个样本的真实标签和模型输出的预测概率:

样本编号真实标签 (y_true)模型预测概率 (y_scores)
110.9
200.7
310.8
400.4
510.85

7.3.2 选择不同阈值并计算 Precision 和 Recall

根据预测概率排序:

样本编号真实标签 (y_true)模型预测概率 (y_scores)
110.9
310.8
510.85
200.7
400.4

选择阈值:0.9, 0.8, 0.7, 0.5,分别计算 Precision 和 Recall。

阈值 = 0.9
  • 预测为正类的样本:样本 1
  • TP = 1, FP = 0, FN = 2, TN = 2
  • Precision = 1, Recall = 0.33
阈值 = 0.8
  • 预测为正类的样本:样本 1, 3, 5
  • TP = 3, FP = 1, FN = 0, TN = 1
  • Precision = 0.75, Recall = 1
阈值 = 0.7
  • 预测为正类的样本:样本 1, 2, 3, 5
  • TP = 3, FP = 1, FN = 0, TN = 1
  • Precision = 0.75, Recall = 1
阈值 = 0.5
  • 预测为正类的样本:样本 1, 2, 3, 4, 5
  • TP = 3, FP = 2, FN = 0, TN = 0
  • Precision = 0.6, Recall = 1

7.3.3 绘制 Precision-Recall 曲线

通过计算不同阈值下的 PrecisionRecall,我们可以绘制 Precision-Recall 曲线。以下是不同阈值下的 PrecisionRecall 的数据:

阈值PrecisionRecall
0.910.33
0.80.751
0.70.751
0.50.61

使用 matplotlib 绘制 Precision-Recall 曲线:

import matplotlib.pyplot as plt# Precision 和 Recall 的值
precision = [1, 0.75, 0.75, 0.6]
recall = [0.33, 1, 1, 1]
thresholds = [0.9, 0.8, 0.7, 0.5]# 绘制 Precision-Recall 曲线
plt.plot(recall, precision, marker='o', color='b')
plt.xlabel('Recall')
plt.ylabel('Precision')
plt.title('Precision-Recall Curve')
plt.grid(True)
plt.show()

7.4 总结

7.4.1 ROC 曲线与 AUC

  • ROC 曲线 提供了模型的 TPRFPR 之间的关系,通过不同阈值下的分类性能展示模型的表现。
  • AUC(Area Under Curve)表示 ROC 曲线下的面积,AUC 值越高,模型的性能越好。

7.4.2 Precision-Recall 曲线(PRC)

  • Precision-Recall 曲线 聚焦于正类的分类表现,尤其在数据集不平衡时,提供了对模型性能的更好评估。
  • 精度(Precision)和召回率(Recall)是关键的评估指标,二者可以通过调整阈值来平衡。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/898108.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

开源通义万相本地部署方案,文生视频、图生视频、视频生成大模型,支持消费级显卡!

开源通义万相本地部署方案,文生视频、图生视频、视频生成大模型,支持消费级显卡! 万相2.1开源 近日,大模型万相2.1(Wan)重磅开源,此次开源采用Apache2.0协议,14B和1.3B两个参数规格…

qt+opengl 播放yuv视频

一、实现效果 二、pro文件 Qt widgets opengl 三、主要代码 #include "glwidget.h"GLWidget::GLWidget(QWidget *parent) : QOpenGLWidget(parent) {connect(&m_timer, &QTimer::timeout, this,[&](){this->update();});m_timer.start(1000/33); }v…

并发基础—三大问题:可见性、原子性、有序性

文章目录 可见性原子性有序性(指令重排)经典的指令重排案例:单例模式的双重检查锁volatile和synchronize都可以保证有序性并发压测工具Jcstress证明指令重排会在多线程下出现问题(了解)CPU缓存分为三个级别&#xff1a…

PyTorch 入门学习

目录 PyTorch 定义 核心作用 应用场景 Pytorch 基本语法 1. 张量的创建 2. 张量的类型转换 3. 张量数值计算 4. 张量运算函数 5. 张量索引操作 6. 张量形状操作 7. 张量拼接操作 8. 自动微分模块 9. 案例-线性回归案例 PyTorch 定义 PyTorch 是一个基于 Python 深…

Spring Cloud 中的服务注册与发现: Eureka详解

1. 背景 1.1 问题描述 我们如果通过 RestTamplate 进行远程调用时,URL 是写死的,例如: String url "http://127.0.0.1:9090/product/" orderInfo.getProductId(); 当机器更换或者新增机器时,这个 URL 就需要相应地变…

网页制作15-Javascipt时间特效の记录网页停留时间

01效果图: 02运用: window.setTimeout()刷新function()函数document.forms():表单if条件语句window.alert()窗口警示 03、操作代码:…

C++ std::list超详细指南:基础实践(手搓list)

目录 一.核心特性 1.双向循环链表结构 2.头文件:#include 3.时间复杂度 4.内存特性 二.构造函数 三.list iterator的使用 1.学习list iterator之前我们要知道iterator的区分 ​编辑 2.begin()end() 3.rbegin()rend() 四.list关键接口 1.empty() 2. size…

996引擎 - 红点系统

996引擎 - 红点系统 总结NPC 红点(TXT红点)Lua 红点1. Red_Point.lua2. UI_Ex.lua参考资料以下内容是在三端 lua 环境下测试的 总结 红点系统分几个部分组成。 M2中设置变量推送。 配置红点表。 Envir\Data\cfg_redpoint.xls 2.1. UI元素中找到ID填写 ids 列。 主界面挂载…

PySide(PyQt),使用types.MethodType动态定义事件

以PySide(PyQt)的图片项为例,比如一个视窗的场景底图是一个QGraphicsPixmapItem,需要修改它的鼠标滚轮事件,以实现鼠标滚轮缩放显示的功能。为了达到这个目的,可以重新定义一个QGraphicsPixmapItem类,并重写它的wheelE…

【eNSP实战】三层交换机使用ACL实现网络安全

拓图 要求: vlan1可以访问Internetvlan2和vlan3不能访问Internet和vlan1vlan2和vlan3之间可以互相访问PC配置如图所示,这里不展示 LSW1接口vlan配置 vlan batch 10 20 30 # interface Vlanif1ip address 192.168.40.2 255.255.255.0 # interface Vla…

Unity中WolrdSpace下的UI展示在上层

一、问题描述 Unity 中 Canvas使用World Space布局的UI,想让它不被3d物体遮挡,始终显示在上层。 二、解决方案 使用shader解决 在 UI 的材质中禁用深度测试(ZTest),强制 UI 始终渲染在最上层。 Shader "Custo…

五子棋小游戏-简单开发版

一、需求分析 开发一个基于 Pygame 库的五子棋小游戏,允许两名玩家在棋盘上轮流落子,当有一方达成五子连珠时游戏结束,显示获胜信息,并提供退出游戏和重新开始游戏的操作选项。 1.棋盘显示 : 显示一个 15x15 的五子棋…

小秋的矩阵

0小秋的矩阵 - 蓝桥云课 问题描述 给你一个 n 行 m 列只包含 0 和 1 的矩阵,求它的所有子矩阵中,是方阵而且恰好包含 k 个 0 的数量。 方阵是行数和列数相等的矩阵。 子矩阵是从一个矩阵当中选取某些行和某些列交叉位置所组成的新矩阵(保…

晶晨S905L3芯片_原机安卓4升级安卓9.0_通刷线刷固件包

晶晨S905L3芯片_原机安卓4升级安卓9.0_通刷线刷固件包 线刷方法:(新手参考借鉴一下) 1、准备好一根双公头USB线刷刷机线,长度30-50CM长度最佳,同时准备一台电脑; 2、电脑上安装好刷机工具Amlogic USB Bu…

谷歌Chrome或微软Edge浏览器修改网页任意内容

在谷歌或微软浏览器按F12,打开开发者工具,切换到console选项卡: 在下面的输入行输入下面的命令回车: document.body.contentEditable"true"效果如下:

【生日蛋糕——DFS剪枝优化】

题目 分析 代码 #include <bits/stdc.h> using namespace std;const int N 24; const int inf 0x3f3f3f3f;int mins[N], minv[N]; int R[N], H[N]; int n, m, ans inf;void dfs(int u, int v, int s) {if(v minv[u] > n) return;if(s mins[u] > ans) return;…

短视频下载去水印,用什么工具好?

去除视频和图片水印是许多用户的需求&#xff0c;尤其是在分享或保存内容时。以下是6款超好用的工具&#xff0c;帮助你轻松去除水印&#xff0c;享受纯净的视觉体验&#xff1a; 1. 易下载去水印小程序 特点&#xff1a; 操作简单&#xff0c;支持抖音、快手、小红书、哔哩哔哩…

设计模式(行为型)-备忘录模式

目录 定义 类图 角色 角色详解 &#xff08;一&#xff09;发起人角色&#xff08;Originator&#xff09;​ &#xff08;二&#xff09;备忘录角色&#xff08;Memento&#xff09;​ &#xff08;三&#xff09;备忘录管理员角色&#xff08;Caretaker&#xff09;​…

【技术报告】谷歌开源多模态大模型 Gemma-3

【技术报告】谷歌开源多模态大模型 Gemma-3 1. Gemma-3 简介1.1 Gemma-3 的新功能1.2 与现有工作流的集成1.3 开始使用 Gemma-3 Gemma-3 技术报告&#xff1a;摘要Gemma-3 技术报告&#xff1a;1. 引言Gemma-3 技术报告&#xff1a;2. 模型架构2.1 视觉模态2.2 预训练2.3 量化感…

[ISP] 人眼中的颜色

相机是如何记录颜色的&#xff0c;又是如何被显示器还原的&#xff1f; 相机通过记录RGB数值然后显示器显示RGB数值来实现颜色的记录和呈现。道理是这么个道理&#xff0c;但实际上各厂家生产的相机对光的响应各不相同&#xff0c;并且不同厂家显示器对三原色的显示也天差地别&…