机器学习:预测评估8类指标

机器学习:8类预测评估指标

R方值、平均值绝对误差值MAE、均方误差MSE、均方误差根EMSE、中位数绝对误差MAD、平均绝对百分误差MAPE、可解释方差分EVS、均方根对数误差MLSE。

一、R方值

1、说明:

R方值,也称为确定系数或拟合优度,是用于量化模型预测与真实数据之间拟合程度的指标。其值范围在0到1之间。

  • R方值接近0:表示模型几乎没有解释数据中的变化,即模型的预测与真实值之间几乎没有关系。
  • R方值接近1:表示模型解释了数据中的大部分变化,即模型的预测与真实值非常接近。

2、计算:

SST:是真实值与其均值之间差异的平方和,反映了数据中的总变化。

SSR:回归平方和,即回归模型可以解释的方差。它表示由自变量变化引起的因变量变化的部分,是可以用回归直线来解释的变差部分。

3、解读说明:

  • R方值过高:
    通常表示模型拟合得很好,能够解释数据中的大部分变化。但需要注意,高R方值并不一定意味着模型具有好的预测能力,特别是在存在过拟合的情况下。
  • R方值过低:
    可能表示模型拟合得不好,或者数据中的变化主要由随机噪声引起,而非模型能够解释的系统性规律。
  • R方值的比较

在比较不同模型的R方值时,需要注意数据的规模和特征。对于具有不同规模或特征的数据集,即使R方值相同,也可能表示模型具有不同的拟合能力。

二、平均绝对误差值MAE

1、说明:

预测值与实际值之差的绝对值的平均数,取值越小,模型准确度越高。

2、计算:

MAE=1𝑛∑𝑖=1𝑛|𝑦𝑖−𝑦^𝑖|

其中,n为样本个数,为真实值,为预测值。

3、解读说明:

  • 直观易懂:
    MAE是一个直观且易于理解的指标,因为它以与原始数据相同的单位来衡量误差。
  • 对异常值不敏感:
    由于MAE取的是绝对误差的平均值,因此它对数据中的异常值或极端值不敏感。这意味着即使数据中存在一些异常值,MAE值也不会受到太大的影响。
  • 评估预测精度:
    MAE直接反映了模型的预测精度,因为它衡量的是预测值与真实值之间的平均绝对差异。较小的MAE值表示模型具有更高的预测准确性。
  • 不受数据集规模影响:
    MAE是一个相对稳定的指标,它不受数据集规模的影响。因此,无论是在小数据集还是大数据集上,MAE都可以提供一致的评估结果。
    三、均值误差MSE
    1、说明:
    预测值与实际值之差的平方的平均值。取值越小,模型准确度越高。
    2、计算:
    MSE=1𝑛∑𝑖=1𝑛(𝑦𝑖−𝑦^𝑖)2
    其中,n为样本个数,为真实值,为预测值。
    3、解读说明:
  • 敏感性

MSE对预测误差的大小非常敏感,即使是较小的误差也会对MSE值产生较大的影响。因此,它能够有效反映模型的预测能力。

  • 计算简单

MSE的计算公式相对简单,易于理解和实现。

  • 对离群值敏感

MSE的一个主要缺点是它对数据中的离群值非常敏感。如果数据集中存在离群值,MSE的值可能会受到显著影响,导致对模型性能的评估不准确。

四、误差根RMSE

1、说明:

为 MSE 的平方根,取值越小,模型准确度越高。

2、计算:

RMSE=1𝑛∑𝑖=1𝑛(𝑦𝑖−𝑦^𝑖)2

其中,n为样本个数,为真实值,为预测值。

3、解释说明:

  • 敏感性

RMSE对预测误差的大小非常敏感,即使是较小的误差也会对RMSE值产生较大的影响。这有助于发现模型中的小偏差。

  • 量纲一致性

RMSE的单位与原始数据的单位相同,因此具有量纲一致性,便于理解和解释。

  • 对离群值敏感
    由于RMSE计算中涉及到平方操作,因此它对数据中的离群值非常敏感。如果数据集中存在离群值,RMSE的值可能会受到显著影响。
  • 数值范围

RMSE的取值范围是0到正无穷大。数值越小,表示模型的预测精度越高

五、数绝对误差MAD

说明

有异常值也可以使用。

[1]李文颖.基于深度学习的金融市场波动率预测研究及应用[D].东华大学,2023.DOI:10.27012/d.cnki.gdhuu.2023.000710.

六、平均绝对百分误差MAPE

1、说明:

预测值与实际值之差的绝对值与实际值之比的平均数,以百分比表示。取值越小,模型准确度越高。

2、判断标准:

MAPE取值范围是0到正无穷大。

在这个范围内,MAPE值越小,表示预测模型越准确,预测值与实际值之间的误差越小。

MAPE值小于10%:通常认为这是一个比较好的预测模型,预测精度较高。

MAPE值在10%-20%之间:预测精度仍然可以接受,但可能需要进行一些优化以提高准确性。

MAPE值大于20%:这表示预测效果不太理想,可能需要重新评估模型或寻找更好的预测方法。

七、可解释方差得分EVS

1、说明:

可解释方差得分(EVS)是衡量回归模型预测结果与实际结果之间方差相似度的一个指标。它反映了模型捕捉到的数据变异性的程度,即模型预测值的变化与实际值变化之间的相似度。

2、计算:

EVS = 1 - (ESS / TSS)

ESS:回归平方和、TSS总体平方和。

3、判断标准:

可释方差得分的取值范围为[0,1],当EVS为1时,表示模型完美预测了数据;当EVS为0时,表示模型无法解释数据方差。

在实际应用中,EVS通常用于比较不同模型的表现,取值越接近1,表示模型解释的数据方差越多,表现越好。

八、均方根对数误差MSLE

1、说明和计算:

计算的是预测值与实际值之间的对数差的平方的平均值,再取平方根。

2、判断标准:

  • 敏感性:
    MSLE对于预测值与实际值之间的比例误差非常敏感。当预测值与实际值相差很大时,即使它们的绝对值差异可能不大,MSLE也会给出一个较大的值,从而惩罚模型。
  • 对数据的分布敏感:

由于MSLE涉及到对数运算,因此它对数据的分布非常敏感。如果数据中存在大量的极端值或离群点,那么MSLE可能会给出不稳定的结果。

机器学习:预测评估8类指标

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/39245.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

多语言模型(Multilingual Models)用于推理(Inference)

在深入探讨多语言模型(Multilingual Models)用于推理(Inference)的详细内容时,我们需要首先理解多语言模型的基本概念、它们如何工作、为什么它们在现代自然语言处理(NLP)中变得如此重要&#x…

excel PivotTable 透视表

开发数据导出excel功能,设置导出透视表 数据源: 透视表: 使用插件EPPlus 数据源: IF OBJECT_ID(tempdb..#temptable) IS NOT NULLDROP TABLE #temptable; CREATE TABLE #temptable ( [PROJECT] varchar(50), [PRODUCT_CODE] var…

springboot双学位招生管理系统-计算机毕业设计源码93054

摘 要 科技进步的飞速发展引起人们日常生活的巨大变化,电子信息技术的飞速发展使得电子信息技术的各个领域的应用水平得到普及和应用。信息时代的到来已成为不可阻挡的时尚潮流,人类发展的历史正进入一个新时代。在现实运用中,应用软件的工作…

ruoyi-cloud登录接口实现滑块验证码

一、前言 ruoyi项目默认的验证码是这样的 今天来尝试增加滑块验证码,我们用到的是tianai-captcha。 文档地址:http://doc.captcha.tianai.cloud/ 源码地址:https://gitee.com/tianai/tianai-captcha 下面来看具体的步骤。 二、后端 在g…

从游戏到营销:抽卡机小程序的多维度应用探索

在数字化时代,小程序作为一种轻量级、即用即走的应用形态,正逐步渗透到人们生活的方方面面。其中,抽卡机小程序以其独特的趣味性和互动性,不仅在游戏领域大放异彩,更在营销领域展现出广阔的应用前景。本文将从游戏起源…

ELFK简介

👨‍🎓博主简介 🏅CSDN博客专家   🏅云计算领域优质创作者   🏅华为云开发者社区专家博主   🏅阿里云开发者社区专家博主 💊交流社区:运维交流社区 欢迎大家的加入&#xff01…

vtk跨节点并行渲染

VTK(Visualization Toolkit)是一个用于科学计算可视化的开源库。在处理大型数据集时,通常需要进行跨节点(分布式处理)并行处理以提升性能。VTK支持使用MPI(Message Passing Interface)库进行并行…

.net core Redis 使用有序集合实现延迟队列

Redis 有序集合和集合一样也是 string 类型元素的集合,且不允许重复的成员。 不同的是每个元素都会关联一个 double 类型的分数。redis 正是通过分数来为集合中的成员进行从小到大的排序。 有序集合的成员是唯一的,但分数(score)却可以重复。 集合是通过哈希表实现的&#xf…

Hadoop-11-MapReduce JOIN 操作的Java实现 Driver Mapper Reducer具体实现逻辑 模拟SQL进行联表操作

章节内容 上一节我们完成了: MapReduce的介绍Hadoop序列化介绍Mapper编写规范Reducer编写规范Driver编写规范WordCount功能开发WordCount本地测试 背景介绍 这里是三台公网云服务器,每台 2C4G,搭建一个Hadoop的学习环境,供我学…

文件扫描pdf怎么弄?5个简易高效的文件扫描方法

在繁忙的工作中,我们常常需要将纸质文件快速转换为电子文档,以便于编辑、存储或分享。 无论是合同、报告还是笔记,将这些纸质文件转换为Word格式,不仅能提高工作效率,还能确保信息的安全备份。然而,面对市…

前端领域创作者纪念日:回顾与展望

引言 在2048天前,我加入了CSDN。本文将带您回顾前端技术的发展历程,探索前端创作者的贡献,并展望未来的发展方向。 前端技术的发展历程 前端技术的发展可以追溯到互联网的早期时代。最初的网页主要是静态的HTML文档,内容简单&…

57、Flink 的项目配置概述

1)概览 1.开始 要开始使用 Flink 应用程序,请使用以下命令、脚本和模板来创建 Flink 项目。 可以使用如下的 Maven 命令或快速启动脚本,基于原型创建一个项目。 a)Maven 命令 mvn archetype:generate \-Darch…

开源大模型的中流砥柱——LLaMA

元宇宙平台公司在近年来大力发展人工智能技术,尤其在大规模语言模型(LLM)领域取得了显著进展。其代表性作品LLaMA(Large Language Model)及其后续版本LLaMA 2和LLaMA 3,成为了业界关注的焦点。 LLaMA模型的发布与许可 LLaMA模型的发布标志着在自然语言处理(NLP)领域的…

使用 Spring Security 配置 HTTPS

引言 为了保护敏感数据免受网络攻击,在 Web 应用中使用 HTTPS 是必不可少的。HTTPS 提供了数据传输的加密,确保数据在客户端和服务器之间传输时的安全性。Spring Security 提供了简单的配置方式来实现 HTTPS。本文将详细介绍如何在 Spring Boot 项目中配…

wordpress建站用付费模板还是免费模板

在WordPress建站时,选择模板是一个重要的决策。我们可以看到免费和付费模板各有优缺点。 免费模板的主要优点是成本效益。对于预算有限的个人或小企业来说,免费模板是一个理想的选择,因为它们不需要任何费用。此外,免费模板通常与…

Redis 7.x 系列【16】持久化机制之 AOF

有道无术,术尚可求,有术无道,止于术。 本系列Redis 版本 7.2.5 源码地址:https://gitee.com/pearl-organization/study-redis-demo 文章目录 1. 概述2. 执行原理2.1 Redis 6.x2.1.1 直接写2.1.2 重写 2.2 Redis 7.x2.2.1 Redis 6…

Spring Ioc学习

第二章 Spring IOC 章节内容 Spring IOC技术实现Spring IOC设值注入Spring IOC构造注入 章节目标 掌握Spring IOC技术实现掌握Spring IOC设置注入掌握Spring IOC构造注入 第一节 Spring简介 1. Spring 简介 Spring 是目前主流的 Java 开发框架,是 Java 世界最…

基于Springboot+Vue+mysql仓库管理系统仓库进销存管理系统

博主介绍: 大家好,本人精通Java、Python、C#、C、C编程语言,同时也熟练掌握微信小程序、Php和Android等技术,能够为大家提供全方位的技术支持和交流。 我有丰富的成品Java、Python、C#毕设项目经验,能够为学生提供各类…

Vue 父子页面使用指南

Vue3父子页面使用指南 Vue3作为一种现代化的前端框架,提供了强大的组件化功能,使得页面开发更加模块化和可维护。本文将深入探讨Vue3中父子页面的使用方法,包括如何传递参数、父组件如何调用子组件的方法,以及父子页面的加载原理…

为什么面向对象的设计方法逐渐减少

在软件开发领域,面向对象设计(Object-Oriented Design, OOD)曾经是主导的编程范式。它的主要特征是通过类和对象来组织代码,并利用继承、封装和多态性等特性来实现代码复用和模块化。然而,近年来,随着前端开…