白话机器学习笔记(三)评估已建立的模型

模型评估

在进行回归和分类时,为了进行预测,我们定义了函数 f θ ( x ) f_\theta(x) fθ(x),然后根据训练数据求出了函数的参数 θ \theta θ

如何预测函数 f θ ( x ) f_\theta(x) fθ(x)的精度?看它能否很好的拟合训练数据?

image-20230719171157625

我们需要能够定量的表示机器学习模型的精度,这就是模型的评估。

交叉验证

回归问题的验证

把获取的全部训练数据分成两份:一份用于测试,一份用于训练。前者来评估模型。一般3:7或者2:8这种训练数据更多的比例。

如图点击量预测的回归问题

image-20230719171547592

image-20230719171559974

image-20230719171609997

f θ ( x ) f_\theta(x) fθ(x)是二次函数拟合效果更好,但考虑测试数据的话,二次函数完全不行。

对于回归,只要在训练好的模型上计算测试数据的误差的平方,再取其平均值即可,假设训练数据有 n n n个,可以这样计算。
1 n ∑ i = 1 n ( y ( i ) − f θ ( x ( i ) ) ) 2 \frac1n\sum\limits_{i=1}^n(y^{(i)}-f_\theta(x^{(i)}))^2 n1i=1n(y(i)fθ(x(i)))2
对于点击量的回归问题, y ( i ) y^{(i)} y(i)就是点击量, x ( i ) x^{(i)} x(i)就是广告费。

这个值被称为均方误差或者MSE(Mean Square Error)

这个误差越小,精度就越高,模型就越好。

分类问题的验证

数据这样分配

image-20230719172449102

θ T x \theta^Tx θTx是一次函数

image-20230719172529610

θ T x \theta^Tx θTx更复杂,可能会这样紧贴着训练数据进行分类。

image-20230719172610515

我们是根据图像为横向的概率来分类,分类是否成功就会有下面 4 种情况。

image-20230719172707460

image-20230719172743042

可以这样计算分类的精度

A c c u r a c y = T P + T N T P + F P + F N + T N Accuracy=\frac{TP+TN}{TP+FP+FN+TN} Accuracy=TP+FP+FN+TNTP+TN

它表示的是在整个数据集中,被正确分类的数据 T P TP TP T N TN TN所占的比例。

精确率和召回率

有时候只看 A c c u r a c y Accuracy Accuracy会出问题

如果数据量极其不平衡

image-20230719173204756

模型把全部数据分类为 Negative,不是好模型,但精度会很高。

所以我们加入别的指标

精确率

P r e c i s i o n = T P T P + F P Precision=\frac{TP}{TP+FP} Precision=TP+FPTP

image-20230719173414397

这个指标只关注 TP 和 FP。根据表达式来看,它的含义是在被分类为 Positive 的数据中,实际就是 Positive 的数据所占的比例

召回率

R e c a l l = T P T P + F N Recall=\frac{TP}{TP+FN} Recall=TP+FNTP

image-20230719173643345

这个指标只关注 TP 和 FN。根据表达式来看,它的含义是在 Positive 数据中,实际被分类为 Positive 的数据所占的比例

基于这两个指标来考虑精度比较好。

但是一个高一个低就不好评估,为此出现判定综合性能的指标F值

F m e a s u r e = 2 1 P r e c i s i o n + 1 R e c a l l Fmeasure=\frac{2}{\frac{1}{Precision}+\frac1{Recall}} Fmeasure=Precision1+Recall12

变形后

F m e a s u r e = 2 ⋅ P r e c i s i o n ⋅ R e c a l l P r e c i s i o n + R e c a l l Fmeasure=\frac{2\cdot Precision\cdot Recall}{Precision+Recall} Fmeasure=Precision+Recall2PrecisionRecall

F值称为F1值更准确

还有带权重的F值指标

W e i g h t e d F m e a s u r e = ( 1 + β 2 ) ⋅ P r e c i s i o n ⋅ R e c a l l β 2 ⋅ P r e c i s i o n + R e c a l l WeightedFmeasure=\frac{(1+\beta^2)\cdot Precision\cdot Recall}{\beta^2\cdot Precision+Recall} WeightedFmeasure=β2Precision+Recall(1+β2)PrecisionRecall

之前的精确率和召回率是以 T P TP TP为主进行计算的,也可以以TN为主。

P r e c i s i o n = T N T N + F N Precision=\frac{TN}{TN+FN} Precision=TN+FNTN

R e c a l l = T N T N + F P Recall=\frac{TN}{TN+FP} Recall=TN+FPTN

把全部训练数据分为测试数据和训练数据的做法称为交叉验证

交叉验证中,尤为有名的是K折交叉验证

  • 把全部训练数据分为 K K K
  • K − 1 K − 1 K1 份数据用作训练数据,剩下的 1 份用作测试数据
  • 每次更换训练数据和测试数据,重复进行 K K K 次交叉验证
  • 最后计算 K K K 个精度的平均值,把它作为最终的精度

假设进行4折交叉验证,那么就会如图这样测试精度。

image-20230719175005740

全部训练数据的量很大,不切实际增大 K K K值会非常耗时,要确定一个合适的 K K K值。

正则化

过拟合

只能拟合训练数据的状态被称为过拟合

有几种方法可以避免过拟合

  • 增加全部训练数据的数量
  • 使用简单的模型
  • 正则化

正则化的方法

对于回归问题

E ( θ ) = 1 2 ∑ i = 1 n ( y ( i ) − f θ ( x ( i ) ) 2 E(\theta)=\frac12\sum\limits_{i=1}^n(y^{(i)}-f_\theta(x^{(i)})^2 E(θ)=21i=1n(y(i)fθ(x(i))2

向这个目标函数增加一个正则化项

R ( θ ) = λ 2 ∑ j = 1 m θ j 2 R(\theta)=\frac\lambda2\sum\limits_{j=1}^m\theta_j^2 R(θ)=2λj=1mθj2 ( m m m是参数的个数)

一般不对 θ 0 \theta_0 θ0应用正则化,假如预测函数的表达式为 f θ ( x ) = θ 0 + θ 1 x + θ 2 x 2 f_\theta(x)=\theta_0+\theta_1x+\theta_2x^2 fθ(x)=θ0+θ1x+θ2x2 m = 2 m=2 m=2意味着正则化的对象参数为 θ 1 \theta_1 θ1 θ 2 \theta_2 θ2 θ 0 \theta_0 θ0这种只有参数的项为偏置项,一般不对它进行正则化。

λ \lambda λ是决定正则化项影响程度的正的常数。

C ( θ ) = 1 2 ∑ i = 1 n ( y ( i ) − f θ ( x ( i ) ) 2 C(\theta)=\frac12\sum\limits_{i=1}^n(y^{(i)}-f_\theta(x^{(i)})^2 C(θ)=21i=1n(y(i)fθ(x(i))2

R ( θ ) = λ 2 ∑ j = 1 m θ j 2 R(\theta)=\frac\lambda2\sum\limits_{j=1}^m\theta_j^2 R(θ)=2λj=1mθj2

image-20230719181808107

这正是通过减小不需要的参数的影响,将复杂模型替换为简单模型来防止过拟合的方式。

为了防止参数的影响过大,在训练时要对参数施加一些惩罚。

λ \lambda λ是控制正则化惩罚的强度。

λ = 0 \lambda=0 λ=0,相当于不使用正则化。

λ \lambda λ越大,正则化的惩罚就越严厉。

分类的正则化

l o g L ( θ ) = ∑ i = 1 n ( y ( i ) l o g f θ ( x i ) + ( 1 − y ( i ) ) l o g ( 1 − f θ ( x ( i ) ) ) ) logL(\theta)=\sum\limits_{i=1}^n(y^{(i)}logf_\theta(x^{i}) +({1-y^{(i)}})log(1-f_\theta(x^{(i)}))) logL(θ)=i=1n(y(i)logfθ(xi)+(1y(i))log(1fθ(x(i))))

分类也是在这个目标函数中增加正则化项就行了。

l o g L ( θ ) = − ∑ i = 1 n ( y ( i ) l o g f θ ( x i ) + ( 1 − y ( i ) ) l o g ( 1 − f θ ( x ( i ) ) ) ) + λ 2 ∑ j = 1 m θ j 2 logL(\theta)=-\sum\limits_{i=1}^n(y^{(i)}logf_\theta(x^{i}) +({1-y^{(i)}})log(1-f_\theta(x^{(i)})))+\frac\lambda2\sum\limits_{j=1}^m\theta_j^2 logL(θ)=i=1n(y(i)logfθ(xi)+(1y(i))log(1fθ(x(i))))+2λj=1mθj2

对数似然函数本来以最大化为目标,加负号使其变为和回归的目标函数一样的最小化问题,像处理回归一样处理它,只要加上正则化项就可以了。

包含正则化项的表达式的微分

E ( θ ) = C ( θ ) + R ( θ ) E(\theta)=C(\theta)+R(\theta) E(θ)=C(θ)+R(θ)

各部分进行偏微分
∂ E ( θ ) ∂ θ j = ∂ C ( θ ) ∂ θ j + ∂ R ( θ ) ∂ θ j \frac{\partial E(\theta)}{\partial\theta_j}= \frac{\partial C(\theta)}{\partial\theta_j}+ \frac{\partial R(\theta)}{\partial\theta_j} θjE(θ)=θjC(θ)+θjR(θ)
∂ C ( θ ) ∂ θ j = ∑ i = 1 n ( f θ ( x ( i ) ) − y ( i ) ) x j ( i ) \frac{\partial C(\theta)}{\partial\theta_j}=\sum\limits_{i=1}^n(f_\theta(x^{(i)})-y^{(i)})x_j^{(i)} θjC(θ)=i=1n(fθ(x(i))y(i))xj(i)

∂ R ( θ ) ∂ θ j = λ θ j \frac{\partial R(\theta)}{\partial\theta_j}=\lambda\theta_j θjR(θ)=λθj

∂ E ( θ ) ∂ θ j = ∑ i = 1 n ( f θ ( x ( i ) ) − y ( i ) ) x j ( i ) + λ θ j \frac{\partial E(\theta)}{\partial\theta_j}=\sum\limits_{i=1}^n(f_\theta(x^{(i)})-y^{(i)})x_j^{(i)}+\lambda\theta_j θjE(θ)=i=1n(fθ(x(i))y(i))xj(i)+λθj

得参数更新表达式

θ j : = θ j − η ( ∑ i = 1 n ( f θ ( x ( i ) ) − y ( i ) ) x j ( i ) + λ θ j ) \theta_j:=\theta_j-\eta(\sum\limits_{i=1}^n(f_\theta(x^{(i)})-y^{(i)})x_j^{(i)}+\lambda\theta_j) θj:=θjη(i=1n(fθ(x(i))y(i))xj(i)+λθj) ( j > 0 ) (j>0) (j>0)

这种方法叫L2正则化

还有L1正则化,它的正则化项 R R R

R ( θ ) = λ ∑ i = 1 m ∣ θ i ∣ R(\theta)=\lambda\sum\limits_{i=1}^m|\theta_i| R(θ)=λi=1mθi

L1 正则化的特征是被判定为不需要的参数会变为 0,从而减少变量个数。而 L2 正则化不会把参数变为 0。二次式变为一次式的例子,用 L1 正则化就真的可以实现了。

L2 正则化会抑制参数,使变量的影响不会过大,而 L1 会直接去除不要的变量。

学习曲线

欠拟合:模型性能很差,没有拟合训练数据的状态

image-20230719184507350

区分过拟合与欠拟合

两种精度都是很差,如何辨别?

image-20230719184730844

随着数据量的增加,使用训练数据时的精度一直很高,而使用测试数据时的精度一直没有上升到它的水准。只对训练数据拟合得较好,这就是过拟合的特征。

这也叫作高方差。

欠拟合的图像如下

image-20230719184912237

这是一种即使增加数据的数量,无论是使用训练数据还是测试数据,精度也都会很差的状态。

像这样展示了数据数量和精度的图称为学习曲线

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/8841.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【玩转Linux】标准io缓冲区的操作

(꒪ꇴ꒪ ),hello我是祐言博客主页:C语言基础,Linux基础,软件配置领域博主🌍快上🚘,一起学习!送给读者的一句鸡汤🤔:集中起来的意志可以击穿顽石!作者水平很有限,如果发现错误&#x…

[Golang] Viper原理以及详细使用案例

文章目录 什么是 Viper?基础配置引入依赖:动态监听原理分析:监听原理分析 Config.yaml文件配置Viper文件配置 什么是 Viper? 介绍:用于处理配置文件中解析和读取配置文件 优点:支持多种配置格式&#xff0…

新老联手,火花四溅?大众汽车与小鹏汽车达成长期合作框架协议

7 月 26 日资讯,大众汽车宣布与小鹏汽车达成长期合作框架协议,并在官网中正式宣布,大众是老牌油车领军代表,小鹏则是新势力中的佼佼者,新老强强联手,又会碰撞出怎样的火花呢? 现阶段大众计划与…

Postman学习之常用断言

什么是断言? 断言——就是结果中的特定属性或值与预期做对比,如果一致,则用例通过,如果不一致,断言失败,用例失败。断言,是一个完整测试用例所不可或缺的一部分,没有断言的测试用例…

leetcode每日一练-第98题- 验证二叉搜索树

一、思路 因为要验证多个节点是否是二叉搜索树,因此使用递归 二、解题方法 设计一个递归函数 helper(root, lower, upper) 来递归判断,函数表示考虑以 root 为根的子树,判断子树中所有节点的值是否都在 (l,r)的范围内(注意是开区间&#x…

git配置

git查看配置:git config --global --list git配置: git config --global user.name "yumlu" git config --global user.email "yumlucisco.com" git config --global core.editorvim git权限,添加密钥: …

工厂方法模式——多态工厂的实现

1、简介 1.1、概述 在工厂方法模式中,不再提供一个统一的工厂类来创建所有的产品对象,而是针对不同的产品提供不同的工厂,系统提供一个与产品等级结构对应的工厂等级结构。 1.2、定义 工厂方法模式(Factory Method Pattern&am…

Filebeat学习笔记

Filebeat基本概念 简介 Filebeat是一种轻量级日志采集器,内置有多种模块(auditd、Apache、Nginx、System、MySQL等),针对常见格式的日志大大简化收集、解析和可视化过程,只需一条命令即可。之所以能实现这一点&#…

设计模式原则

1、设计模式七大原则 1.1 设计模式的目的 编写软件过程中,程序员面临着来自 耦合性,内聚性以及可维护性,可扩展性,重用性,灵活性 等多方面的挑战,设计模式是为了让程序(软件),具有更好 代码重…

Mkdocs中利用Js实现大小圈鼠标拖动样式

在docs/javascripts/extra.js下复制粘贴: var CURSOR;Math.lerp (a, b, n) > (1 - n) * a n * b;const getStyle (el, attr) > {try {return window.getComputedStyle? window.getComputedStyle(el)[attr]: el.currentStyle[attr];} catch (e) {}return …

k8s核心概念

一、集群架构与组件 1,相关组件 【1】 master node三个组件 k8s的控制节点,对集群进行调度管理,接受集群外用户去集群操作请求master node 组成(四个组件):控制面 API Server:通信kube-Sche…

大模型的淘金时代,HPE给出了一份智能经济“奇点”攻略

进入2023年,ChatGPT引发了一个新的AI时代——大模型时代。陆奇说:“我已经跟不上大模型时代的狂飙速度了!”大模型引发了AI产业整体升级换代,各种大模型层出不穷,科技公司纷纷入局,AI创业公司再次雨后春笋般…

【LeetCode】79.单词搜索

题目 给定一个 m x n 二维字符网格 board 和一个字符串单词 word 。如果 word 存在于网格中,返回 true ;否则,返回 false 。 单词必须按照字母顺序,通过相邻的单元格内的字母构成,其中“相邻”单元格是那些水平相邻或…

LabVIEW开发环境试验箱控制器

LabVIEW开发环境试验箱控制器 环境或气候试验箱是一种外壳,用于模拟各种材料(包括工业产品、生物物质、复合材料、电子设备和航空航天部件)的特定环境条件,并评估调节对这些材料的影响。 环境试验箱(ETC)…

08.计算机网络——其他重要协议和技术

文章目录 DNSICMPNAT代理服务器 DNS DNS是一整套从域名映射到IP的系统 ​ TCP/IP中使用IP地址和端口号来确定网络上的一台主机的一个程序,但是IP地址不方便记忆,于是人们发明域名,其本质是一个字符串,映射了它和IP地址的关系。 …

【iOS】—— RunLoop和多线程相关问题总结

RunLoop 1. 讲讲RunLoop,项目中有用到过吗? RunLoop 的基本作用:保持程序的持续运行,节省 CPU 的资源,提高程序的性能 ( 没有事情,就请休眠,不要功耗。有事情,就处理&a…

【JavaSE】运算符

【本节目标】 1. 熟练掌握各种运算符 这部分内容和C语言的位运算相似,可以参考这篇文章:【C语言】操作符详解 目录 1. 什么是运算符 2. 算术运算符 3. 关系运算符 4. 逻辑运算符 5. 位运算符 6. 移位运算(了解) 7. 条件运算符 1. 什么是运算符 …

day31贪心算法 用最少数量的箭引爆气球 和无重叠区间

题目描述 题目分析: x轴向上射箭,12一支,重叠的需要一支,3-8一支,7-16一支 返回2; 就是让重叠的气球尽量在一起,局部最优;用一支弓箭,全局最优就是最少弓箭&#xff1b…

SQL ORDER BY 关键字

ORDER BY 关键字用于对结果集进行排序。 ORDER BY 关键字用于对结果集按照一个列或者多个列进行排序。 ORDER BY 关键字默认按照升序对记录进行排序。如果需要按照降序对记录进行排序,您可以使用 DESC 关键字。 ORDER BY 子句后面的列名指示按哪些列进行排序。如…

如何才能做Cox呢?今天带来Cox回归分析步骤详解

Cox回归是生存分析中运用最多的一个模型,又称为比例风险回归模型(proportional hazards model)。是由英国统计学家D.R.Cox在1962年提出的,为了表示对他的尊敬,所以大家以他的名字命名这个模型。这是一种半参数回归模型,以结局和生…