《机器学习》读书笔记:总结“第4章 决策树”中的概念

💠决策树

基于树结构进行决策。

一棵决策树包括:

  • 一个 根节点(起点)
  • 若干 叶节点(没有下游节点的节点)
  • 若干 内部节点(分支节点)

即:

根节点
内部节点1
叶节点A
叶节点B
内部节点2
内部节点3
内部节点4
叶节点C
叶节点D
叶节点E
叶节点F

💠决策树学习基本算法:分而治之(divide and conquer)

训练集: D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x m , y m ) } D=\{(\bold{x}_1,y_1),(\bold{x}_2,y_2),...,(\bold{x}_m,y_m)\} D={(x1,y1),(x2,y2),...(xm,ym)}
其中的 y y y 是标记,即分类,其值可能是 C 1 C_1 C1 C 2 C_2 C2、… C n C_n Cn
其中 x \bold{x} x 的属性集 A = { a 1 , a 2 , . . . , a d } A=\{a_1,a_2,...,a_d\} A={a1,a2,...,ad}

这个算法是一个递归函数:
(笔者标记:这里的伪代码和原文不一样。一是我改变了一些表述与排版使我自己更容易理解;二是原文第12行的 “return” 我认为不对,又或者那里的 “return” 并非C++中的 “从函数返回”,而是 “从循环中返回”。不管怎样,我改成了符合C++语法习惯的伪代码)

TreeGenerate( D D D, A A A)
{
····创建一个节点 node

····if ( D D D中的样本全属于同一类别 C C C)
····{
········node = “输出是 C C C的叶节点”
········return node
····}

····if ( A A A 为空) or ( D D D A A A上取值相同)
····{
········令 C C C D D D中样本最多的分类
········node = “输出是 C C C的叶节点”
········return node
····}

····从 A A A中选择最优划分属性 a ∗ a_* a (关键步骤)
····for ( a ∗ a_* a中的每一个值 a ∗ v a_*^v av)
····{
········在 node创建一个分支节点 node_child,用于对应 D D D 的子集 D v D_v Dv
········其中 D v D_v Dv 表示 D D D 中在 a ∗ a_* a 上取值为 a ∗ v a_*^v av 的子集
········if ( D v D_v Dv 为空)
········{
············令 C C C D D D中样本最多的分类
············node_child = “输出是 C C C的叶节点”
········}
········else
········{
············node_child = TreeGenerate( D v D_v Dv, A ∖ { a x } A \setminus \{a_x\} A{ax}) (其中\意思是从集合中去掉)
········}
····}
····return node
}

从上面算法可以看出,最关键步骤是: A A A中选择最优划分属性 a ∗ a_* a

💠纯度(purity)

我们希望决策树的分支节点所包含的样本尽可能属于同一类别,即节点的“纯度”越来越高。

💠信息熵(information entropy)

“信息熵” 是度量样本集合纯度最常用的一种指标。
在样本集合 D D D 中,用 p k ( k = 1 , 2 , . . . , ∣ Y ∣ ) p_k(k=1,2,...,|\mathcal{Y}|) pk(k=1,2,...,Y) 表第 k k k 类样本所占的比例。则 D D D 的信息熵定义为:
E n t ( D ) = − ∑ k = 1 ∣ Y ∣ p k log ⁡ 2 p k ( 约定当 p = 0 时, p log ⁡ 2 p = 0 ) Ent(D)=-\sum_{k=1}^{|\mathcal{Y}|} p_k\log_2p_k \\ (约定当 p=0 时,p\log_2p=0) Ent(D)=k=1Ypklog2pk(约定当p=0时,plog2p=0)

E n t ( D ) Ent(D) Ent(D) 越小,则 D D D 的纯度越高

💠信息增益(information gain)

假定离散属性 a a a V V V 个可能的取值 { a 1 , a 2 , . . . , a V } \{a^1,a^2,...,a^V\} {a1,a2,...,aV}

若使用 a a a 对样本集 D D D 进行划分,则会产生 V V V 个分支节点,其中第 v v v 个分支节点包含了 D D D 里所有在 a a a 上取值为 a v a^v av 的样本,这个子集记为 D v D_v Dv

可以算出它们各自的信息熵 E n t ( D v ) Ent(D_v) Ent(Dv)。又因为每个分支节点所包含的样本数目不同,所以再乘算上权重 ∣ D v ∣ ∣ D ∣ \frac{|D^v|}{|D|} DDv

最终,就可以计算出当使用 a a a 对样本集 D D D 进行划分时,所获得的 “信息增益”:
G a i n ( D , a ) = E n t ( D ) − ∑ v = 1 V ∣ D v ∣ ∣ D ∣ E n t ( D v ) Gain(D,a)=Ent(D)-\sum_{v=1}^V\frac{|D^v|}{|D|}Ent(D_v) Gain(D,a)=Ent(D)v=1VDDvEnt(Dv)

信息增益越大,则表示用 a a a 来进行划分所获得的纯度提升越大。所以在之前算法里 “从 A A A中选择最优划分属性 a ∗ a_* a” 的步骤中就可以选择纯度提升最大的 a a a。著名的 ID3 决策树学习算法[Quinlan,1986] 就是以此为准则来选择划分的属性。

💠增益率(gain ratio)

实际上,“信息增益” 的准则对可取值数目较多的属性有偏好。为减少此不利影响,可以使用“增益率”,定义为:
G a i n _ r a i o ( D , a ) = G a i n ( D , a ) I V ( a ) 其中: I V ( a ) = − ∑ v = 1 V ∣ D v ∣ ∣ D ∣ log ⁡ 2 ∣ D v ∣ ∣ D ∣ Gain\_raio(D,a)=\frac{Gain(D,a)}{IV(a)} \\ 其中:IV(a)=-\sum_{v=1}^V\frac{|D^v|}{|D|}\log_2\frac{|D^v|}{|D|} Gain_raio(D,a)=IV(a)Gain(D,a)其中:IV(a)=v=1VDDvlog2DDv

I V ( a ) IV(a) IV(a) 被称为属性 a a a 的“固有值(intrinsic value)”,通常属性取值数目越多( V V V越大)则 I V ( a ) IV(a) IV(a) 越大。

但需要注意,“增益率” 的准则对可能取值数目较少的属性有所偏好。C4.5 算法使用了一个启发式[Quinlan,1993]:先找出信息增益高于平均水平的属性,然后再从中选择增益率最高的。

💠基尼指数(Gini index)

数据集 D D D 的纯度可用“基尼值”来度量:
G i n i ( D ) = ∑ k = 1 ∣ Y ∣ ∑ k ′ ≠ k p k p k ′ = 1 − ∑ k = 1 ∣ Y ∣ p k 2 \begin{aligned} Gini(D) & = \sum_{k=1}^{|\mathcal{Y}|}\sum_{k'\ne k}p_kp_{k'} \\ & = 1- \sum_{k=1}^{|\mathcal{Y}|}{p_k}^2\\ \end{aligned} Gini(D)=k=1Yk=kpkpk=1k=1Ypk2

直观来说 G i n i ( D ) Gini(D) Gini(D) 反映了从数据集 D D D 中随机抽取两个样本,其类别标记不一致的概率。因此 G i n i ( D ) Gini(D) Gini(D) 越小,数据集 D D D 纯度越高。

类似,属性 a a a 的 基尼指数(Gini index) 定义为:
G i n i _ i n d e x ( D , a ) = ∑ v = 1 V ∣ D v ∣ ∣ D ∣ G i n i ( D v ) Gini\_index(D,a)=\sum_{v=1}^V\frac{|D^v|}{|D|}Gini(D_v) Gini_index(D,a)=v=1VDDvGini(Dv)

于是,在侯选属性集合 A A A 中,我们选择划分后基尼系数最小的属性。

💠剪枝(pruning)

决策树学习有时会出现决策树分支过多,也就是 “过拟合” 的情况。
剪枝(pruning)是决策树学习中对付 “过拟合” 的主要手段。

💠预剪枝(prepruning)

在决策树生成过程中,对每个节点在划分前先进行估计,如果不能带来泛化性提升,则停止划分并直接标记为叶节点。

优点:

  • 减少训练开销。

缺点:

  • 欠拟合风险。

💠后剪枝(post-pruning)

先生成一颗完整的决策树,然后自底向上地对非叶节点进行考察。若将该节点对应地子树替换为叶节点可以带来泛化性提升,则替换为叶节点。

优点:

  • 欠拟合风险很小。泛化性能往往优于预剪枝。

缺点:

  • 训练时间要大很多。

💠连续值处理:二分法(bi-partition)

当属性是连续值时,由于可取值的数目不再有限,因此无法再根据这个属性对节点进行划分。
此时可以用 “离散化技术”。最简单的策略是 二分法,C4.5决策树算法中采用了这个机制。

给定样本集 D D D 和连续属性 a a a 。假定 a a a D D D 上出现了 n n n 个不同的取值,将这些值从小到大进行排序,记为 { a 1 , a 2 , . . . , a n } \{a^1,a^2,...,a^n\} {a1,a2,...,an}。基于划分点 t t t 可将 D D D 划分为子集 D t − D_t^- Dt D t + D_t^+ Dt+,分别表示哪些在属性 a a a 上 “不大于 t t t” 和 “大于 t t t”的样本。显然, t t t 在区间 [ a i , a i + 1 ) [a^i,a^{i+1}) [ai,ai+1) 中取任意值的划分结果相同。因此,我们考察的候选划分点集合:
T a = { a i + a i + 1 2 ∣ 1 ⩽ i ⩽ n − 1 } T_a=\{\frac{a^i+a^{i+1}}{2}|1\leqslant i\leqslant n-1\} Ta={2ai+ai+1∣1in1}
随后,就可以像离散属性值一样考察这些划分点,选出最优的划分点对样本集合进行划分了。

需要注意,不同于离散属性,若当前节点划分属性为连续属性,后续节点仍旧可以用这个属性进行划分。

💠缺失值处理

样本的某些属性可能出现缺失,如果简单放弃不完整的样本,显然是对数据信息极大的浪费。

考虑有缺失值的训练样本进行学习,需要解决两个问题:


(问题1)如何选择用于划分的属性?

给定训练集 D D D 和属性 a a a a a a V V V 个可能的取值 { a 1 , a 2 , . . . , a V } \{a^1,a^2,...,a^V\} {a1,a2,...,aV}。分类取值为 ( k = 1 , 2 , . . . , ∣ Y ∣ ) (k=1,2,...,|\mathcal{Y}|) (k=1,2,...,Y)。令:
D ~ \tilde{D} D~ 表示 D D D a a a 上没有缺失值的样本子集。
D ~ v \tilde{D}^v D~v 表示 D ~ \tilde{D} D~ a a a 上取值为 a v a^v av 的子集。
D ~ k \tilde{D}_k D~k 表示 D ~ \tilde{D} D~ 属于 k k k 类的子集。

假定每个样本 x \bold{x} x都有一个权重 ω x \omega_{\bold{x}} ωx。然后定义:
ρ \rho ρ 表示无缺失值样本所占的比例,即: ρ = ∑ x ∈ D ~ ω x ∑ x ∈ D ω x \rho=\frac{\sum_{\bold{x}\in\tilde{D}}\omega_{\bold{x}}}{\sum_{\bold{x}\in D}\omega_{\bold{x}}} ρ=xDωxxD~ωx
p ~ k \tilde{p}_k p~k表示无缺失值样本中第 k k k 类所占的比例,即 p ~ k = ∑ x ∈ D ~ k ω x ∑ x ∈ D ~ ω x \tilde{p}_k=\frac{\sum_{\bold{x}\in\tilde{D}_k}\omega_{\bold{x}}}{\sum_{\bold{x}\in \tilde{D}}\omega_{\bold{x}}} p~k=xD~ωxxD~kωx
r ~ v \tilde{r}_v r~v表示无缺失值样本中在属性 a a a 上取值为 a v a^v av 的样本所占的比例,即 r ~ v = ∑ x ∈ D ~ v ω x ∑ x ∈ D ~ ω x \tilde{r}_v=\frac{\sum_{\bold{x}\in\tilde{D}^v}\omega_{\bold{x}}}{\sum_{\bold{x}\in \tilde{D}}\omega_{\bold{x}}} r~v=xD~ωxxD~vωx

基于上述定义,用属性 a a a 进行划分的信息增益的计算公式推广为:
G a i n ( D , a ) = ρ × G a i n ( D ~ , a ) = ρ × ( E n t ( D ~ ) − ∑ v = 1 V r ~ v E n t ( D ~ v ) ) 其中: E n t ( D ~ v ) = − ∑ k = 1 ∣ Y ∣ p ~ k log ⁡ 2 p ~ k \begin{aligned} Gain(D,a) & = \rho \times Gain(\tilde{D},a) \\ & = \rho \times (Ent(\tilde{D})-\sum_{v=1}^V \tilde{r}_vEnt(\tilde{D}^v))\\ \end{aligned}\\ 其中:Ent(\tilde{D}^v)=-\sum_{k=1}^{|\mathcal{Y}|} \tilde{p}_k\log_2\tilde{p}_k Gain(D,a)=ρ×Gain(D~,a)=ρ×(Ent(D~)v=1Vr~vEnt(D~v))其中:Ent(D~v)=k=1Yp~klog2p~k

接着就可以正常计算出用哪个属性进行划分最好了


(问题2)若样本在该属性上缺失,则应该划分到哪个分支节点?
采用以下逻辑:

  • 假如样本 x \bold{x} x 在属性 a a a 上已知,则正常划分到对应分支节点,权重值保持为 ω x \omega_{\bold{x}} ωx
  • 假如样本 x \bold{x} x 在属性 a a a 上缺失,则将 x \bold{x} x 划分到所有的分支节点,并将 a v a^v av 对应的分支节点中的权重值调整为 r ~ v ⋅ ω x \tilde{r}_v \cdot \omega_{\bold{x}} r~vωx

💠多变量决策树

上面所讨论的都是变量的决策树,也就是每个分支节点都使用一个属性进行划分。

若我们把每个属性视为坐标空间中的一个坐标轴,则 d d d 个属性描述的样本就对应了 d d d 维空间中的一个点。对样本分类意味着在这个空间中寻找不同样本间的分类边界变量的决策树所形成的分类边界的特点是:分类边界是与坐标轴平行的(axis-parallel)。举例:

左图是决策树,右侧是其对应的分类边界:
在这里插入图片描述
但是,当学习任务的真实分类边界 比较复杂时,必须使用很多段划分才能获得较好的近似,如下图:
在这里插入图片描述
其中绿线是真实的分类边界。
此时如果还使用单变量的决策树,则会需要很多分段。可以看到黑线有9段。
但如果使用多变量的决策树,则只需要3段。红线代表使用多变量决策树的分类边界。

在多变量决策树中,每个分支节点不再是针对于一个属性,而是对属性的线性组合进行测试,即每个分支节点都是一个形如 ∑ i = 1 d ω i a i = t \sum_{i=1}^d\omega_ia_i=t i=1dωiai=t 的线性分类器,其中 ω i \omega_i ωi a i a_i ai 的权重, ω i \omega_i ωi t t t 都是学习所得。

这样,对于之前的样本,学习成多变量决策树如左图,对应的分类边界如右图:
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/867908.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Open3D 删除点云中重叠的点(方法二)

目录 一、概述 1.1原理 1.2应用 二、代码实现 三、实现效果 3.1原始点云 3.2处理后点云 3.3数据对比 一、概述 在点云处理中,重叠点(即重复点)可能会对数据分析和处理的结果产生负面影响。因此,删除重叠点是点云预处理中常…

NextJs - SSR渲染解决antd首屏加载CSS样式的闪烁问题

NextJs - SSR渲染解决antd首屏加载CSS样式的闪烁问题 闪烁现状解决方案 闪烁现状 我们写一个非常简单的页面&#xff1a; import { Button } from antdexport default async function Page() {return <><Button typeprimary>AAA</Button></> }NextJs…

《昇思25天学习打卡营第14天|onereal》

第14天学习内容如下&#xff1a; Diffusion扩散模型 本文基于Hugging Face&#xff1a;The Annotated Diffusion Model一文翻译迁移而来&#xff0c;同时参考了由浅入深了解Diffusion Model一文。 本教程在Jupyter Notebook上成功运行。如您下载本文档为Python文件&#xff0c…

张量分解(1)——初探张量

&#x1f345; 写在前面 &#x1f468;‍&#x1f393; 博主介绍&#xff1a;大家好&#xff0c;这里是hyk写算法了吗&#xff0c;一枚致力于学习算法和人工智能领域的小菜鸟。 &#x1f50e;个人主页&#xff1a;主页链接&#xff08;欢迎各位大佬光临指导&#xff09; ⭐️近…

linux系统巡检

通过Shell脚本实现批量Linux服务器巡检-阿里云开发者社区 (aliyun.com) cat sysinfocheck.sh #!/bin/bash os_sys(){ #系统信息 os_typeuname echo "操作系统的类型: $os_type"os_versioncat /etc/redhat-release echo "操作系统的版本号&#xff1a;$os_versio…

探索 IPython 的神秘角落:精通 %z 命令的高效调试技巧

探索 IPython 的神秘角落&#xff1a;精通 %z 命令的高效调试技巧 在 IPython 的强大功能中&#xff0c;%z 命令是一个鲜为人知但极为有用的工具。它允许用户在 IPython 会话中快速地查看或恢复变量&#xff0c;特别是那些在异常发生后丢失的变量。本文将深入探讨 %z 命令的使…

SpEL表达式相关知识点

SpEL表达式 知识点 Spel概述 Spring 表达式&#xff0c;即 Spring Expression Language&#xff0c;简称 SpEL。 那么是什么SpEL表达式呢&#xff1f; SpEL (Spring Expression Language) 是一种在Spring框架中用于处理表达式的语言。SpEL中的表达式可以支持调用bean的方法…

IntelliJ IDEA菜单不见了设置找回方法

通过CtrAltS键按出设置 找到View,然后自定义一个快捷键,然后保存 使用自定义快捷键弹出改界面,点击Main Menu即可

DAS、NAS、SAN常用存储模式的技术与应用对比

一、存储技术 1、存储分类 存储分类根据服务器类型分为&#xff1a;封闭系统的存储和开放系统的存储。 2、封闭和开放系统 封闭系统&#xff1a;主要指大型机等服务器&#xff1b;开放系统&#xff1a;指基于包含麒麟、UNIX、Linux等操作系统的服务器。 3、开放系统的存储 开放…

传感器标定(一)摄像头内参标定

一、使用ROS进行手动标定安装 1、安装 image-view &usb_cam ⽤于驱动相机 sudo apt-get install ros-melodic-image-view sudo apt-get install ros-melodic-usb-cam2、查看系统视频设备 v4l2- ctl -d /dev/video0 --all 查询所有相机具体的参数包括width和height ls /…

FFT剖析

快速傅里叶变换 (fast Fourier transform) xn{x0,x1,…xn-1} (num:N) 旋转因子系数&#xff1a; d2pik/N 旋转因子 wk(n)(cos(dn)isin(dn)) n[0,N-1] y(k) sum(x(n)wk(n),0,N-1) y(k){y(0),y(1),…y(N-1)} 傅里叶级数 x(n)wk(n)的级数是&#xff1a; 1.d2pik/N 这个系数决…

内容监管与自由表达:Facebook的平衡之道

在当今数字化信息社会中&#xff0c;社交媒体平台不仅是人们交流和获取信息的主要渠道&#xff0c;也是自由表达的重要舞台。Facebook&#xff0c;作为全球最大的社交网络平台&#xff0c;连接了数十亿用户&#xff0c;形成了一个丰富多样的信息生态。然而&#xff0c;如何在维…

vue项目中 i18n(vue-i18n) 国际化解决方案,从安装到使用

1、国际化介绍 国际化&#xff08;Internationalization&#xff0c;通常缩写为"i18n"&#xff09;是指设计和开发软件应用程序&#xff0c;使其能够轻松地适应不同的语言、文化和地区的需求。国际化不仅仅涉及将文字翻译成其他语言&#xff0c;还包括调整日期、时间…

数据列表组件-报表

当数据在后端接口查询到&#xff0c;需要在页面展示出来&#xff0c;如果项目有很多report &#xff0c;可以把列表做一个组件 效果如下&#xff1a; js代码&#xff1a; <!DOCTYPE html> <html> <head><meta charset"utf-8" /><title&g…

华为HCIP Datacom H12-821 卷25

1.单选题 Smurf攻击一般使用以下哪种协议 A、TCP B、BGP C、ICMP D、DHCP 正确答案&#xff1a; C 解析&#xff1a; Smurf攻击是一种病毒攻击&#xff0c;以最初发动这种攻击的程序“Smurf”来命名。这种攻击方法结合使用了IP欺骗和ICMP回复方法使大量网络传输充斥目…

中英双语介绍东京的商业核心区域:日本桥(Nihonbashi)

中文版 日本的日本桥&#xff08;Nihonbashi&#xff09; 位置 日本桥位于东京中央区&#xff0c;是东京市中心的重要商业和金融区之一。日本桥的名字来源于这里的同名桥梁“日本桥”&#xff0c;该桥建于江户时代&#xff0c;横跨日本桥川&#xff0c;是当时五街道的起点&a…

作业训练二编程题3. 数的距离差

【问题描述】 给定一组正整数&#xff0c;其中最大值和最小值分别为Max和Min, 其中一个数x到Max和Min的距离差定义为&#xff1a; abs(abs(x-Max)-(x-Min)) 其中abs()为求一个数的绝对值 【输入形式】 包括两行&#xff0c;第一行一个数n&#xff0c;表示第二行有n个正整数…

Linux内核链表使用方法

简介&#xff1a; 链表是linux内核中最简单&#xff0c;同时也是应用最广泛的数据结构。内核中定义的是双向链表。 linux的链表不是将用户数据保存在链表节点中&#xff0c;而是将链表节点保存在用户数据中。linux的链表节点只有2个指针(pre和next)&#xff0c;这样的话&#x…

winget的使用

winget的使用 winget在win11上自带的 1. 为 winget 更换国内源 以管理员身份打开「命令提示符」。 执行以下命令&#xff0c;删除由 Microsoft 维护的官方源&#xff1a; winget source remove winget执行以下命令添加 winget 国内源&#xff1a; winget source add [源名称…

C++循环队列 经典示例

循环队列&#xff08;Circular Queue&#xff09;&#xff0c;又称环形缓冲区&#xff0c;是一种常用的数据结构&#xff0c;特别适用于资源有限的场合&#xff0c;比如操作系统中的任务调度、网络数据缓冲等。循环队列在数组的基础上实现&#xff0c;逻辑上首尾相连&#xff0…