《统计学习方法:李航》笔记 从原理到实现(基于python)-- 第5章 决策树

文章目录

  • 第5章 决策树
    • 5.1 决策树模型与学习
      • 5.1.1 决策树模型
      • 5.1.2 决策树与if-then规则
      • 5.1.3 决策树与条件概率分布
      • 5.1.4 决策树学习
    • 5.2 特征选择
      • 5.2.1 特征选择问题
      • 5.2.2 信息增益
      • 5.2.3 信息增益比
      • 5.3.1 ID3算法
      • 5.3.2 C4.5的生成算法
    • 5.4 决策树的剪枝
    • 5.5 CART算法
      • 5.5.1 CART生成
      • 5.5.2 CART剪枝

《统计学习方法:李航》笔记 从原理到实现(基于python)-- 第3章 k邻近邻法
《统计学习方法:李航》笔记 从原理到实现(基于python)-- 第1章 统计学习方法概论
《统计学习方法:李航》笔记 从原理到实现(基于python)-- 第 2章感知机
《统计学习方法:李航》笔记 从原理到实现(基于python)-- 第3章 k邻近邻法
《统计学习方法:李航》笔记 从原理到实现(基于python)-- 第4章 朴素贝叶斯法

我算是有点基础的(有过深度学习和机器学的项目经验),但也是半路出家,无论是学Python还是深度学习,都是从问题出发,边查边做,没有系统的学过相关的知识,这样的好处是入门快(如果想快速入门,大家也可以试试,直接上手项目,从小项目开始),但也存在一个严重的问题就是,很多东西一知半解,容易走进死胡同出不来(感觉有点像陷入局部最优解,找不到出路),所以打算系统的学习几本口碑比较不错的书籍。
  书籍选择: 当然,机器学习相关的书籍有很多,很多英文版的神书,据说读英文版的书会更好,奈何英文不太好,比较难啃。国内也有很多书,周志华老师的“西瓜书”我也有了解过,看了前几章,个人感觉他肯能对初学者更友好一点,讲述的非常清楚,有很多描述性的内容。对比下来,更喜欢《统计学习方法》,毕竟能坚持看完才最重要。
  笔记内容: 笔记内容尽量省去了公式推导的部分,一方面latex编辑太费时间了,另一方面,我觉得公式一定要自己推到一边才有用(最好是手写)。尽量保留所有标题,但内容会有删减,通过标黑和列表的形式突出重点内容,要特意说一下,标灰的部分大家最好读一下(这部分是我觉得比较繁琐,但又不想删掉的部分)。
  代码实现: 最后是本章内容的实践,如果想要对应的.ipynb文件,可以留言

第5章 决策树

  决策树(decision tree)是一种基本的分类与回归方法。本章主要讨论用于分类的决策树。

  决策树模型呈树形结构,在分类问题中,表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合,也可以认为是定义在特征空间与类空间上的条件概率分布。

  其主要优点是模型具有可读性,分类速度快

  • 学习时,利用训练数据,根据损失函数最小化的原则建立决策树模型。
  • 预测时,对新的数据,利用决策树模型进行分类。

  决策树学习通常包括3个步骤:特征选择决策树的生成决策树的修剪

5.1 决策树模型与学习

5.1.1 决策树模型

  定义5.1(决策树) :分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点(node)和有向边(directed edge)组成。结点有两种类型:内部结点(internal node)和叶结点(leaf node)。

  • 内部结点表示一个特征或属性
  • 叶结点表示一个

  用决策树分类,从根结点开始,对实例的某一特征进行测试,根据测试结果,将实例分配到其子结点;这时,每一个子结点对应着该特征的一个取值。

  如此递归地对实例进行测试并分配,直至达到叶结点。最后将实例分到叶结点的类中。

5.1.2 决策树与if-then规则

  可以将决策树看成一个if-then规则的集合。

  决策树转换成if-then规则:由决策树的根结点叶结点的每一条路径构建一条规则;

  • 路径上内部结点特征对应着规则的条件
  • 叶结点的类对应着规则的结论

  决策树的路径或其对应的if-then规则集合具有一个重要的性质:互斥并且完备

(这就是说,每一个实例都被一条路径或一条规则所覆盖,而且只被一条路径或一条规则所覆盖。这里所谓覆盖是指实例的特征与路径上的特征一致或实例满足规则的条件。)

5.1.3 决策树与条件概率分布

特征空间---划分
  决策树还表示给定特征条件下类的条件概率分布。这一条件概率分布定义在特征空间的一个划分(partition)上。将特征空间划分为互不相交的单元(cell)或区域(region),并在每个单元定义一个类的概率分布就构成了一个条件概率分布。

路径--划分单元
  决策树的一条路径对应于划分中的一个单元。决策树所表示的条件概率分布各个单元给定条件下类的条件概率分布组成。

条件概率分布
  假设 X X X为表示特征的随机变量,Y为表示的随机变量,那么这个条件概率分布可以表示为 P ( Y ∣ X ) P(Y|X) P(YX)

  X取值于给定划分下单元的集合,Y取值于类的集合。

条件概率--类
  各叶结点(单元)上的条件概率往往偏向某一个类,即属于某一类的概率较大。决策树分类时将该结点的实例强行分到条件概率大的那一类去。

决策树:

  • 图5.2(a)示意地表示了特征空间的一个划分。图中的大正方形表示特征空间。这个大正方形被若干个小矩形分割,每个小矩形表示一个单元。特征空间划分上的单元构成了一个集合,X取值为单元的集合。
  • 为简单起见,假设只有两类:正类和负类,即Y取值为+1和–1。小矩形中的数字表示单元的类
  • 图5.2(b)示意地表示特征空间划分确定时,特征(单元)给定条件下类的条件概率分布
  • 图5.2(b)中条件概率分布对应于图5.2(a)的划分。
  • 当某个单元 c c c(每个单元定义一个类的概率分布)的条件概率满足 P ( Y = + 1 ∣ X = c ) > 0.5 P(Y=+1|X=c)>0.5 P(Y+1∣Xc)>0.5时,则认为这个单元属于正类,即落在这个单元的实例都被视为正例。
  • 图5.2(c)为对应于图5.2(b)中条件概率分布的决策树。

在这里插入图片描述

5.1.4 决策树学习

决策树学习—数据集

  假设给定训练数据集 D = ( ( x 1 , y 1 ) , ( x 2 , y 2 ) … . , ( x N , y N ) ) D=((x_1,y_1),(x_2,y_2)….,(x_N,y_N)) D=((x1,y1),(x2,y2).,(xN,yN))

决策树学习—目的

  其中, x i = ( x i 1 , x i 2 , . . . . . . , x i n ) T x_i=(x_i^1,x_i^2,......,x_i^n)^T xi=(xi1,xi2,......,xin)T为输入实例(特征向量),n为特征个数 Y i ∈ ( 1 , ⋅ ⋅ K ) Y_i \in ({1 ,·· K} ) Yi(1⋅⋅K)为类标记, N N N 为样本容量。决策树学习的目标是根据给定的训练数据集构建一个决策树模型,使它能够对实例进行正确的分类。

决策树学习—本质
  决策树学习本质上是从训练数据集中归纳出一组分类规则。(与训练数据集不相矛盾的决策树(即能对训练数据进行正确分类的决策树)可能有多个,也可能一个也没有。)

  我们需要的是一个与训练数据矛盾较小的决策树,同时具有很好的泛化能力。从另一个角度看,决策树学习是由训练数据集估计条件概率模型。基于特征空间划分的类的条件概率模型有无穷多个。我们选择的条件概率模型应该不仅对训练数据有很好的拟合,而且对未知数据有很好的预测。

决策树学习—损失函数

  决策树学习用损失函数表示这一目标。如下所述,决策树学习的损失函数通常是正则化的极大似然函数。决策树学习的策略以损失函数为目标函数的最小化。

决策树学习—学习问题
  当损失函数确定以后, 学习问题就变为在损失函数意义下选择最优决策树**的问题。因为从所有可能的决策树中选取最优决策树是NP完全问题,所以现实中决策树学习算法通常采用启发式方法,近似求解这一最优化问题。这样得到的决策树是次最优(suboptimal)的。

决策树学习—构建决策树过程

  决策树学习的算法通常是一个递归地选择最优特征,并根据该特征对训练数据进行分割,使得对各个子数据集有一个最好的分类的过程。这一过程对应着对特征空间的划分,也对应着决策树的构建。

开始,构建根结点:

  1. 将所有训练数据都放在根结点。
  2. 选择一个最优特征,按照这一特征将训练数据集分割成子集,使得各个子集有一个在当前条件下最好的分类。
  3. 如果这些子集已经能够被基本正确分类,那么构建叶结点,并将这些子集分到所对应的叶结点中去;
  4. 如果还有子集不能被基本正确分类,那么就对这些子集选择新的最优特征,继续对其进行分割,构建相应的结点。
  5. 如此递归地进行下去,直至所有训练数据子集被基本正确分类,或者没有合适的特征为止。
  6. 最后每个子集都被分到叶结点上,即都有了明确的类。这就生成了一棵决策树。

决策树学习—剪枝

剪枝原因

  以上方法生成的决策树可能对训练数据有很好的分类能力,但对未知的测试数据却未必有很好的分类能力,即可能发生过拟合现象。

剪枝过程

  我们需要对已生成的树自下而上进行剪枝,将树变得更简单,从而使它具有更好的泛化能力。具体地,就是去掉过于细分的叶结点,使其回退到父结点,甚至更高的结点,然后将父结点或更高的结点改为新的叶结点。

  如果特征数量很多,也可以在决策树学习开始的时候,对特征进行选择,只留下对训练数据有足够分类能力的特征。

决策树学习—模型

  可以看出,决策树学习算法包含特征选择决策树的生成决策树的剪枝过程。由于决策树表示一个条件概率分布,所以深浅不同的决策树对应着不同复杂度的概率模型。

  • 决策树的生成对应于模型的局部选择,
  • 决策树的剪枝对应于模型的全局选择。

  决策树的生成只考虑局部最优,相对地,决策树的剪枝则考虑全局最优。

  决策树学习常用的算法有ID3、C4.5与CART,下面结合这些算法分别叙述决策树学习的特征选择、决策树的生成和剪枝过程。

5.2 特征选择

5.2.1 特征选择问题

特征选择—--什么是具有分类能力的特征
  特征选择在于选取对训练数据具有分类能力的特征。这样可以提高决策树学习的效率。(如果利用一个特征进行分类的结果与随机分类的结果没有很大差别,则称这个特征是没有分类能力的。)

特征选择—--特征选择的准则

  经验上扔掉这样的特征对决策树学习的精度影响不大。通常特征选择的准则信息增益或信息增益比。

首先通过一个例子来说明特征选择问题。
例5.1
[1] 表5.1是一个由15个样本组成的贷款申请训练数据。数据包括贷款申请人的4个特征(属性):

  • 第1个特征是年龄,有3个可能值:青年,中年,老年;
  • 第2个特征是有工作,有2个可能值:是,否;
  • 第3个特征是有自己的房子,有2个可能值:是,否;
  • 第4个特征是信贷情况,有3个可能值:非常好,好,一般。

表的最后一列是类别,

  • 是否同意贷款,取2个值:是,否。

  特征选择是决定用哪个特征划分特征空间 直观上,如果 个特征具有更好的分类能力,或者说,按照这个特征将训练数据集分割成子集,使得各个子集当前条件下有最好的分类,那么就更应该选择这个特征。信息增益 Cinformation gain) 就能够很好地表示这 直观的准则。

5.2.2 信息增益

  为了便于说明,先给出熵与条件熵的定义。在信息论与概率统计中,熵(entropy) 是表示随机变量不确定性的度量。
------熵-------
  设X是一个取有限个值的离散随机变量,其概率分布为:

P ( X = x i ) = p i P(X=x_i)=p_i P(X=xi)=pi

  则随机变量X的定义为:

H ( X ) = − ∑ i = 1 n p i l o g ( p i ) ( 5.1 ) H(X)=-\sum_{i=1}^np_ilog(p_i) (5.1) H(X)=i=1npilog(pi)(5.1)

  在式(5.1)中,若 p i = 0 p_i=0 pi0,则定义 0 l o g 0 = 0 0log0=0 0log00

  通常,式(5.1)中的对数以2为底或以e为底(自然对数),这时熵的单位分别称作比特(bit)纳特(nat)

  由定义可知,熵只依赖于X的分布,而与X的取值无关,所以也可将X的熵记作 H ( p ) H(p) H(p),即

H ( p ) = − ∑ i = 1 n p i l o g ( p i ) ( 5.1 ) H(p)=-\sum_{i=1}^np_ilog(p_i) (5.1) H(p)=i=1npilog(pi)(5.1)

  越大,随机变量的不确定性就越大。

------条件熵-------

  条件熵 H ( Y ∣ X ) H(Y|X) H(YX)表示在已知随机变量 X X X的条件下随机变量 Y Y Y不确定性

  随机变量 X X X给定的条件下随机变量 Y Y Y条件熵(conditional entropy)H(Y|X),定义为 X X X给定条件下 Y Y Y条件概率分布的熵对X的数学期望

H ( Y ∣ X ) = ∑ i = 1 n H ( Y ∣ X = x i ) H(Y|X)=\sum_{i=1}^nH(Y|X=x_i) H(YX)=i=1nH(YX=xi)
------经验熵-------

  当熵和条件熵中的概率由数据估计(特别是极大似然估计)得到时,所对应的与条件熵分别称为 经验熵(empirical entropy)和经验条件熵(empirical conditional entropy)。

------信息增益-------

  此时,如果有0概率,令0log0=0。信息增益(information gain)表示得知特征X的信息而使得类Y的信息的不确定性减少的程度
在这里插入图片描述
------互信息-------

  一般地, H ( Y ) H(Y) H(Y)与条件熵 H ( Y ∣ X ) H(Y|X) H(YX)之差称为**互信息**(mutual information)。

  决策树学习中的信息增益等价于训练数据集中类与特征

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/663172.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

20240202在Ubuntu20.04.6下使用whisper.cpp的CPU模式

20240202在Ubuntu20.04.6下使用whisper.cpp的CPU模式 2024/2/2 14:15 rootrootrootroot-X99-Turbo:~/whisper.cpp$ ./main -l zh -osrt -m models/ggml-medium.bin chs.wav 在纯CPU模式下,使用medium中等模型,7分钟的中文视频需要851829.69 ms&#xf…

常见的图形化编程工具都有什么

图形化编程是一种通过可视化界面和模块化组件来进行程序设计的方法,它使得编程更加直观和易于理解,尤其适合初学者和儿童学习编程。在这篇文章中,6547网题库将介绍图形化编程的基本概念、优势以及一些常见的图形化编程工具。 一、图形化编程的…

CAD-autolisp(三)——文件、对话框

目录 一、文件操作1.1 写文件1.2 读文件 二、对话框DCL2.1 初识对话框2.2 常用对话框界面2.2.1 复选框、列表框2.2.2 下拉框2.2.3 文字输入框、单选点框 2.3 Lisp对dcl的驱动2.4 对话框按钮实现拾取2.5 对话框加载图片2.5.1 幻灯片图片制作2.5.1 代码部分 一、文件操作 1.1 写…

密钥加密问题

C参考代码&#xff1a; #include<iostream> #include<map> #include<vector> using namespace std; int main() {vector<char> x;vector<char> y;map<char,char> word;char ch getchar();getchar();string str;getline(cin,str);for(cha…

GmSSL - GmSSL的编译、安装和命令行基本指令

文章目录 Pre下载源代码(zip)编译与安装SM4加密解密SM3摘要SM2签名及验签SM2加密及解密生成SM2根证书rootcakey.pem及CA证书cakey.pem使用CA证书签发签名证书和加密证书将签名证书和ca证书合并为服务端证书certs.pem&#xff0c;并验证查看证书内容&#xff1a; Pre Java - 一…

JDK版本如何在IDEA中切换

JDK版本在IDEA中切换 一、项目结构设置 1.Platform——Settings 项目结构---SDKS 2.Project——SDK 3.Modules——SDK——Sources 4.Modules——SDK——Dependencies 二、设置--编译--字节码版本 Settings——Build,——Java Compiler

【Servlet】——Servlet API 详解

个人主页&#xff1a;兜里有颗棉花糖 欢迎 点赞&#x1f44d; 收藏✨ 留言✉ 加关注&#x1f493;本文由 兜里有颗棉花糖 原创 收录于专栏【Servlet】 本专栏旨在分享学习Servlet的一点学习心得&#xff0c;欢迎大家在评论区交流讨论&#x1f48c; 目录 一、HttpServlet二、Htt…

spring boot yaml文件中如何设置duration对象值

Spring Boot对表示持续时间有专门的支持。如果您公开java.time.Duration属性&#xff0c;则应用程序对应Duration类型的属性有以下格式可用: long类型的常规表示(使用毫秒作为默认单位&#xff0c;除非指定了DurationUnit)java.time.Duration 使用的标准ISO-8601格式其中值和单…

鸿蒙ArkUI日期选择组件

鸿蒙ArkUI日期选择组件&#xff0c;基于基础组件进行的二次封装的日期选择组件&#xff0c;快速实现日期选择。 /*** 日期*/ Component export default struct DiygwDate{//绑定的值Link Watch(onValue) value:string;// 隐藏值State valueField: string value;// 显示值Sta…

6+单基因+单细胞+实验,干湿结合是生信分析发文最真诚的必杀技

今天给同学们分享一篇生信文章“CXCR4 expression is associated with proneural-to-mesenchymal transition in glioblastoma”&#xff0c;这篇文章发表在Int J Cancer期刊上&#xff0c;影响因子为6.4。 结果解读&#xff1a; CXCR4表达与PN GBM的存活和MES标记物的表达相关…

Echarts+Vue 首页大屏静态示例Demo 第三版

效果图: 源码: <template><div class="content bg" style="height: 100vh;overflow-y: auto" :class="{ fullscreen-container: isFullScreen }"><div class="reaDiv" style="height: 10vh"><div…

MySQL 5.7.36安装操作

接上文提示&#xff1a; 【Config Type】选项用于设置服务器的类型。单击该选项右侧的下三角按钮&#xff0c;即可看到 3个选项&#xff0c;如图10所示。 Development Machine&#xff08;开发者机器&#xff09;&#xff1a;代表典型的个人桌面工作站。假定机器上运行着多个…

4.java中的输入输出/输入中的next和nextLine区别问题

&#xff08;笔试会经常让我们自己去处理输入输出&#xff09; 一.输出到控制台 println 输出的内容自带 \n&#xff08;换行&#xff09; print 不带 \n printf 的格式化输出方式和 C 语言的 printf 是基本一致的. String msg "Hello, World!";System.out.print(m…

Transformer 自然语言处理(四)

原文&#xff1a;Natural Language Processing with Transformers 译者&#xff1a;飞龙 协议&#xff1a;CC BY-NC-SA 4.0 第十章&#xff1a;从头开始训练变换器 在本书的开头段落中&#xff0c;我们提到了一个名为 GitHub Copilot 的复杂应用&#xff0c;它使用类似 GPT 的…

前缀和 差分

差分和前缀和都是算法里边比较重要的知识点&#xff0c;不过学习的难度并不高&#xff0c;这篇文章会讲解相关的内容。 1. 前缀和怎么玩 1&#xff09;一维前缀和 在该数之前&#xff0c;包括该数的所有数之和&#xff0c;有点类似高中学的数列的前n项和Sn。 2&#xff09;二维…

Spring框架——主流框架

文章目录 Spring(轻量级容器框架)Spring 学习的核心内容-一图胜千言IOC 控制反转 的开发模式Spring快速入门Spring容器剖析手动开发- 简单的 Spring 基于 XML 配置的程序课堂练习 Spring 管理 Bean-IOCSpring 配置/管理 bean 介绍Bean 管理包括两方面: Bean 配置方式基于 xml 文…

Unity DOTween插件常用方法(二)

文章目录 1.3 动画设置1.4 动画队列 Sequence1.5 动画回调函数1.6 等待函数&#xff08;协程中使用&#xff09; 1.3 动画设置 SetLoops 设置循环动画&#xff1b; 参数&#xff1a; loops&#xff1a;指定循环的次数&#xff0c;设置为 -1 表示无限循环&#xff1b; loopType…

洛谷p1644跳马问题

跳马问题 题目背景 在爱与愁的故事第一弹第三章出来前先练练四道基本的回溯/搜索题吧…… 题目描述 中国象棋半张棋盘如图 1 1 1 所示。马自左下角 ( 0 , 0 ) (0,0) (0,0) 向右上角 ( m , n ) (m,n) (m,n) 跳。规定只能往右跳&#xff0c;不准往左跳。比如图 1 1 1 中所…

Windows篇|连接共享文件夹映射驱动器教程

前言 昨天给小伙伴们分享了如何设置Windows共享文件夹的教程 超简单设置Windows共享文件夹,传输文件无烦恼 A电脑设置完共享文件夹之后,只要在同一局域网下,所有的电子设备都可以连接访问A电脑的共享文件夹里的内容。 这样就省去了U盘传输的麻烦,只要A电脑开着机,文件放入…

基于SpringBoot+Vue的校园资料分享平台(V2.0)

博主介绍&#xff1a;✌程序员徐师兄、7年大厂程序员经历。全网粉丝12w、csdn博客专家、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ &#x1f345;文末获取源码联系&#x1f345; &#x1f447;&#x1f3fb; 精彩专栏推荐订阅&#x1f447;…