决策树概念

图例

在这里插入图片描述

概念

决策树基本上就是对经验的总结

决策树的构成,分为两个阶段。构造剪枝

构造

概念

构造就是生成一颗完整的决策树。构造的过程就是选择什么属性作为节点的过程

构造过程,会存在3种节点

  • 根节点:就是树的最顶端,最开始的那个节点。在上图中,“天气”就是一个根节点
  • 内部节点: 就是树中间的那些节点。比如说“温度”、“湿度”、“刮风”
  • 叶节点: 就是树最底部的节点,也就是决策结果

问题

在构造过程,要解决3个重要的问题

  • 选择那些属性作为根节点
  • 选择那些属性作为子节点
  • 什么时候停止并得到目标状态,即叶子节点

如果解决节点属性构造问题

纯度、信息熵、信息增益

决策树的构造过程理解成为寻找纯净划分的过程。纯度换一种方式来解释就是让目标变量的分歧最小

剪枝

概念

剪枝就是给决策树瘦身,是为防止过拟合(Overfitting)现象的发生

欠拟合&&过拟合

在这里插入图片描述

欠拟合,和过拟合就好比是下面这张图中的第一个和第三个情况一样

造成过拟合的原因之一就是因为训练集中样本量较小

预剪枝

预剪枝是在决策树构造时就进行剪枝

方法是在构造的过程中对节点进行评估,如果对某个节点进行划分,在验证集中不能带来准确性的提升

那么对这个节点进行划分就没有意义,这时就会把当前节点作为叶节点,不对其进行划分

后剪枝

后剪枝就是在生成决策树之后再进行剪枝,通常会从决策树的叶节点开始,逐层向上对每个节点进行评估

如果剪掉这个节点子树,与保留该节点子树在分类准确性上差别不大,或者剪掉该节点子树,能在验证集中带来准确性的提升,那么就可以把该节点子树进行剪枝

方法是:用这个节点子树的叶子节点来替代该节点,类标记为这个节点子树中最频繁的那个类

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/28222.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

WPF/C#:异常处理

什么是异常? 在C#中,异常是在程序执行过程中发生的特殊情况,例如尝试除以零、访问不存在的文件、网络连接中断等。这些情况会中断程序的正常流程。 当C#程序中发生这种特殊情况时,会创建一个异常对象并将其抛出。这个异常对象包…

脑机接口,Meta裁50+高管,大模型文本压缩处理,大模型与推荐系统,Luma AI视频工具亮相

更多内容: https://agifun.love 智源社区 北京线下:基于脑机接口的视觉重建前沿进展丨周六直播脑机接口读书会 导语 人类70%以上的感知是通过视觉完成的,且有超过1/3的脑组织参与视觉相关的信息处理,因此视觉是极其重要的感知功…

21.2 文件-列出目录、复制文件、删除文件、配置文件

1. 列出目录 io/ioutil包通过ReadDir函数提供了访问目录的功能。该函数接受一个字符串形式的目录路径参数,返回该目录下按名称字典序排列的文件子目录列表。 entries, err : ioutil.ReadDir("C:\\") entries中都是FileInfo类型变量 文件子目录列表中…

华为云CodeArts API:API管理一体化平台 5月新特性上线啦!

CodeArts API是华为云API全生命周期管理一体化解决方案平台,支持开发者高效实现API设计、API开发、API测试、API托管、API运维、API变现的一站式体验。 通过以API契约为锚点,CodeArts API保证API各阶段数据高度一致,为开发者提供友好易用的A…

FreeRTOS队列(queue)

队列(queue)可以用于"任务到任务"、 "任务到中断"、 "中断到任务"直接传输信息。 1、队列的特性 1、1常规操作 队列的简化操如下图所示,从此图可知: 队列中可以包含若干数据:队列中有若干项,这…

【C++】实现学生管理系统(完整版)

💕💕💕大家好,这是作业侠系列之C实现学生管理系统,还是那句话,大家不想cv或者cv了跑不起来,三连后都可以来找我要源码,私信或评论留下你的邮箱即可。有任何问题有可以私聊我,大家觉得…

YOLOv10涨点改进SPPF创新结构,重新设计全局平均池化层和全局最大池化层,增强全局视角信息和不同尺度大小的特征

本文改进:SPPF_improve利用全局平均池化层和全局最大池化层,加入一些全局背景信息和边缘信息,从而获取全局视角信息并减轻不同尺度大小所带来的影响,强烈推荐,适合直接使用,paper创新级。 目录 1,YOLOv10介绍 1.1 C2fUIB介绍 1.2 PSA介绍 1.3 SCDown 2.SPP &SP…

TSP:人工原生动物优化器(APO)求解旅行商问题TSP(可以更改数据),MATLAB代码

一、旅行商问题介绍 二、人工原生动物优化算法求解TSP 2.1算法介绍 人工原生动物优化器(Artificial Protozoa Optimizer ,APO)由Xiaopeng Wang等人于2024年提出,其灵感来自自然界中的原生动物。APO 模拟了原生动物的觅食、休眠和…

Python合并文件(dat、mdf、mf4)

天行健,君子以自强不息;地势坤,君子以厚德载物。 每个人都有惰性,但不断学习是好好生活的根本,共勉! 文章均为学习整理笔记,分享记录为主,如有错误请指正,共同学习进步。…

Nginx负载均衡之模块

1.服务器配置指令 Nginx 负载均衡是由代理模块和上游(upstream)模块共同实现的,Nginx 通过代理模块的反向代理功能将用户请求转发到上游服务器组,上游模块通过指定的负载均衡策略及相关的参数配置将用户请求转发到目标服务器上。上…

数据库回表及优化方法(附示例)

数据库回表及优化方法 什么是数据库回表如何优化回表1. 使用覆盖索引示例: 2. 减少查询列示例: 3. 适当增加索引示例: 4. 优化查询语句示例: 示例:优化回表的具体案例原始查询及索引:优化后的索引&#xff…

ThinkPHP 5.1.X 反序列化漏洞:深入分析与利用技巧

在Web应用开发中,框架的安全性至关重要。ThinkPHP作为广泛使用的PHP开发框架,其版本5.1.X中存在一个反序列化漏洞,允许攻击者执行任意代码。本文将深入分析该漏洞的原理、利用方法,并提供相应的防护措施。 漏洞背景 ThinkPHP 5.…

【three.js】设置canvas画布背景透明

通过Three.js渲染一个模型的时候,不希望canvas画布有背景颜色,也就是canvas画布完全透明,可以透过canvas画布看到画布后面叠加的HTML元素图文,呈现出来一种三维模型悬浮在网页上面的效果。 比如我们现在的模型背景是黑色的&#…

spring框架(SSM)

Spring Framework系统架构 Spring框架是一个开源的企业级Java应用程序框架,它为开发Java应用程序提供了一个全方位的解决方案。Spring的核心优势在于它的分层架构,这使得开发者可以灵活选择使用哪些模块而无需引入不需要的依赖。下面是Spring框架的一些关…

【每天学会一个渗透测试工具】AWVS安装及使用指南

🌝博客主页:泥菩萨 💖专栏:Linux探索之旅 | 网络安全的神秘世界 | 专接本 | 每天学会一个渗透测试工具 ✨AWVS介绍 是应用漏洞扫描工具 💦使用docker安装 docker pull dockermi3aka/awvs启动镜像 docker run -dit …

数据采集项目1-用户行为数据同步

环境准备 linux配置、克隆103和104、编写集群分发脚本、ssh无密码登录配置、jdk安装、数据模拟集群日志数据输出脚本、xcall脚本、安装hadoop、zk安装、kafka安装、flume安装、mysql安装、maxwell安装、datax安装、hive安装 用户行为数据同步-总的数据流程图 第一层flume 数据…

Go基础编程 - 07 - 字典(map)及其约束

字典(map) 下一篇:结构体1. 声明2. nil 值字典3. 判断某个键是否存在4. 遍历5. delete() 删除键值对6. 约束7. 扩展 上一篇:指针 下一篇:结构体 map 是一种无序的基于 key-value 的数据结构,Go 语言中的 …

快速使用MetInfo搭建自己的官网

最近一直在找怎么样的开源项目可以用来搭建官网,不仅是个人官网还是企业官网,我发现使用MetInfo搭建官网非常适合,整体的步骤可以归纳为以下几步,我也一并描述清晰和准确: 准备域名和主机: 注册一个属于自…

JavaScript算法实现dfs查找省市区路径

需求 存在如下数组,实现一个算法通过输入区名,返回省->市->区格式的路径,例如输入西湖区,返回浙江省->杭州市->西湖区。 // 定义省市区的嵌套数组 const data [{name: "浙江省",children: [{name: "…

【百度智能体】零代码创建职场高情商话术助手智能体

一、前言 作为一个程序猿,工科男思维,走上职场后,总会觉得自己不会处理人际关系,容易背锅说错话,这时候如果有个助手能够时时刻刻提醒自己该如何说话如何做事情就好了。 而我们现在可以通过百度文心智能体平台构建各…