集成学习 | 集成学习思想:Bagging思想

目录

  • 一. Bagging思想
    • 1. Bagging 算法
    • 2. 随机森林(Random Forest)算法

在正文开始之前,我们先来聊一聊什么是集成学习?
集成学习是一种算法思想:将若干个弱学习器分组之后,产生一个新的学习器

	弱学习器指预测误差在50%以下的学习器,其中弱学习器可以是分类器、回归器弱分类器:其分类准确率仅比随机猜测的分类器好一点,因为随机猜测的准确率通常是50%(在二分类问题中)

集成学习的成功在于保证弱分类器的多样性
下面我们来介绍集成学习的三种重要思想:

  • Bagging
  • Boosting
  • Stacking

一. Bagging思想

1. Bagging 算法

Bagging算法又称自举汇聚法

	思想:在原始数据集上通过有放回抽样(bootstrap)的方式,重新选择出S个新数据集通过训练S个新数据集得到S个分类器/回归器的集成技术处理操作:Bagging算法训练出来的模型:在分类问题中,会使用多数投票统计结果在回归问题中,会使用求均值统计结果bagging算法的弱学习器:基本的算法模型,如: Linear、Ridge、Lasso、Logistic、Softmax、ID3、C4.5、CART、SVM、KNN均可

注意:

  1. bagging算法抽取出来的S个数据集是不同的,数据集内有重复样本,且重复样本各不相同;即构造了多个学习器&数据的多样性
  2. bagging算法只有数据不同弱学习器相同
  3. bagging算法在抽样时,每个子集的样本数量必须和原始样本数量一致,因此抽取的子集中存在重复数据
  4. bagging算法在模型训练时,允许存在重复数据

在这里插入图片描述

	结合策略一般为:多数投票(分类)/求均值(回归)

2. 随机森林(Random Forest)算法

随机森林算法在Bagging算法的基础上进行修改后的一种算法

	思想:1. 在原始样本集(n个样本)上通过有放回抽样(bootstrap)的方式,选出n个样本,共m个数据集2. 将抽取出来的子数据集(存在重复数据)进行决策树训练:从抽样采集到的所有属性中,随机选择K个属性从K个属性中选择出最佳分割属性作为当前节点的划分属性按照这种方式来迭代的创建m棵决策树3. 这m个决策树形成随机森林,通过投票表决结果决定数据属于那一类处理操作:Random Forest算法在得到m个决策树形成随机森林后,通过投票表决结果/求均值决定最终数据Random Forest算法的弱学习器:一定是决策树

注意:

  1. Random Forest算法抽取出来的m个数据集是不同的,每个数据集中的随机k个属性是不同的,这就导致构建的决策树也不相同;即构造了多个不同的学习器&数据的多样性
  2. Random Forest算法数据不同弱学习器构造不同
  3. Random Forest算法在抽样时,每个子集的样本数量必须和原始样本数量一致,因此抽取的子集中存在重复数据
  4. Random Forest算法在模型训练时,允许存在重复数据
    在这里插入图片描述

感谢阅读🌼
如果喜欢这篇文章,记得点赞👍和转发🔄哦!
有任何想法或问题,欢迎留言交流💬,我们下次见!
本文相关代码存放位置
    【Bagging思想 代码实现

祝愉快🌟!


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/753461.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

VS Code安装Live Server插件搭建web网页结合内网穿透实现公网访问

文章目录 前言1. 编写MENJA小游戏2. 安装cpolar内网穿透3. 配置MENJA小游戏公网访问地址4. 实现公网访问MENJA小游戏5. 固定MENJA小游戏公网地址 正文开始前给大家推荐个网站,前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默&…

性能测试-Jmeter常用元件基础使用

一、Jmeter元件 #线程组 添加HTTP请求 #配置元件 配置元件内的元件都是用于进行初始化的东西 #监听器 监听器主要是用来获取我们使用取样器发送请求后的响应数据相关信息 #定时器 定时器主要用来控制我们多久后执行该取样器(发送请求) #前置处理器 前置处…

算法学习系列(四十二):最短路模型

目录 引言一、迷宫问题二、武士风度的牛三、抓住那头牛 引言 关于这个最短路问题还是得要好好刷题见题才行啊,不然这个其实模板都是差不多的,就是可能怎么把它转化为 B F S BFS BFS 是个问题,以及能不能想到用也是一个问题,其实…

安卓面试准备汇总

java相关 面试-java基础相关-CSDN博客 android 基础相关 安卓基础面试题-CSDN博客 kotlin相关 android pms,cms,wms相关知识 android fragmework层的知识 项目相关的

【P1957】语句解析

语句解析 题目背景 木有背景…… 题目描述 一串长度不超过 255 255 255 的 PASCAL 语言代码,只有 a , b , c a,b,c a,b,c 三个变量,而且只有赋值语句,赋值只能是一个一位的数字或一个变量,每条赋值语句的格式是 [变量]:[变量…

【Python循环3/5】条件循环语句

目录 导入 条件循环 边界条件 while循环 死循环 while循环与for循环的区别 总结 知识图谱 导入 我们已经学习了如何利用for语句实现代码重复执行的循环结构。通过遍历列表,输出其中的每一个元素。 for循环就像是排队办事,一个个进入,轮…

爬虫逆向实战(35)-MyToken数据(MD5加盐)

一、数据接口分析 主页地址:MyToken 1、抓包 通过抓包可以发现数据接口是/ticker/currencyranklist 2、判断是否有加密参数 请求参数是否加密? 通过查看“载荷”模块可以发现有一个code参数 请求头是否加密? 无 响应是否加密&#xf…

实名制接口-身份核验-PHP 身份证实名认证接口代码

通过身份证实名制,可以确保公民的身份信息得到保障。有效防范各类犯罪行为,如电信诈骗、走私、假冒伪劣等,维护社会秩序和公序良俗,提高社会治安水平。促进信息共享,不同行业和部门之间可以实现信息互通共享&#xff0…

JDBC的概念

一.JDBC概念: 其实JDBC就像是翻译官,就像是你去到国外是不是听不懂当地人再讲什么?Java就相当于是你,数据库就是本地人,然后JDBC就是那个翻译官,它提供了一套标准的方法和工具,让Java程序可以与…

HarmonyOS(鸿蒙)快速入门

一:下载开发工具 鸿蒙的开发工具叫DevEco 下载点击 其他部分都一直next 就行,这个页面出现的install 建议都点击install 然后单独选择安装目录 可能存在的问题 就是之前安装nodejs(比如自己开发web或者RN等情况)版本低 等情况 所以建议你单独安装一次 …

string的使用和模拟实现| 细致到strcpy ,strstr,strcmp都不放过

string的使用和模拟实现 string的成员变量string的构造方法用法无参的构造方法的实现全缺省的构造参数的实现 strcpy的模拟实现为什么这里的_size要1?为什么这里是默认传空字符串? 赋值运算符重载 析构函数遍历字符串operator[]使用传统c语言字符串下标遍历的缺点 …

【820复试】C语言题目错题

文章目录 1.若有代码段2.有以下语句定义3.算式 3<<2|3 的结果是&#xff08;&#xff09;——15 【重要】4.下面有关C的类和C里面的struct的描述&#xff0c;正确的有&#xff1f; ABCD5.以下叙述中正确的是&#xff08;&#xff09; D6.若有定义&#xff1a;char s\[3][…

【Linux系统编程】进程程序替换

介绍&#xff1a; 进程程序替换是指将一个进程中正在运行的程序替换为另一个全新的程序的过程&#xff0c;但替换不是创建新进程&#xff0c;只是将对应程序的代码和数据进行替换。具体来说&#xff0c;这个替换过程涉及将磁盘中的新程序加载到内存结构中&#xff0c;并重新建立…

防火墙常用功能配置

防火墙&#xff1a;为了限制不同区域之间的流量通信。默认有一条拒绝所有的策略。 现在的防火墙主要作用&#xff1a;是区域隔离和访问控制。 安全防护是核心特性 路由器&#xff1a;ACL列表&#xff0c;控制流量 入侵防御&#xff1a;网络攻击 文件过滤&#xff0c;内容过滤&…

登高作业安全绳佩戴识别系统---豌豆云

登高作业安全绳佩戴识别系统基于AI人工智能机器视觉分析识别技术&#xff0c;登高作业安全绳佩戴识别系统通过安装于现场的监控摄像头。 实时检测高空作业工作人员的安全绳佩戴情况。一旦系统检测到高空作业人员未佩戴安全绳或安全带&#xff0c;它会立即启动抓拍功能。 将违…

【数学】第十三届蓝桥杯省赛C++ A组/研究生组《爬树的甲壳虫》(C++)

【题目描述】 有一只甲壳虫想要爬上一棵高度为 n 的树&#xff0c;它一开始位于树根&#xff0c;高度为 0&#xff0c;当它尝试从高度 i−1 爬到高度为 i 的位置时有 Pi 的概率会掉回树根&#xff0c;求它从树根爬到树顶时&#xff0c;经过的时间的期望值是多少。 【输入格式…

电脑里的图片杂乱无章怎么办?使用汇帮批量重命名一键帮你解决 大量图片如何批量重命名?

当我们面临大量的图片需要重命名时&#xff0c;这无疑是一项繁琐而耗时的任务。然而&#xff0c;通过一些有效的方法和工具&#xff0c;我们可以使这个过程变得更加高效和轻松。以下介绍的这款汇帮批量重命名软件&#xff0c;能够帮助您有效地重命名大量的图片。 想要快速的进…

git checkout不同分支时,为啥会把当前分支的修改内容也带到新分支里面?

git checkout不同分支时&#xff0c;为啥会把当前分支的修改内容也带到新分支里面&#xff1f; 当你在Git中从一个分支切换到另一个分支时&#xff0c;如果没有先将当前分支未提交的改动暂存或提交&#xff0c;这些改动会被带到新分支。这是因为Git的工作目录是共享的&#xf…

【将一个数指定位上的数变为0,再求和】

判断数a的奇偶性&#xff0c;如果是奇数&#xff0c;则把数a中的偶数位全部改成0&#xff1b;如果是偶数&#xff0c;则把数a中的奇数位全部改成0 例如&#xff1a;12211是奇数&#xff0c;修改后就变成了10201&#xff1b;4212是偶数&#xff0c;修改后就变成了4010 现在给你…

C++容器适配器与stack,queue,priority_queue(优先级队列)的实现以及仿函数(函数对象)与deque的简单介绍

&#x1f389;个人名片&#xff1a; &#x1f43c;作者简介&#xff1a;一名乐于分享在学习道路上收获的大二在校生 &#x1f648;个人主页&#x1f389;&#xff1a;GOTXX &#x1f43c;个人WeChat&#xff1a;ILXOXVJE &#x1f43c;本文由GOTXX原创&#xff0c;首发CSDN&…