机器学习(五) -- 监督学习(4) -- 集成学习方法-随机森林

系列文章目录及链接

上篇:机器学习(五) -- 监督学习(3) -- 决策树
下篇:机器学习(五) -- 监督学习(5) -- 线性回归1


前言

tips:标题前有“***”的内容为补充内容,是给好奇心重的宝宝看的,可自行跳过。文章内容被“文章内容”删除线标记的,也可以自行跳过。“!!!”一般需要特别注意或者容易出错的地方。

本系列文章是作者边学习边总结的,内容有不对的地方还请多多指正,同时本系列文章会不断完善,每篇文章不定时会有修改。

由于作者时间不算富裕,有些内容的《算法实现》部分暂未完善,以后有时间再来补充。见谅!

文中为方便理解,会将接口在用到的时候才导入,实际中应在文件开始统一导入。


一、集成学习简介

集成学习(Ensemble Method)不是一种学习器,是一种学习器结合方法。

1、什么是集成学习

集成学习通过建立几个模型来解决单一预测问题。它的工作原理是生成多个学习器 ,各自独立地学习和作出预测。这些预测最后结合成组合预测,因此优于任何一个单分类的做出预测。

其中每个单独的学习器,称为基学习器。(学习器=预估器=模型,在分类中也叫分类器)

2、机器学习的两大核心任务

欠拟合=高偏差

过拟合=高方差

3、集成学习3种方法

将所有的基学习器是否是一个种类的分为同质和异质,异质的集成学习方法有Stacking。同质的按照基学习器是否存在依赖关系分为Bagging和Boosting。
        Boosting:基学习器之间存在强依赖关系,一系列基学习器基本都需要串行生成
        Bagging:基学习器之间不存在强依赖关系,一系列基学习器可以并行生成

3.1、Bagging(同质基学习器并行)--降低方差

bootstrap aggregation,装袋法,代表算法:随机森林(Random Forest)

各基学习器之间无强依赖,可以进行并行训练。
为了让基分类器之间互相独立,将训练集分为若干子集(有放回抽样;当训练样本数量较少时,子集之间可能有交叠)。Bagging 方法更像是一个集体决策的过程,每个个体都进行单独学习,学习的内容可以相同,也可以不同,也可以部分重叠。但由于个体之间存在差异性,最终做出的判断不会完全一致。在最终做决策时,每个个体单独作出判断,再通过投票的方式做出最后的集体决策。

Bagging 方 法则是采取分而治之的策略,通过对训练样本多次采样,并分别训练出多个不同模型,然后做综合,来减小集成分类器的方差。

简单示例理解:

目标:把下面的圈和方块进行分类

 实现过程:

1.采样不同数据集

2.训练学习器

3.平权投票,获取最终结果

小结

3.2、Boosting(同质基学习器串行)--降低偏差

迭代法(提升法),代表算法:AdaBoost,GBDT,  XGBoost

训练基学习器时时采用串行的方式,各个基分类器之间有依赖。(迭代式学习)
将基学习器层层叠加,每一层在训练的时候,对前一层基学习器分错的样本, 给予更高的权重。测试时,根据各层学习器的结果的加权得到最终结果。

Boosting 方法是通过逐步聚焦于基分类器分错的样本,减小集成分类器的偏差。

 简单示例理解:

过程:

1.训练第一个学习器

2.调整数据分布

3.训练第二个学习器

4.再次调整数据分布

5.依次训练学习器,调整数据分布

小结

关键点

如何确认投票权重?

如何调整数据分布?

AdaBoost的构造小结

bagging集成与boosting集成的区别:

1、数据方面

        Bagging:对数据进行采样训练;

        Boosting:根据前一轮学习结果调整数据的重要性。

2、投票方面

        Bagging:所有学习器平权投票;

        Boosting:对学习器进行加权投票。

3、学习顺序

        Bagging的学习是并行的,每个学习器没有依赖关系;

        Boosting学习是串行,学习有先后顺序。

4、主要作用

        Bagging主要用于提高泛化性能(解决过拟合,也可以说降低方差)

        Boosting主要用于提高训练精度 (解决欠拟合,也可以说降低偏差)

3.3、Stacking(≈异质基学习器叠加)--改进预测

堆叠法(叠加泛化)

简单来讲,不同的学习算法被组合在一起。

 3.4、总结

1、Bagging的核心思路是民主投票,每个基础模型都只有一票,投票最多的结果作为最终的结果。

2、Boosting的核心思路是挑选精英,对基础模型进行考验和筛选,给与精英模型更多的投票权,表现不好的模型给较少的投票权,然后综合所有人的投票得到最终结果。

3、Stacking由元估计器和基础估计器两部分构成,元估计器把基础估计器的预测结果作为输入变量,最终对被解释变量做出预测。基础估计器可以由不同的算法模型(如:逻辑回归和KNN)进行组合,元估计器也可以选择完全不同的算法模型(如:决策树),以实现最终减小误差的更好效果。

只要单分类器的表现不太差,集成学习的结果总是要好于单分类器的。

二、通俗理解及定义

What(做什么),Why(为什么做),How(怎么做)

1、什么叫随机森林(What)

随机森林=Bagging+决策树

在机器学习中,随机森林是一个包含多个决策树的分类器,并且其输出的类别是由多个树输出的类别的众数而定。

训练集随机
特征随机

2、随机森林的目的(Why)

通过考虑多个学习器建模结果,汇总得到一个综合结果,使单棵树的效果最大化。
(建立11棵树中的6棵树(以上)判错,随机森林才会判断错误。
决策树准确率至少百分之五十,否则随机森林的效果不会好于决策树)

3、怎么做(How)

1、随机选择m条数据
2、随机选取k个数据特征
3、训练决策树

4、重复1-3步,构造n个弱决策树
5、平权投票集成n个弱决策树

例如, 如果你训练了11个树, 其中有6个树的结果是True, 5个树的结果是False, 那么最终投票结果就是True。

三、原理理解及公式

1.为什么要随机抽样训练集?

如果不进行随机抽样,每棵树的训练集都一样,那么最终训练出的树分类结果也是完全一样的

2.为什么要有放回地抽样?

如果不是有放回的抽样,那么每棵树的训练样本都是不同的,都是没有交集的,这样每棵树都是“有偏的”,都是绝对“片面的”(当然这样说可能不对),也就是说每棵树训练出来都是有很大的差异的;而随机森林最后分类取决于多棵树(弱分类器)的投票表决。

3、优缺点

3.1、优点:

bagging集成优点:

        1.均可在原有算法上提高约2%左右的泛化正确率
        2.简单, 方便, 通用
        3.适用于有效地运行在大数据集上
        4.处理具有高维特征的输入样本,而且不需要降维

3.2、缺点:

四、**算法实现

五、接口实现

1、API

sklearn.ensemble.RandomForestClassifier# 导入
from sklearn.ensemble import RandomForestClassifier# 语法
RandomForestClassifier(n_estimators=10, criterion=’gini’, max_depth=None, bootstrap=True, random_state=None, min_samples_split=2)n_estimators:integer,optional(default = 10)森林里的树木数量120,200,300,500,800,1200Criterion:string,可选(default =“gini”)分割特征的测量方法max_depth:integer或None,可选(默认=无)树的最大深度 5,8,15,25,30max_features="auto”,每个决策树的最大特征数量If "auto", then max_features=sqrt(n_features).If "sqrt", then max_features=sqrt(n_features)(same as "auto").If "log2", then max_features=log2(n_features).If None, then max_features=n_features.bootstrap:boolean,optional(default = True)是否在构建树时使用放回抽样min_samples_split:节点划分最少样本数min_samples_leaf:叶子节点的最小样本数
超参数:n_estimator, max_depth, min_samples_split,min_samples_leaf

2、流程

2.1、获取数据

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_splitfrom sklearn.ensemble import RandomForestClassifier# 获取数据
iris = load_iris()  

2.2、数据预处理

# 划分数据集
x_train,x_test,y_train,y_test = train_test_split(iris.data, iris.target, test_size=0.2, random_state=1473) 

2.3、特征工程

2.4、随机森林模型训练

# 实例化学习器
rf = RandomForestClassifier()# 模型训练
rf.fit(x_train, y_train)

2.5、模型评估

# 用模型计算测试值,得到预测值
y_pred=rf.predict(x_test)# 求出预测结果的准确率和混淆矩阵
from sklearn.metrics import accuracy_score, confusion_matrix
print("预测结果准确率为:", accuracy_score(y_test, y_pred))
print("预测结果混淆矩阵为:\n", confusion_matrix(y_test, y_pred))

2.6、结果预测

经过模型评估后通过的模型可以代入真实值进行预测。

六、其他boosting算法了解

真的只是了解哦

1、AdaBoost

AdaBoost就是上面单独Boosting算法演示了

2、GBDT

GBDT = 梯度下降 + Boosting + 决策树

梯度提升决策树(GBDT Gradient Boosting Decision Tree) 是一种迭代的决策树算法,该算法由多棵决策树组成,所有树的结论累加起来做最终答案。它在被提出之初就被认为是泛化能力(generalization)较强的算法。

2.1、主要思想

1.使用梯度下降法优化代价函数;

2.使用一层决策树作为弱学习器,负梯度作为目标值;

3.利用boosting思想进行集成。

3、XGBoost

XGBoost= 二阶泰勒展开+boosting+决策树+正则化


旧梦可以重温,且看:机器学习(五) -- 监督学习(3) -- 决策树
欲知后事如何,且看:机器学习(五) -- 监督学习(5) -- 线性回归1

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/843954.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

150.二叉树:二叉树的后序遍历(力扣)

代码解决 /*** Definition for a binary tree node.* struct TreeNode {* int val;* TreeNode *left;* TreeNode *right;* TreeNode() : val(0), left(nullptr), right(nullptr) {}* TreeNode(int x) : val(x), left(nullptr, right(nullptr) {}* Tree…

Autoware 技术代码解读(三)

Tip: 如果你在进行深度学习、自动驾驶、模型推理、微调或AI绘画出图等任务,并且需要GPU资源,可以考虑使用Compshare的GPU算力云平台。他们提供高性价比的4090 GPU,按时收费每卡2.6元,月卡只需要1.7元每小时,并附带200G…

​一款开源的.NET程序集反编译、编辑和调试神器

前言 说到.NET相关的反编译工具大家脑海里第一个想到的工具是什么?ILSpy、dnSpy、还是dotPeek?咱们今天的主要内容是讲讲dnSpyEx(dnSpyEx是dnSpy项目的非官方Fork维护版本)这个开源的.NET程序集反编译、编辑和调试工具该如何使用…

Burnout Drift Multiplayer(多人赛车游戏模板)

Burnout Drift Multiplayer是一个完整的项目,已在PC、Android、iOS和WebGL上发布的Burnout Drift系列中使用。 [包括最新版本的Realistic Car Controller Pro] PC、WebGL和Android演示 包括Burnout Drift系列的所有功能。您只需几分钟即可轻松添加自己的车辆、场景和配乐。 警…

Windows 下载安装Apache

一、官网下载 1、打开Apache官网http://httpd.apache.org,点击Download。 2、选择Windows版本,点击链接。 3、选择对应版本选择下载。 二、安装、设置 1、将下载好的解压。 2、依次打开Apache24-conf-httpd.conf,用记事本打开 1)、修改路径 2)、修改…

mysql去除重复数据

需求描述 doc表有很多重复的title,想去除掉重复的记录 表结构 CREATE TABLE doc (id INT PRIMARY KEY,title VARCHAR(255),content TEXT );去重SQL -- 创建临时表 CREATE TEMPORARY TABLE temp_doc AS SELECT * FROM doc WHERE 10;-- 插入唯一的记录(每个title最…

[数据集][目标检测]红外兔子检测数据集VOC+YOLO格式96张1类别

数据集格式:Pascal VOC格式YOLO格式(不包含分割路径的txt文件,仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件) 图片数量(jpg文件个数):96 标注数量(xml文件个数):96 标注数量(txt文件个数):96 标注类别数…

Redis 源码学习记录:散列 (dict)

散列 Redis 源码版本:Redis-6.0.9,本篇文章的代码均在 dict.h / dict.c 文件中。 散列类型可以存储一组无需的键值对,他特别适用于存储一个对象数据。 字典 Redis 通常使用字典结构体存储用户散列数据。字典是 Redis 的重要数据结构。除了散…

java大学城水电管理系统源码(springboot)

风定落花生,歌声逐流水,大家好我是风歌,混迹在java圈的辛苦码农。今天要和大家聊的是一款基于springboot的大学城水电管理系统。项目源码以及部署相关请联系风歌,文末附上联系信息 。 项目简介: 大学城水电管理系统的…

PHP对接百度语音识别技术

PHP对接百度语音识别技术 引言 在目前的各种应用场景中,语音识别技术已经越来越常用,并且其应用场景正在不断扩大。 百度提供的语音识别服务允许用户通过简单的接口调用,将语音内容转换为文本。 本文将通过PHP语言集成百度的语音识别服务…

批量视频剪辑神器:高效提取随机秒数画面,轻松实现视频素材精准筛选!

在数字化时代,视频内容已成为我们生活中不可或缺的一部分。无论是个人创作者还是专业团队,都需要对视频素材进行高效处理。然而,面对大量的视频文件,如何快速提取出我们所需的画面片段,却成为了一个令人头疼的问题。今…

【源码】【海外客服】简洁版海外客服系统/在线客服系统/即时聊天通讯源码

1,此版本采用前台一人或多人与后台一人(管理员)进行会话模式 2,此版本前后台只能发送文字和图片(图片是选择后自动发送) 3,前后台根据IP来识别不同的会话者 4,前台发起会话后&…

大数据——Spark

1.Spark MLlib概述 MLlib是Spark的机器学习(Machine Learning)库,旨在简化机器学习的工程实践工作,并方便扩展到更大规模。 MLlib由一些通用的学习算法和工具组成,包括分类、回归、聚类、协同过滤、降维等&#xff0…

学习Uni-app开发小程序Day20

今天学习了:页面的渐变背景、使用deep修改子组件样式、全屏页面absolute定位布局和fit-content内容宽度、遮罩层状态转换及日期格式化、uni-popup弹窗层制作弹出信息 页面的渐变背景 需要设置页面背景,使用的是多个页面,这样就可以把背景做…

开源自定义表单系统源码 一键生成表单工具 可自由DIY表单模型+二开

分享一款开源自定义表单系统源码,能够实现99%各行业的报名、预约、加盟申请、调查等应用,而且同时多开创建多个表单,支持自定义各种字段模型,市面上需要的表单模型都含了,随便自定义啦,含完整的代码包和详细…

经典文献阅读之--SMERF(通过标清导航地图增强车道感知和拓扑理解)

Tip: 如果你在进行深度学习、自动驾驶、模型推理、微调或AI绘画出图等任务,并且需要GPU资源,可以考虑使用Compshare的GPU算力云平台。他们提供高性价比的4090 GPU,按时收费每卡2.6元,月卡只需要1.7元每小时,并附带200G…

数组-捡石子小游戏

一、题目描述 二、解题思路 刚开始拿到题目的时候在想是不是需要把所有情况枚举出来,其实思考一下能看出规律: 1.如果有1、2、3颗石子,小牛一定可以赢; 2.再来看4颗石子的时候,小牛A可以拿1~3颗,但是无论小…

探索电商ERP平台的功能架构:实现高效运营的关键

在当今数字化时代,电子商务已经成为了商业运营的主流模式之一。为了应对日益激烈的市场竞争,企业需要借助先进的技术工具来提高运营效率和管理能力。在这篇博客中,我们将深入探讨电商ERP平台的功能架构,揭示其如何成为实现高效运营…

JVM学习-字节码指令集(一)

概述 Java字节码对于虚拟机,好像汇编语言对于计算机,属于基本执行指令Java虚拟机的指令由一个字节长度的,代表某种特定操作含义 的数字(称为操作码Opcode)以及跟随其后的零至多个代表此操作所需参数(操作数,Operands)而构成&…

【Linux】22. 线程控制

Linux线程控制 POSIX线程库 与线程有关的函数构成了一个完整的系列&#xff0c;绝大多数函数的名字都是以“pthread_”打头的 要使用这些函数库&#xff0c;要通过引入头文<pthread.h> 链接这些线程函数库时要使用编译器命令的“-lpthread”选项 线程创建 pthread_cr…