MachineLearning(7)-决策树基础+sklearn.DecisionTreeClassifier简单实践

sklearn.DecisionTreeClassifier决策树简单使用

  • 1.决策树算法基础
  • 2.sklearn.DecisionTreeClassifier简单实践
    • 2.1 决策树类
    • 2.3 决策树构建
      • 2.3.1全数据集拟合,决策树可视化
      • 2.3.2交叉验证实验
      • 2.3.3超参数搜索
      • 2.3.4模型保存与导入
      • 2.3.5固定随机数种子
  • 参考资料

1.决策树算法基础

决策树模型可以用来做 回归/分类 任务。

每次选择一个属性/特征,依据特征的阈值,将特征空间划分为 与 坐标轴平行的一些决策区域。如果是分类问题,每个决策区域的类别为该该区域中多数样本的类别;如果为回归问题,每个决策区域的回归值为该区域中所有样本值的均值。

决策树复杂程度 依赖于 特征空间的几何形状。根节点->叶子节点的一条路径产生一条决策规则。

决策树最大优点:可解释性强
决策树最大缺点:不是分类正确率最高的模型

决策树的学习是一个NP-Complete问题,所以实际中使用启发性的规则来构建决策树。
step1:选最好的特征来划分数据集
step2:对上一步划分的子集重复步骤1,直至停止条件(节点纯度/分裂增益/树深度)

不同的特征衡量标准,产生了不同的决策树生成算法:

算法最优特征选择标准
ID3信息增益:Gain(A)=H(D)−H(D∥A)Gain(A)=H(D)-H(D\|A)Gain(A)=H(D)H(DA)
C4.5信息增益率:GainRatio(A)=Gain(A)/Split(A)GainRatio(A)=Gain(A)/Split(A)GainRatio(A)=Gain(A)/Split(A)
CARTgini指数增益:Gini(D)−Gini(D∥A)Gini(D)-Gini(D\|A)Gini(D)Gini(DA)

k个类别,类别分布的gini 指数如下,gini指数越大,样本的不确定性越大:
Gini(D)=∑k=1Kpk(1−pk)=1−∑k=1Kpk2Gini(D) =\sum_{k=1}^Kp_k(1-p_k)=1-\sum_{k=1}^Kp_k^2Gini(D)=k=1Kpk(1pk)=1k=1Kpk2

CART – Classification and Regression Trees 的缩写1984年提出的一个特征选择算法,对特征进行是/否判断,生成一棵二叉树。且每次选择完特征后不对特征进行剔除操作,所有同一条决策规则上可能出现重复特征的情况。

2.sklearn.DecisionTreeClassifier简单实践

Scikit-learn(sklearn)是机器学习中常用的第三方模块,其建立在NumPy、Scipy、MatPlotLib之上,包括了回归,降维,分类,聚类方法。

sklearn 通过以下两个类实现了 决策分类树决策回归树

sklearn 实现了ID3和Cart 算法,criterion默认为"gini"系数,对应为CART算法。还可设置为"entropy",对应为ID3。(计算机最擅长做的事:规则重复计算,sklearn通过对每个特征的每个切分点计算信息增益/gini增益,得到当前数据集合最优的特征及最优划分点)

2.1 决策树类

sklearn.tree.DecisionTreeClassifier(criterion=’gini’*,splitter=’best’, max_depth=None, 
min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0,
max_features=None, random_state=None, max_leaf_nodes=None, 
min_impurity_decrease=0.0, min_impurity_split=None, class_weight=None, presort=False)
DecisionTreeRegressor(criterion=’mse’, splitter=’best’, 
max_depth=None, min_samples_split=2, min_samples_leaf=1, 
min_weight_fraction_leaf=0.0, max_features=None, random_state=None, 
max_leaf_nodes=None, min_impurity_decrease=0.0, 
min_impurity_split=None, presort=False)
Criterion选择属性的准则–gini–cart算法
splitter特征划分点的选择策略:best 特征的所有划分点中找最优
random 部分划分点中找最优
max_depth决策树的最大深度,none/int 限制/不限制决策树的深度
min_samples_split节点 继续划分需要的最小样本数,如果少于这个数,节点将不再划分
min_samples_leaf限制叶子节点的最少样本数量,如果叶子节点的样本数量过少会被剪枝
min_weight_fraction_leaf叶子节点的剪枝规则
max_features选取用于分类的特征的数量
random_state随机数生成的一些规则、
max_leaf_nodes限制叶子节点的数量,防止过拟合
min_impurity_decrease表示结点减少的最小不纯度,控制节点的继续分割规律
min_impurity_split表示结点划分的最小不纯度,控制节点的继续分割规律
class_weight设置各个类别的权重,针对类别不均衡的数据集使用
不适用于决策树回归
presort控制决策树划分的速度

2.3 决策树构建

采用sklearn内置数据集鸢尾花数据集做实验。

导入第三方库

from sklearn import tree
from sklearn.tree import DecisionTreeClassifier 
from sklearn.datasets import load_iris
import graphviz
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score, precision_score, recall_score
import joblib
plt.switch_backend('agg')

2.3.1全数据集拟合,决策树可视化

def demo1():# 全数据集拟合,决策树可视化iris = load_iris()x, y = load_iris(return_X_y = True)                     # x[list]-feature,y[]-label clf = tree.DecisionTreeClassifier()                     # 实例化了一个类,可以指定类参数,定制决策树模型clf = clf.fit(x,y)                                      # 训练模型print("feature name ", iris.feature_names)              # 特征列表, 自己的数据可视化时,构建一个特征列表即可print("label name ",iris.target_names)                  # 类别列表dot_data = tree.export_graphviz(clf, out_file = None, feature_names = iris.feature_names, class_names = iris.target_names )    graph = graphviz.Source(dot_data)                        # 能绘制树节点的一个接口graph.render("iris")                                     # 存成pdf图
tree.export_graphviz 参数
feature_names特征列表list,和训练时的特征列表排列顺序对其即可
class_names类别l列表ist,和训练时的label列表排列顺序对其即可
filledFalse/True,会依据criterion的纯度将节点显示成不同的颜色

value中的值显示的是各个类别样本的数量(二分类就是[负样本数,正样本数])

在这里插入图片描述

2.3.2交叉验证实验

def demo2():# n-折实验iris = load_iris()iris_feature = iris.data                                # 与demo1中的x,y是同样的数据iris_target = iris.target# 数据集合划分参数:train_x, test_x, train_y, test_y = train_test_split(iris_feature,iris_target,test_size = 0.2, random_state = 1)dt_model = DecisionTreeClassifier()dt_model.fit(train_x, train_y)                          # 模型训练predict_y = dt_model.predict(test_x)                    # 模型预测输出# score = dt_model.score(test_x,test_y)                 # 模型测试性能: 输入:feature_test,target_test , 输出acc# print(score)                                          # 性能指标print("label: \n{0}".format(test_y[:5]))                # 输出前5个labelprint("predict: \n{0}".format(predict_y[:5]))           # 输出前5个label# sklearn 内置acc, recall, precision统计接口print("test acc: %.3f"%(accuracy_score(test_y, predict_y)))# print("test recall: %.3f"%(recall_score(test_y, predict_y)))  # 多类别统计召回率需要指定平均方式# print("test precision: %.3f"%(precision_score(test_y, predict_y))) # 多类别统计准确率需要指定平均方式

2.3.3超参数搜索

def model_search(feas,labels):# 模型参数选择,全数据5折交叉验证,出结果min_impurity_de_entropy = np.linspace(0, 0.01, 10)      # 纯度增益下界,划分后降低量少于这个值,将不进行分裂min_impurity_split_entropy = np.linspace(0, 0.4, 10)    # 当前节点纯度小于这个值将不分裂,较高版本中已经取消这个参数max_depth_entropy = np.arange(1,11)                     # 决策树的深度# param_grid = {"criterion" : ["entropy"], "min_impurity_decrease" : min_impurity_de_entropy,"max_depth" : max_depth_entropy,"min_impurity_split" :  min_impurity_split_entropy }param_grid = {"criterion" : ["entropy"], "max_depth" : max_depth_entropy, "min_impurity_split" :  min_impurity_split_entropy }clf = GridSearchCV(DecisionTreeClassifier(), param_grid, cv = 5)  # 遍历以上超参, 通过多次五折交叉验证得出最优的参数选择clf.fit(feas, label)                                    print("best param:", clf.best_params_)                  # 输出最优参数选择print("best score:", clf.best_score_)

2.3.4模型保存与导入

模型保存

joblib.dump(clf,"./dtc_model.pkl")

模型导入

model_path = “./dtc_model.pkl”
clf = joblib.load(model_path)

2.3.5固定随机数种子

1.五折交叉验证,数据集划分随机数设置 random_state

train_test_split(feas, labels, test_size = 0.2, random_state = 1 )

2.模型随机数设置 andom_state

DecisionTreeClassifier(random_state = 1)

参考资料

1.官网类接口说明:
https://scikit-learn.org/dev/modules/generated/sklearn.tree.DecisionTreeClassifier.html#sklearn.tree.DecisionTreeClassifier

可视化接口说明https://scikit-learn.org/stable/modules/generated/sklearn.tree.export_graphviz.html

2.决策树超参数调参技巧:https://www.jianshu.com/p/230be18b08c2

3.Sklearn.metrics 简介及应用示例:https://blog.csdn.net/Yqq19950707/article/details/90169913

4.sklearn的train_test_split()各函数参数含义解释(非常全):https://www.cnblogs.com/Yanjy-OnlyOne/p/11288098.html

5.sklearn.tree.DecisionTreeClassifier 详细说明:https://www.jianshu.com/p/8f3f1e706f11

6.使用scikit-learn中的metrics以及DecisionTreeClassifier重做《机器学习实战》中的隐形眼镜分类问题:http://keyblog.cn/article-235.html

7.决策树算法:https://www.cnblogs.com/yanqiang/p/11600569.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/444969.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

游戏服务器体系结构

本文描述了一个我所设计的游戏服务器体系结构,其目的是实现游戏服务器的动态负载平衡,将对象从繁忙的服务器转移到相对空闲的服务器中.设计并没有经过具体的测试与验证,仅仅是将自己目前的一些想法记录下来.随着新构思的出现,可能会有所变化. 以下是服务器的逻辑视图,其中忽略…

游戏服务器架构探讨

要描述一项技术或是一个行业,一般都会从其最古老的历史开始说起,我本也想按着这个套路走,无奈本人乃一八零后小辈,没有经历过那些苦涩的却令人羡慕的单机游戏开发,也没有响当当的拿的出手的优秀作品,所以也…

leetcode72 编辑距离

给定两个单词 word1 和 word2,计算出将 word1 转换成 word2 所使用的最少操作数 。 你可以对一个单词进行如下三种操作: 插入一个字符 删除一个字符 替换一个字符 示例 1: 输入: word1 "horse", word2 "ros" 输出: 3 解释: ho…

即时通讯系统架构

有过几款IM系统开发经历,目前有一款还在线上跑着。准备简单地介绍一下大型商业应用的IM系统的架构。设计这种架构比较重要的一点是低耦合,把整个系统设计成多个相互分离的子系统。我把整个系统分成下面几个部分:(1)状态…

leetcode303 区域和检索

给定一个整数数组 nums,求出数组从索引 i 到 j (i ≤ j) 范围内元素的总和,包含 i, j 两点。 示例: 给定 nums [-2, 0, 3, -5, 2, -1],求和函数为 sumRange() sumRange(0, 2) -> 1 sumRange(2, 5) -> -1 sumRange(0,…

算法(24)-股票买卖

股票买卖1.动态规划框架LeetCode-121 一次买卖LeetCode-122 不限次数LeetCode-309 不限次数冷冻期LeetCode-714 不限次数手续费LeetCode-123 两次买卖LeetCode-188 k次买卖2.贪心特解LeetCode-121 一次买卖LeetCode-122 不限次数解题思路参考buladong解题,详细信息可…

网络游戏的客户端同步问题 .

有关位置同步的方案实际上已经比较成熟,网上也有比较多的资料可供参考。在《带宽限制下的视觉实体属性传播》一文中,作者也简单提到了位置同步方案的构造过程,但涉及到细节的地方没有深入,这里专门针对这一主题做些回顾。 最直接的…

leetcode319 灯泡的开关

初始时有 n 个灯泡关闭。 第 1 轮,你打开所有的灯泡。 第 2 轮,每两个灯泡你关闭一次。 第 3 轮,每三个灯泡切换一次开关(如果关闭则开启,如果开启则关闭)。第 i 轮,每 i 个灯泡切换一次开关。 …

网游服务器端设计思考:心跳设计

网络游戏服务器的主要作用是模拟整个游戏世界,客户端用过网络连接把一些信息数据发给服务器,在操作合法的情况下,更新服务器上该客户端对应的player实体、所在场景等,并把这些操作及其影响广播出去。让别的客户端能显示这些操作。…

算法(25)-括号

各种括号1.LeetCode-22 括号生成--各种括号排列组合2.LeetCode-20 有效括号(是否)--堆栈3.LeetCode-32 最长有效括号(长度)--dp4.LeetCode-301删除无效括号 --多种删除方式1.LeetCode-22 括号生成–各种括号排列组合 数字 n 代表生成括号的对数,请你设计一个函数&a…

(二十)深入浅出TCPIP之epoll的一些思考

Epoll基本介绍 在linux的网络编程中,很长的时间都在使用select来做事件触发。在linux新的内核中,有了一种替换它的机制,就是epoll。相比于 select,epoll最大的好处在于它不会随着监听fd数目的增长而降低效率。因为在内核中的select实现中,它是采用轮询来处理的,轮询的fd…

leetcode542 01矩阵

给定一个由 0 和 1 组成的矩阵,找出每个元素到最近的 0 的距离。 两个相邻元素间的距离为 1 。 示例 1: 输入: 0 0 0 0 1 0 0 0 0 输出: 0 0 0 0 1 0 0 0 0 示例 2: 输入: 0 0 0 0 1 0 1 1 1 输出: 0 0 0 0 1 0 1 2 1 注意: 给定矩阵的元素个数不超过 10000。…

RPC、RMI与MOM与组播 通信原理 .

远程过程调用(RPC): 即对远程站点机上的过程进行调用。当站点机A上的一个进程调用另一个站点机上的过程时,A上的调用进程挂起,B上的被调用过程执行,并将结果返回给调用进程,使调用进程继续执行【…

网关服务器 .

之前想着要把什么什么给写一下,每次都太懒了,都是想起了才来写一下。今天只讨论游戏服务器的网关服务器。 1.转发 转发客户端和服务器间的消息,网关将场景、会话、数据、名字、平台等服务器的数据转发给客户端,接收客户端的数据&a…

算法(26)-最长系列

最长系列1.LeetCode-32 最长有效括号--子串2.LeetCode-300 最长上升子序列--长度3.LeetCode-32 最长回文子串--是什么5.LeetCode-512 最长回文子序列--长度6.LeetCode-1143 最长公共子序列--长度6.LeetCode-128 最长连续序列--长度7.LeetCode-14 最长公共前缀-字符串8.剑指offe…

一个简单的游戏服务器框架 .

最近一段时间不是很忙,就写了一个自己的游戏服务器框架雏形,很多地方还不够完善,但是基本上也算是能够跑起来了。我先从上层结构说起,一直到实现细节吧,想起什么就写什么。 第一部分 服务器逻辑 服务器这边简单的分为三…

游戏登陆流程 .

当公司有很多游戏的时候,那么公司往往会有一个统一的账号管理平台,就就像盛大通行证、网易通行证,战网平台,这些平台统一管理游戏的账号数据。 打个比方,现在我们玩星辰变,那么玩家登陆游戏的时候…

leetcode97 交错字符串

给定三个字符串 s1, s2, s3, 验证 s3 是否是由 s1 和 s2 交错组成的。 示例 1: 输入: s1 "aabcc", s2 "dbbca", s3 "aadbbcbcac" 输出: true 示例 2: 输入: s1 "aabcc", s2 "dbbca", s3 "aadbbbaccc" 输…

算法(27)-最大系列

最大系列1.LeetCode-239 滑动窗口的最大值2.LeetCode-53 连续子数组的最大和3.LeetCode-152 乘积最大的子数组。4.剑指 Offer 14- I. 剪绳子为k个整数段,使各个段成绩最大1.dp数学推导1.LeetCode-239 滑动窗口的最大值 窗口由左往右最大值数组Left,和由…

mysql数据库表的导入导出

MySQL写入数据通常用insert语句,如 复制代码 代码如下: insert into person values(张三,20),(李四,21),(王五,70)…; 但有时为了更快速地插入大批量数据或…