机器学习 | 决策树算法

一、决策树算法概述

1、树模型

决策树：从根节点开始一步步走到叶子节点(决策)。所有的数据最终都会落到叶子节点，既可以做分类也可以做回归。

在分类问题中，表示基于特征对实例进行分类的过程，可以认为是if-then的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。

2、树的组成

根节点：第一个选择点

非叶子节点与分支：中间过程

叶子节点：最终的决策结果

3、

决策树通常有三个步骤：特征选择、决策树的生成、决策树的修剪。
决策树学习的目标
- 根据给定的训练数据集构建一个决策树模型，使它能够对实例进行正确的分类。
决策树学习的本质
- 从训练集中归纳出一组分类规则，或者说是由训练数据集估计条件概率模型。
决策树学习的损失函数：正则化的极大似然函数
决策树学习的测试：最小化损失函数
决策树学习的目标：在损失函数的意义下，选择最优决策树的问题。
训练阶段
- 从给定的训练集构造出来一棵树(从跟节点开始选择特征，如何进行特征切分)。
- 有数据想构建树。
测试阶段
- 根据构造出来的树模型从上到下去走一遍就好了。
- 有数据想得结果。

一旦构造好了决策树，那么分类或者预测任务就很简单了，只需要走一遍就可以了，那么难点就在于如何构造出来一颗树，这就没那么容易了，需要考虑的问题还有很多的!

用决策树分类：从根节点开始，对实例的某一特征进行测试，根据测试结果将实例分配到其子节点，此时每个子节点对应着该特征的一个取值，如此递归的对实例进行测试并分配，直到到达叶节点，最后将实例分到叶节点的类中。

k-近邻算法可以完成很多分类任务，但是其最大的缺点是无法给出数据的内在含义，决策树的优势在于数据形式非常容易理解。

二、熵的作用

1、如何切分特征(选择节点)

问题：根节点的选择该用哪个特征呢?接下来呢?如何切分呢?

想象一下：我们的目标应该是根节点就像一个老大似的能更好的切分数据 (分类的效果更好)，根节点下面的节点自然就是二当家了。

目标：通过一种衡量标准，来计算通过不同特征进行分支选择后的分类情况，找出来最好的那个当成根节点，以此类推。

2、衡量标准-熵

熵是表示随机变量不确定性的度量。

(解释：说白了就是物体内部的混乱程度，比如杂货市场里面什么都有那肯定混乱呀，专卖店里面只卖一个牌子的那就稳定多啦)

熵值公式

举例

A集合[1,1,1,1,1,1,1,1,2,2] B集合[1,2,3,4,5,6,7,8,9,1]

显然A集合的熵值要低，因为A里面只有两种类别，相对稳定一些。而B中类别太多了，熵值就会大很多。

三、信息增益原理

1、熵值

不确定性越大，得到的熵值也就越大。

当p=0或p=1时，H(p)=0,随机变量完全没有不确定性。

当p=0.5时，H(p)=1,此时随机变量的不确定性最大。

2、信息增益

特征X使得类Y的不确定性减少的程度。 (分类后的专一性，希望分类后的结果是同类在一起)

划分数据集的大原则是：将无序数据变得更加有序，但是各种方法都有各自的优缺点，信息论是量化处理信息的分支科学，在划分数据集前后信息发生的变化称为信息增益，获得信息增益最高的特征就是最好的选择，所以必须先学习如何计算信息增益，集合信息的度量方式称为香农熵，或者简称熵。

四、决策树构造及实例

决策树学习的算法通常是一个递归地选择最优特征，并根据该特征对训练数据进行分割，使得各个子数据集有一个最好的分类的过程。这一过程对应着对特征空间的划分，也对应着决策树的构建。

1）开始：构建根节点，将所有训练数据都放在根节点，选择一个最优特征，按着这一特征将训练数据集分割成子集，使得各个子集有一个在当前条件下最好的分类。
2）如果这些子集已经能够被基本正确分类，那么构建叶节点，并将这些子集分到所对应的叶节点去。
3）如果还有子集不能够被正确的分类，那么就对这些子集选择新的最优特征，继续对其进行分割，构建相应的节点，如果递归进行，直至所有训练数据子集被基本正确的分类，或者没有合适的特征为止。
4）每个子集都被分到叶节点上，即都有了明确的类，这样就生成了一颗决策树。

决策树的特点：

优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据。
缺点：可能会产生过度匹配的问题
适用数据类型：数值型和标称型

过程：

首先，确定当前数据集上的决定性特征，为了得到该决定性特征，必须评估每个特征，完成测试之后，原始数据集就被划分为几个数据子集，这些数据子集会分布在第一个决策点的所有分支上，如果某个分支下的数据属于同一类型，则当前无序阅读的垃圾邮件已经正确的划分数据分类，无需进一步对数据集进行分割，如果不属于同一类，则要重复划分数据子集，直到所有相同类型的数据均在一个数据子集内。

创建分支的伪代码 createBranch() 如下图所示：

检测数据集中每个子项是否属于同一类：

If so return 类标签：
Else寻找划分数据集的最好特征划分数据集创建分支节点for 每个划分的子集调用函数createBranch()并增加返回结果到分支节点中return 分支节点

数据：14天打球情况
特征：4种环境变化
目标：构造决策树，判断当出现一种天气的情况下，打不打球。

划分方式：4种

问题：谁当根节点呢?

依据：信息增益

例子：基于天气划分

在历史数据中(14天)有9天打球，5天不打球，所以此时的熵应为:

4个特征逐一分析，先从outlook特征开始：

Outlook = sunny时，熵值为0.971

Outlook = overcast时，熵值为0

Outlook = rainy时，熵值为0.971

加权计算

根据数据统计，outlook取值分别为sunny,overcast,rainy的概率分别为：5/14, 4/14, 5/14

熵值计算：5/14 * 0.971 + 4/14 * 0 + 5/14 * 0.971 = 0.693

(gain(temperature)=0.029 gain(humidity)=0.152 gain(windy)=0.048)

计算信息增益

信息增益：系统的熵值从原始的0.940下降到了0.693，增益为0.247。

同样的方式可以计算出其他特征的信息增益，那么我们选择最大的那个，相当于是遍历了一遍特征，找出来了大当家，然后再其余中继续通过信息增益找二当家!

（找：信息增益大，熵值小）

五、信息增益率与gini系数

决策树算法

ID3
- 信息增益 (有什么问题呢?)
- 问题：ID当做特征，熵值为0，不适合解决稀疏特征，种类非常多的。
C4.5
- 信息增益率/信息增益比 (解决ID3问题，考虑自身熵)
CART
- 使用GINI系数来当做衡量标准
- GINI系数
- (和熵的衡量标准类似，计算方式不相同)
连续值
- 进行离散化。

六、决策树剪枝策略

决策树剪枝策略

为什么要剪枝
决策树过拟合风险很大，理论上可以完全分得开数据
(想象一下，如果树足够庞大，每个叶子节点不就一个数据了嘛)

预剪枝

边建立决策树过程中进行剪枝的操作(更实用)。
限制深度，叶子节点个数。叶子节点样本数，信息增益量等。

后剪枝

当建立完决策树后来进行剪枝操作。
通过一定的衡量标准 $\large C_{a}(T)=C(T)+\alpha \left | T_{leaf} \right |$
$\large C_{a}(T)$ ：损失
$\large C(T)$ ：gini系数
$\large T_{leaf}$ ：叶子节点个数
(叶子节点越多，损失越大)

七、回归问题解决

回归问题将方差作为衡量（评估）标准。看标签的平均方差。

分类问题将熵值作为衡量标准。

部分参考于

【精选】机器学习笔记——决策树(Decision Tree)（1）_决策树节点_吃花椒的恩酱的博客-CSDN博客

【机器学习实战】3、决策树_机器学习实战决策树-CSDN博客

【精选】唐宇迪学习笔记11：决策树算法_决策树的训练和测试是_小丑呀~的博客-CSDN博客