决策树算法(ID3、 C4.5、 CART)

1. 决策树的定义

决策树学习采用的是自顶向下的递归方法，其基本思想是以信息熵为度量构造一颗熵值下降最快的树，到叶子节点处，熵值为0。其具有可读性、分类速度快的优点，是一种有监督学习。

决策树呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型；预测时，对新的数据，利用决策模型进行分类。

决策树的分类：决策树可以分为两类，主要取决于它目标变量的类型。（1）离散性决策树：离散性决策树，其目标变量是离散的，如性别：男或女等；

1. 连续性决策树：连续性决策树，其目标变量是连续的，如工资、价格、年龄等；

1. 决策树的构造

决策树的构造过程一般分为3个部分，分别是特征选择、决策树构建和决策树裁剪。

（1）特征选择:

特征选择表示从众多的特征中选择一个特征作为当前节点分裂的标准，如何选择特征有不同的量化评估方法，从而衍生出不同的决策树，如ID3（通过信息增益选择特征）、C4.5（通过信息增益比选择特征）、CART（通过Gini指数选择特征）等。

目的（准则）：使用某特征对数据集划分之后，各数据子集的纯度要比划分前的数据集D的纯度高（也就是不确定性要比划分前数据集D的不确定性低）

（2）决策树的生成

根据选择的特征评估标准，从上至下递归地生成子节点，直到数据集不可分则停止决策树停止生长。这个过程实际上就是使用满足划分准则的特征不断的将数据集划分成纯度更高，不确定行更小的子集的过程。对于当前数据集的每一次划分，都希望根据某个特征划分之后的各个子集的纯度更高，不确定性更小。

（3）决策树的裁剪

决策树容易过拟合，一般需要剪枝来缩小树结构规模、缓解过拟合。

（4）剪枝处理

剪枝是决策树学习算法对付"过拟合"的主要手段。

过拟合原因：

1)  噪声导致的过拟合：拟合了被误标记的样例，导致误分类。

2）缺乏代表性样本导致的过拟合：缺乏代表性样本的少量训练集作出的决策会出现过拟合。

3）多重比较造成的过拟合：复杂模型。

基本策略有"预剪枝" 和"后剪枝"；

预剪枝是指在决策树生成过程中，对每个结点在划分前先进行估计，若当前结点的划分不能带来决策树泛化性能提升，则停止划分并将当前结点标记为叶结点；

后剪枝则是先从训练集生成一棵完整的决策树，然后自底向上地对非叶结点进行考察，若将该结点对应的子树替换为叶结点能带来决策树泛化性能提升，则将该子树替换为叶结点。

判断决策树泛化性能是否提升：留出法，即预留一部分数据用作"验证集"以进行性能评估。

例如：在预剪枝中，对于每一个分裂节点，对比分裂前后决策树在验证集上的预测精度，从而决定是否分裂该节点。而在后剪枝中，考察非叶节点，对比剪枝前后决策树在验证集上的预测精度，从而决定是否对其剪枝。

两种方法对比：

1）预剪枝使得决策树的很多分支都没有"展开”，不仅降低过拟合风险，而且显著减少训练/测试时间开销；但有些分支的当前划分虽不能提升泛化性能，但在其基础上进行的后续划分却有可能导致性能显著提高，即预剪枝基于"贪心"本质禁止这些分支展开，给预剪枝决策树带来了欠拟含的风险。

后剪枝决策树通常比预剪枝决策树保留了更多的分支。一般情形下，后剪枝决策树的欠拟合风险很小，泛化性能往往优于预剪枝决策树，但后剪枝过程是在生成完全决策树之后进行的，并且要自底向上地对树中的所有非叶结点进行逐一考察，因此其训练时间开销比未剪枝决策树和预剪枝决策树都要大得多。

 

特殊值处理：

1、连续值

以上都是基于离散属性进行讨论，而连续属性的可取值数目不再有限， 因此，不能直接根据连续属性的可取值来对结点进行划分。此时需要进行连续属性离散化，最简单的策略是采用二分法对连续属性进行处理（C4 . 5）。 

给定样本集D和连续属性a，假设a在D上出现了n个不同的取值，升序排列后记为：，基于划分点t可将D分为D-（不大于t）和D+（大于t）两个子集，而对于相邻的属性取值，t在之间取任何值对分类结果（D-和D+）都是一样的，可直接取其中位点进行考虑。

故，对连续属性a，可考察包含n-1个元素的候选划分点t集合：

于是，我们就可像离散属性值一样来考察这些划分点，选取最优的划分点进行样本集合的划分，例如，使用信息增益：

即选择使信息增益最大的划分点进行划分。

注：

1）可将划分点设为该属性在训练集中出现的不大于中位点的最大值，从而使得最终决策树使用的划分点都在训练集中出现过。

2）与离散属性不同，若当前结点划分属性为连续属性，该属性还可作为其后代结点的划分属性。

2、缺失值

缺失问题：即样本的某些属性值缺失。

面临问题：

1）如何在属性值缺失的情况下进行划分属性选择?

2）给定划分属性，若样本在该属性上的值缺失，如何对样本进行划分?

解决方法：（C4.5）

给定训练集D和属性a，仅对D中在属性a上没有缺失值的样本子集来判断属性a的优劣。假定我们为每个样本x赋予一个权重w(x)（初始化为1），定义：

由以上定义，将信息增益推广为：

其中，

对于问题2），若样本x在a上的取值缺失，则将x同时划入所有子节点，且样本权值对应于属性值调整为，即让同一个样本以不同概率划入不同的子节点中去。

以西瓜数据集为例：

以属性“色泽”为例，根节点包含全部17个样例，各样本初始权重为1，该属性上无缺失的样例子集包含编号为{2 ，3 ，4， 6 ， 7， 8， 9 ， 10， 11 ， 12 ， 14， 15， 16， 17}的14个样例，其信息熵为：

对应的属性取值为“青绿”，“乌黑”，“浅白”的样本子集的信息熵分别为：

因此，非缺失样本子集的信息增益为：

从而，计算得所有样本集的信息增益为：

类似地可计算出其他所有属性在D上的信息增益：

选择信息增益最大对应的属性“纹理”进行划分，划分结果为：

“清晰”分支：编号为{1 ,2 ,3 ,4, 5 ,6 ,15}的样本

“稍糊”分支：编号为{7 ,9, 13, 14, 17}的样本

“模糊”分支：编号为{11 ,12, 16}的样本

缺失样本：{8}，同时进入三个分支中，权重分别调整为7/15，5/15和3/15；编号{10}类似。

1. 决策树的优缺点

决策树的优点：

1. 具有可读性，如果给定一个模型，那么根据所产生的决策树很容易推理出相应的逻辑表达。
2. 分类速度快，能在相对短的时间内能够对大型数据源做出可行且效果良好的结果。

决策树的缺点：

1. 对未知的测试数据未必有好的分类、泛化能力，即可能发生过拟合现象，此时可采用剪枝或随机森林。

1. ID3算法原理

ID3算法的核心是在决策树各个节点上应用信息增益准则选择特征递归地构建决策树。

信息增益：

1. 熵

在信息论中，熵（entropy）是随机变量不确定性的度量，也就是熵越大，则随机变量的不确定性越大。设X是一个取有限个值得离散随机变量，其概率分布为：

 

则随机变量X的熵的定义为:

 

1. 条件熵

设有随机变量（X, Y），其联合概率分布为：

条件熵H(Y|X)表示在已知随机变量X的条件下，随机变量Y的不确定性。随机变量X给定的条件下随机变量Y的条件熵H(Y|X)，定义为X给定条件下Y的条件概率分布的熵对X的数学期望：

当熵和条件熵中的概率由数据估计得到时（如极大似然估计），所对应的熵与条件熵分别称为经验熵和经验条件熵。

1. 信息增益

定义：信息增益表示由于得知特征A的信息后，降低数据集D的分类不确定性减少的程度，定义为：

Gain(D,A) = H(D) – H(D|A)

即集合D的经验熵H(D)与特征A给定条件下D的经验条件熵H(H|A)之差。

理解：选择划分后信息增益大的作为划分特征，说明使用该特征后划分得到的子集纯度越高，即不确定性越小。因此我们总是选择当前使得信息增益最大的特征来划分数据集。

缺点：信息增益偏向取值较多的特征（原因：当特征的取值较多时，根据此特征划分更容易得到纯度更高的子集，因此划分后的熵更低，即不确定性更低，因此信息增益更大）

ID3算法流程:

输入：训练数据集D，特征集A，阈值ε；

输出：决策树T.

Step1：若D中所有实例属于同一类，则T为单结点树，并将类作为该节点的类标记，返回T；

Step2：若A=Ø，则T为单结点树，并将D中实例数最大的类作为该节点的类标记，返回T；

Step3：否则，2.1.1（3）计算A中个特征对D的信息增益，选择信息增益最大的特征；

Step4：如果的信息增益小于阈值ε，则T为单节点树，并将D中实例数最大的类作为该节点的类标记，返回T

Step5：否则，对的每一种可能值，依将D分割为若干非空子集，将中实例数最大的类作为标记，构建子结点，由结点及其子树构成树T，返回T；

Step6：对第i个子节点，以为训练集，以为特征集合，递归调用Step1~step5，得到子树，返回；

 

1. C4.5算法原理

C4.5算法与ID3算法很相似，C4.5算法是对ID3算法做了改进，在生成决策树过程中采用信息增益比来选择特征。

信息增益比：

我们知道信息增益会偏向取值较多的特征，使用信息增益比可以对这一问题进行校正。

定义：特征A对训练数据集D的信息增益比GainRatio(D,A)定义为其信息增益Gain(D,A)与训练数据集D的经验熵H(D)之比：

C4.5算法过程跟ID3算法一样，只是选择特征的方法由信息增益改成信息增益比。

1. CART算法原理

Gini指数

分类问题中，假设有K个类，样本点属于第k类的概率为，则概率分布的基尼指数定义为：

备注：表示选中的样本属于k类别的概率，则这个样本被分错的概率为。

对于给定的样本集合D，其基尼指数为：

备注：这里是D中属于第k类的样本个数，K是类的个数。

如果样本集合D根据特征A是否取某一可能值a被分割成D1和D2两部分，即：

则在特征A的条件下，集合D的基尼指数定义为：

基尼指数Gini(D)表示集合D的不确定性，基尼指数Gini(D,A)表示经A=a分割后集合D的不确定性。基尼指数值越大，样本集合的不确定性也就越大，这一点跟熵相似。

 

下面举一个例子来说明上面的公式：

如下，是一个包含30个学生的样本，其包含三种特征，分别是：性别（男/女）、班级（IX/X）和高度（5到6ft）。其中30个学生里面有15个学生喜欢在闲暇时间玩板球。那么要如何选择第一个要划分的特征呢，我们通过上面的公式来进行计算。

如下，可以Gini(D,Gender)最小，所以选择性别作为最优特征。

CART算法流程:

输入：训练数据集D，停止计算的条件

输出：CART决策树.

根据训练数据集，从根结点开始，递归地对每个结点进行以下操作，构建二叉树：

Step1：设结点的训练数据集为D，计算现有特征对该数据集的基尼指数。此时，对每一个特征A，对其可能取的每个值a，根据样本点A=a的测试为“是”或“否”将D分割为D1和D2两部分，利用上式Gini(D,A)来计算A=a时的基尼指数。

Step2：在所有可能的特征A以及他们所有可能的切分点a中，选择基尼指数最小的特征及其对应可能的切分点作为最优特征与最优切分点。依最优特征与最优切分点，从现结点生成两个子节点，将训练数据集依特征分配到两个子节点中去。

Step3：对两个子结点递归地调用Step1、Step2，直至满足条件。

Step4：生成CART决策树。

算法停止计算的条件是节点中的样本个数小于预定阈值，或样本集的基尼指数小于预定阈值，或者没有更多特征。