深度学习3 基于规则的决策树模型

1.决策树是一种归纳学习算法，从一些没有规则、没有顺序、杂乱无章的数据中，推理出决策模型。不管是什么算法的决策树，都是一种对实例进行分类的树形结构。决策树有三个要素：节点(Node)、分支(Branches)和结果(Leaf)。

训练决策树，其实就是对训练样本的分析，把样本通过某个边界划分成不同的结果。如图3.2所示，王华想玩游戏，但是他妈妈要求他写完作业才能玩。

2. ID3 算法

ID3算法通过熵(Entropy) 来决定谁来做父节点，也就是“条件”。一般来说，决策树就是不断地if…else，不断地做判断，每做一个判断就会产生新的分支，这个叫分裂。谁来分类，是根据Entropy 最小的原则来判断的。

(1)Entropy 衡量一个系统的混乱程度，例如，气体的 Entropy 会高于固体的Entropy。

(2)Entropy 可以表示一个随机变量的不确定性，例如，很多低概率事件的 Entropy 就很高，很少高概率事件的Entropy 会很低。

(3)Entropy也可以用来计算比特信息量。

Entropy不断最小化，其实就是提高分类正确率的过程。

3.C4.5

通过对 ID3 的学习，可以发现一个问题：如果一个模型，无限地延长分类，越细小的分割错误率就会越小。继续猫狗分类的实验，假设把决策树延伸，最后有10种结果，每个结果都只有1只猫或者1只狗，每个结果的Entropy 一定都是0。

但是，这样的分类是没有意义的，即过拟合、过度学习(Overfitting) 。举一个简单的例子来理解Overfitting, 像是私人定制的衣服非常适合某一个人穿，此时出现一个新人，就无法用这些既定的胸围、腰围来定制衣服了，必须重新测量。

因此，为了避免分割太细，C4.5 的改进之处是提出了信息增益率。如果分割太细，会降低信息增益率。其他原理与 ID3 相差不多。

4.CART

CART 的结构非常简单，一个父节点只能分为2个子节点，它使用的是GINI 指标来决定怎么分类的。CART 之所以是回归树，是因为使用回归方法来决定分布是否终止。不管如何分割，总会出现一些结果，仅有一点的不纯净。因此CART 对每一个结果(叶子节点)的数据分析均值方差，当方差小于一个给定值，就可以终止分裂。

CART 也有与ID3 类似的问题，就是分割过于细小，这里使用了一个技巧剪枝，把特别长的树枝直接剪掉。这个通过计算调整误差率(Adjusted Error Rate)实现。

5.随机森林

随机森林是一种集成学习的方法，是把多棵决策树集成在一起的一种算法，基本单元是决策树。其思想从一个直观的角度来解释，就是每一棵决策树，都是一个分类器，很多决策树必然会有很多不一样的结果。这个结果就是每一个决策树的投票，投票次数最多的类别就是最终输出。

6.Boosting 家族

XGBoost 所应用的算法内核就是GBDT(Gradient Boosting Decision Tree),也就是梯度提升决策树。这里XGBoost 应用的算法严格来说是优化的GBDT。XGBoost 是一种集成学习。这种集成学习，与Random Forest的集成学习，两者是不一样的。XGBoost 的集成学习是相关联的集成学习，决策树联合决策；而Random Forest 算法中各个决策树是独立的。第二棵决策树的训练数据，会与前面决策树的训练效果有关，每棵树之间是相互关联的。而Random Forest算法中每棵树都是独立的，彼此之间什么关系都没有。

泛化能力是指一个模型在新数据上的表现能力，即它能够处理未见过的数据或情况的能力。如果一个模型具有强大的泛化能力，这意味着它不仅在训练数据上表现良好，而且在未见过的数据上也能保持较高的准确率和有效性。

7.LightGBM

XGBoost 在每一次迭代的时候，都需要遍历整个训练数据多次。如果把整个训练集都放在内存就需要大量内存，如果不装进内存，每次读写就需要大量时间。所以XGBoost 的缺点主要就是计算量巨大，内存占用巨大。因为 XGBoost 采用的贪婪算法，可以找到最精确的划分条件(就是节点的分裂条件),但是这也是一个会导致过拟合的因素。过拟合：模型在训练集上的表现非常好，但在新的、未见过的数据上表现很差。

而 LightGBM 采用直方图算法(Histogram Algorithm),思想很简单，就是把连续的浮点数据离散化，然后把原来的数据用离散之后的数据替代。换句话说，就是把连续数据变成了离散数据。例如，现在有几个数字[0,0.1,0.2,0.3,0.8,0.9,0.9],把这些分为两类，最后离散结果就是：[0,0,0,0,1,1,1]。很多数据的细节被放弃了，相似的数据被划分到同一个bin中，数据差异消失了。① bin是指直方图中的一个柱子，直译过来是桶。②很多数据细节被放弃了，这从另一个角度来看可以增加模型的泛化能力，防止过拟合。

除此之外，LightGBM 还支持类别特征。大多数机器学习工具无法支持类别特征，而需要把类别特征通过one-hot 编码。这里简单讲一下one-hot 编码，如图3.5所示(其中，“0”代表是，“1”代表是)。

这样的编码方式会降低时间和空间的效率。尤其是当原来的特征动物类别中有几百种时，one-hot 编码之后会多出几百列特征，效率非常低。此外，one-hot 编码会导致决策树分类时出现很多数据量很小的空间，容易导致过拟合问题。如图3.6(a) 所示，XGBoost 会生成一棵更长、泛化能力更弱的决策树，而图3.6(b) 的 LightGBM 可以生成一个泛化能力强的模型。