决策树

1. 训练：构造树，测试：从模型从上往下走一遍。
2. 建树方法：ID3，C4.5，CART

ID3

• 以信息论为基础，以信息增益为衡量标准
• 熵越小，混乱程度越小，不确定性越小
• 信息熵：
  $$H(D)=-\sum _{i=1}^{n}P(D_i){\log }_{2}P(D_i)$$
• 条件熵：
  $$H(D|A)=-\sum _{i=1}^n\frac{|D_i|}{|D|}{\log }_2\left(\frac{|D_i|}{|D|}\right)$$
• 信息增益：
  $$G(D,A)=H(D)-H(D|A)$$
• 步骤
  • 求特征对最后结果的信息熵，条件熵，和最后的信息增益
  • 选择信息增益最大的作为当前决策节点
  • 删除上一步使用的特征，用特征值划分不同的数据集合
  • 重复2,3步

C4.5

• ID3算法的改进
• 利用信息增益率：
  $$G_R(D,A)=\frac{G(D,A)}{H(D)}$$
• 预剪枝：边建树边剪枝，限制深度、叶子节点个数、叶子结点样本数、信息增益率
• 后剪枝：建完树剪枝。用叶子节点替换非叶子节点，然后判断错误率是保持还是下降

CART

• 分类树利用基尼指数来进行分类，分类树最后叶子节点众数作为结果。
• 回归树利用方差来进行分类，利用特征划分成子集后，各自自己方差要最小，总体方差和也要最小。回归树用最后的均值或中位数作为结果。

支持向量积

• 解决问题：什么样的分类结果最好
• 监督学习、分类算法
• 距离定义，决策面，优化目标
• 拉格朗日乘子法
• 软间隔
• 核变换