AdaBoost 算法入门

AdaBoost 是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器，即弱分类器，然后把这些弱分类器集合起来，构造一个更强的最终分类器。算法的适应性在于前一个基本分类器分错的样本会得到加强，加权后的全体样本再次用来训练下一个基本分类器。同时，在每一轮中加入一个新的弱分类器，直至达到某个预定的足够小的错误率或达到预先指定的最大迭代次数。

具体来说，整个 AdaBoost 迭代算法包含 3 个主要步骤：
（1）初始化训练数据的权值分布。如果有 M 个样本，则每一个训练样本最开始时都被赋予相同的权值：1/M。

（2）训练弱分类器。在训练过程中，如果某个样本点已经被准确地分类，那么在构造下一个训练集中它的权值就被降低；相反，如果某个样本点没有被准确地分类，那么它的权值就得到提高。在 t 轮训练结束后，根据得到的弱分类器 h_t 的性能，计算该分类器对应的权值 α_t ，并由 h_t 在训练集上的分类结果对权重向量 W_i→ W_(i+1) 进行更新。接着，权值更新过的样本集用于训练下一个分类器，整个训练过程如此迭代地进行下去。

（3）将各个训练得到的弱分类器组合成强分类器。各个弱分类器的训练过程结束后，加大分类误差率小的弱分类器的权重，使其在最终的分类函数中起较大的决定作用，降低分类误差率大的弱分类器的权重，使其在最终的分类函数中起较小的决定作用。换言之，误差率低的弱分类器在最终分类器中占的权重较大，否则较小。

AdaBoost 算法的特点：

AdaBoost 是一种具有很高精度的分类器，其算法具有如下特点：

（1）可以使用各种方法构建子分类器，AdaBoost 算法提供对其进行组合以及提升的框架。
（2）当使用简单分类器时，计算出的结果是可以理解的。
（3）弱分类器构造极其简单，无须做特征筛选。
（4） AdaBoost 算法简单，不用调整分类器，不会导致过拟合。

AdaBoost 算法的应用：

（1）用于二值分类或多分类的应用场景。
（2）用于特征选择（Feature Selection）。
（3）无须变动原有分类器，而是通过组合出新的分类器，提升分类器的性能。

在这里插入图片描述
（1）D1 表示样本的初始权重分配，数据点包含两类数据，两种颜色。在 AdaBoost算法运行过程中，我们使用水平或者垂直的直线作为分类器来进行分类。算法最开始给了一个均匀分布D。因此，h_1 里的每个点的权重是0.1。