西瓜书学习笔记——Boosting(公式推导+举例应用)

文章目录

      • 引言
      • AdaBoost算法
      • AdaBoost算法正确性说明
      • AdaBoost算法如何解决权重更新问题?
      • AdaBoost算法如何解决调整下一轮基学习器样本分布问题?
      • AdaBoost算法总结
      • 实验分析

引言

Boosting是一种集成学习方法,旨在通过整合多个弱学习器来构建一个强学习器。其核心思想是迭代训练模型,关注之前被错误分类的样本,逐步提升整体性能。Boosting的代表算法包括AdaBoost、Gradient Boosting和XGBoost等,在实际应用中取得了广泛成功。

AdaBoost算法

AdaBoost是一种集成学习算法,其基本结构如下:

  • 初始化权重: 为训练集中的每个样本初始化权重。

  • 迭代训练弱学习器: 通过多次迭代,训练简单的弱学习器,每一轮都会调整样本的权重,更关注之前分类错误的样本。

  • 更新样本权重: 根据当前弱学习器的性能,更新样本的权重,使得在下一轮迭代中更关注之前分类错误的样本。

  • 组合弱学习器: 将每个弱学习器的输出按权重线性组合,构建最终的强分类器。

这一过程重复进行,直到达到预定的迭代次数或所有样本都被正确分类。

下面是AdaBoost的结构图示意图:
在这里插入图片描述

AdaBoost算法流程如下图所示:
在这里插入图片描述
下面我们采用基于加性模型的推导方式,即基学习器的线性组合:
H ( x ) = ∑ t = 1 T α t h t ( x ) (1) H(x)=\sum_{t=1}^T\alpha_th_t(x) \tag{1} H(x)=t=1Tαtht(x)(1)

其最小化指数损失函数为:
ℓ e x p ( H ∣ D ) = E x ∼ D [ e − f ( x ) H ( x ) ] (2) \ell_{exp}(H|\mathcal{D})=\mathbb{E}_x\sim \mathcal{D}[e^{-f(x)H(x)}] \tag{2} exp(HD)=ExD[ef(x)H(x)](2)

D [ e − f ( x ) H ( x ) ] \mathcal{D}[e^{-f(x)H(x)}] D[ef(x)H(x)] 可以被理解为在分布 D \mathcal{D} D 下,函数 e − f ( x ) H ( x ) e^{-f(x)H(x)} ef(x)H(x) 的期望值;其中 f ( x ) f(x) f(x)是真实值; H ( x ) H(x) H(x)为模型的预测值;

AdaBoost算法正确性说明

再此之前我们先把(2)式展开

  • 对于离散型:
    ℓ e x p ( H ∣ D ) = ∑ x D ( x ) e − f ( x ) H ( x ) (3) \ell_{exp}(H|\mathcal{D})=\sum_x \mathcal{D}(x) e^{-f(x)H(x)} \tag{3} exp(HD)=xD(x)ef(x)H(x)(3)
  • 对于连续型:
    ℓ e x p ( H ∣ D ) = ∫ D ( x ) e − f ( x ) H ( x ) d x (4) \ell_{exp}(H|\mathcal{D})=\int \mathcal{D}(x) e^{-f(x)H(x)}dx \tag{4} exp(HD)=D(x)ef(x)H(x)dx(4)

以离散型为例,接着使用最小二乘法,使得 ℓ e x p \ell_{exp} exp最小,即对 ℓ e x p \ell_{exp} exp求对 H ( x ) H(x) H(x)的偏导有:
∂ ℓ exp ( H ∣ D ) ∂ H ( x ) = ∑ x ∂ D ( x ) e − f ( x ) H ( x ) ∂ H ( x ) = ∑ x − D ( x ) f ( x ) e − f ( x ) H ( x ) (5) \begin{aligned} \frac{\partial \ell_{\text{exp}}(H|\mathcal{D})}{\partial H(x)} &= \sum_x \frac{\partial \mathcal{D}(x) e^{-f(x)H(x)}}{\partial H(x)} \\ &= \sum_x-\mathcal{D(x)}f(x)e^{-f(x)H(x)} \\ \end{aligned} \tag{5} H(x)exp(HD)=xH(x)D(x)ef(x)H(x)=xD(x)f(x)ef(x)H(x)(5)

又因为 f ( x ) ∈ { − 1 , + 1 } f(x)\in\{-1,+1\} f(x){1,+1},所以式(5)可变形为:
∑ x − D ( x ) f ( x ) e − f ( x ) H ( x ) = − ∑ x D ( x ) e − H ( x ) + ∑ x D ( x ) e H ( x ) = − e − H ( x ) P ( f ( x ) = 1 ∣ x ) + e H ( x ) P ( f ( x ) = − 1 ∣ x ) (6) \begin{aligned} & \sum_x-\mathcal{D(x)}f(x)e^{-f(x)H(x)} \\ &= -\sum_x\mathcal{D}(x)e^{-H(x)}+\sum_x\mathcal{D}(x)e^{H(x)} \\ &= -e^{-H(x)} P(f(x)=1|x)+e^{H(x)}P(f(x)=-1|x) \end{aligned} \tag{6} xD(x)f(x)ef(x)H(x)=xD(x)eH(x)+xD(x)eH(x)=eH(x)P(f(x)=1∣x)+eH(x)P(f(x)=1∣x)(6)

其中 P ( f ( x ) = 1 ∣ x ) P(f(x)=1|x) P(f(x)=1∣x)代表在数据集 x x x中好瓜的概率; P ( f ( x ) = − 1 ∣ x ) P(f(x)=-1|x) P(f(x)=1∣x)代表在数据集 x x x中坏瓜的概率。

令(6)式为零可得:
H ( x ) = 1 2 ln ⁡ P ( f ( x ) = 1 ∣ x ) P ( f ( x ) = − 1 ∣ x ) (7) H(x)=\frac{1}{2}\ln\frac{P(f(x)=1|x)}{P(f(x)=-1|x)} \tag{7} H(x)=21lnP(f(x)=1∣x)P(f(x)=1∣x)(7)

又因为对于一个二分类问题 H ( x ) ∈ { − 1 , + 1 } H(x)\in\{-1,+1\} H(x){1,+1},故可将(7)式简化,有:
s i g n ( H ( x ) ) = s i g n ( 1 2 ln ⁡ P ( f ( x ) = 1 ∣ x ) P ( f ( x ) = − 1 ∣ x ) ) = { 1 , P ( f ( x ) = 1 ∣ x ) > P ( f ( x ) = − 1 ∣ x ) − 1 , P ( f ( x ) = 1 ∣ x ) < P ( f ( x ) = − 1 ∣ x ) = max y ∈ { − 1 , + 1 } P ( f ( x ) = y ∣ x ) (8) \begin{aligned} \mathrm{sign}(H(x))&=\mathrm{sign}(\frac{1}{2}\ln\frac{P(f(x)=1|x)}{P(f(x)=-1|x)})\\ &=\begin{cases} 1,\quad P(f(x)=1|x)>P(f(x)=-1|x)\\ -1,\quad P(f(x)=1|x)<P(f(x)=-1|x) \end{cases}\\ &=\underset{y\in\{-1,+1\}}{\text{max}} \quad P(f(x)=y|x) \end{aligned} \tag{8} sign(H(x))=sign(21lnP(f(x)=1∣x)P(f(x)=1∣x))={1,P(f(x)=1∣x)>P(f(x)=1∣x)1,P(f(x)=1∣x)<P(f(x)=1∣x)=y{1,+1}maxP(f(x)=yx)(8)

其中 max y ∈ { − 1 , + 1 } P ( f ( x ) = y ∣ x ) \underset{y\in\{-1,+1\}}{\text{max}} \quad P(f(x)=y|x) y{1,+1}maxP(f(x)=yx)该部分可以理解为在给定输入 x x x的情况下,选择具有最大条件概率的类别 y y y,即谁的概率大,就是什么类别

这就意味着 s i g n ( H ( x ) ) \mathrm{sign}(H(x)) sign(H(x))达到了贝叶斯最优错误率。这说明指数损失函数是分类任务原本 0 / 1 0/1 0/1损失函数的一致性替代损失函数。因为该函数具有较好的数学性质,故用它来替代原本的 0 / 1 0/1 0/1损失函数是较好的选择。

AdaBoost算法如何解决权重更新问题?

在AdaBoost算法中,第一个基分类器 h 1 h_1 h1是通过直接将基学习器算法用于初始数据分布而得到的;此后的每次迭代地生成 h t h_t ht α t \alpha_t αt,当基分类器 h t h_t ht基于分布 D t \mathcal{D_t} Dt产生后,该分类器的权重应该使得 α t h t \alpha_th_t αtht最小化指数损失函数
ℓ e x p ( α t h t ∣ D t ) = E x ∼ D t [ e − f ( x ) α t h t ( x ) ] = ∑ x D t ( x ) e − f ( x ) α t h t ( x ) (9) \begin{aligned} \ell_{exp}(\alpha_th_t|\mathcal{D}_t)&=\mathbb{E}_x\sim \mathcal{D}_t[e^{-f(x)\alpha_th_t(x)}] \\ &= \sum_x\mathcal{D_t(x)}e^{-f(x)\alpha_th_t(x)} \\ \end{aligned} \tag{9} exp(αthtDt)=ExDt[ef(x)αtht(x)]=xDt(x)ef(x)αtht(x)(9)

此时对于式(9)我们可以分类讨论: f ( x ) = h t ( x ) f(x)=h_t(x) f(x)=ht(x) f ( x ) ≠ h t ( x ) f(x)\ne h_t(x) f(x)=ht(x),有:
∑ x D t ( x ) e − f ( x ) α t h t ( x ) = e − α t P ( f ( x ) = h t ( x ) ∣ x ) + e α t P ( f ( x ) ≠ h t ( x ) ∣ x ) = e − α t P x ∼ D t [ f ( x ) = h t ( x ) ] + e α t P x ∼ D t [ f ( x ) ≠ h t ( x ) ] = e − α t ( 1 − ϵ t ) + e α t ϵ t (10) \begin{aligned} & \sum_x\mathcal{D_t(x)}e^{-f(x)\alpha_th_t(x)} \\ &=e^{-\alpha_t}P(f(x)=h_t(x)|x)+e^{\alpha_t}P(f(x)\ne h_t(x)|x)\\ &=e^{-\alpha_t}P_x\sim\mathcal{D}_t[f(x)=h_t(x)]+e^{\alpha_t}P_x\sim\mathcal{D}_t[f(x)\ne h_t(x)]\\ &=e^{-\alpha_t}(1-\epsilon_t)+e^{\alpha_t}\epsilon_t \end{aligned} \tag{10} xDt(x)ef(x)αtht(x)=eαtP(f(x)=ht(x)x)+eαtP(f(x)=ht(x)x)=eαtPxDt[f(x)=ht(x)]+eαtPxDt[f(x)=ht(x)]=eαt(1ϵt)+eαtϵt(10)
其中 ϵ t = P x ∼ D t [ f ( x ) ≠ h t ( x ) ] \epsilon_t=P_x\sim\mathcal{D}_t[f(x)\ne h_t(x)] ϵt=PxDt[f(x)=ht(x)],考虑到指数损失函数对 α t \alpha_t αt(权重)求偏导有:

∂ ℓ exp ( α t h t ∣ D t ) ∂ α t = − e − α t ( 1 − ϵ t ) + e α t ϵ t (11) \frac{\partial \ell_{\text{exp}}(\alpha_th_t|\mathcal{D}_t)}{\partial \alpha_t}=-e^{-\alpha_t}(1-\epsilon_t)+e^{\alpha_t}\epsilon_t \tag{11} αtexp(αthtDt)=eαt(1ϵt)+eαtϵt(11)

令式(11)为零有:
α t = 1 2 ln ⁡ ( 1 − ϵ t ϵ t ) (12) \alpha_t=\frac{1}{2}\ln(\frac{1-\epsilon_t}{\epsilon_t}) \tag{12} αt=21ln(ϵt1ϵt)(12)

这正是算法流程图中第六行的权重更新公式。

AdaBoost算法如何解决调整下一轮基学习器样本分布问题?

AdaBoost算法在获得 H t − 1 H_{t-1} Ht1之后的样本分布将进行调整,使得下一轮的基学习器 h t h_t ht能纠正 H t − 1 H_{t-1} Ht1的一些错误,理想的 h t h_t ht能纠正 H t − 1 H_{t-1} Ht1的全部错误,即最小化:

ℓ e x p ( H t − 1 + h t ∣ D ) = E x ∼ D [ e − f ( x ) ( H t − 1 ( x ) + h t ( x ) ) ] = E x ∼ D [ e − f ( x ) H t − 1 ( x ) e − f ( x ) h t ( x ) ] (13) \begin{aligned} \ell_{exp}(H_{t-1}+h_t|\mathcal{D})&=\mathbb{E}_x\sim \mathcal{D}[e^{-f(x)(H_{t-1}(x)+h_t(x))}] \\ &= \mathbb{E}_x\sim \mathcal{D}[e^{-f(x)H_{t-1}(x)}e^{-f(x)h_t(x)}] \\ \end{aligned} \tag{13} exp(Ht1+htD)=ExD[ef(x)(Ht1(x)+ht(x))]=ExD[ef(x)Ht1(x)ef(x)ht(x)](13)

注意到 f ( x ) f(x) f(x) h t ( x ) ∈ { − 1 , + 1 } h_t(x)\in\{-1,+1\} ht(x){1,+1}故, f 2 ( x ) = h t 2 ( x ) = 1 f^2(x)=h^2_t(x)=1 f2(x)=ht2(x)=1,因为 e x ≈ 1 + x + x 2 2 ! + x 3 3 ! + x 4 4 ! + … e^x \approx 1 + x + \frac{x^2}{2!} + \frac{x^3}{3!} + \frac{x^4}{4!} + \ldots ex1+x+2!x2+3!x3+4!x4+;故可对式(13)中的 e − f ( x ) h t ( x ) e^{-f(x)h_t(x)} ef(x)ht(x)泰勒展开近似为:
ℓ e x p ( H t − 1 + h t ∣ D ) ≈ E x ∼ D [ e − f ( x ) H t − 1 ( x ) ( 1 − f ( x ) h t ( x ) ) + f 2 ( x ) h t 2 ( x ) 2 ) ] = E x ∼ D [ e − f ( x ) H t − 1 ( x ) ( 1 − f ( x ) h t ( x ) ) + 1 2 ) ] (14) \begin{aligned} \ell_{exp}(H_{t-1}+h_t|\mathcal{D})&\approx\mathbb{E}_x\sim \mathcal{D}[e^{-f(x)H_{t-1}(x)}(1-f(x)h_t(x))+\frac{f^2(x)h^2_t(x)}{2})] \\ &=\mathbb{E}_x\sim \mathcal{D}[e^{-f(x)H_{t-1}(x)}(1-f(x)h_t(x))+\frac{1}{2})] \end{aligned} \tag{14} exp(Ht1+htD)ExD[ef(x)Ht1(x)(1f(x)ht(x))+2f2(x)ht2(x))]=ExD[ef(x)Ht1(x)(1f(x)ht(x))+21)](14)

于是,理想的基学习器
h t ( x ) = arg min h ℓ e x p ( H t − 1 + h ∣ D ) = arg min h E x ∼ D [ e − f ( x ) H t − 1 ( x ) ( 1 − f ( x ) h ( x ) ) + 1 2 ) ] (15) \begin{aligned} h_t(x)&=\underset{h}{\text{arg min}} \quad \ell_{exp}(H_{t-1}+h|\mathcal{D}) \\ &=\underset{h}{\text{arg min}} \quad \mathbb{E}_x\sim \mathcal{D}[e^{-f(x)H_{t-1}(x)}(1-f(x)h(x))+\frac{1}{2})] \\ \end{aligned} \tag{15} ht(x)=harg minexp(Ht1+hD)=harg minExD[ef(x)Ht1(x)(1f(x)h(x))+21)](15)

因为式(15)中 ( 1 − f ( x ) h t ( x ) ) + 1 2 ) (1-f(x)h_t(x))+\frac{1}{2}) (1f(x)ht(x))+21) 1 1 1 1 2 \frac{1}{2} 21与最终结果无关,故可以省略,且-号变为+号将目标函数从求最小变成求最大值,故式(15)可简化为:
arg min h E x ∼ D [ e − f ( x ) H t − 1 ( x ) ( 1 − f ( x ) h ( x ) ) + 1 2 ) ] = arg max h E x ∼ D [ e − f ( x ) H t − 1 ( x ) f ( x ) h ( x ) ] = arg max h E x ∼ D [ e − f ( x ) H t − 1 ( x ) E x ∼ D [ e − f ( x ) H t − 1 ( x ) ] f ( x ) h ( x ) ] (16) \begin{aligned} &\underset{h}{\text{arg min}} \quad \mathbb{E}_x\sim \mathcal{D}[e^{-f(x)H_{t-1}(x)}(1-f(x)h(x))+\frac{1}{2})] \\ &=\underset{h}{\text{arg max}} \quad \mathbb{E}_x\sim \mathcal{D}[e^{-f(x)H_{t-1}(x)}f(x)h(x)] \\ &=\underset{h}{\text{arg max}} \quad \mathbb{E}_x\sim \mathcal{D}[\frac{e^{-f(x)H_{t-1}(x)}}{\mathbb{E}_x\sim \mathcal{D}[e^{-f(x)H_{t-1}(x)}]}f(x)h(x)] \end{aligned}\tag{16} harg minExD[ef(x)Ht1(x)(1f(x)h(x))+21)]=harg maxExD[ef(x)Ht1(x)f(x)h(x)]=harg maxExD[ExD[ef(x)Ht1(x)]ef(x)Ht1(x)f(x)h(x)](16)

注意到 E x ∼ D [ e − f ( x ) H t − 1 ( x ) ] \mathbb{E}_x\sim \mathcal{D}[e^{-f(x)H_{t-1}(x)}] ExD[ef(x)Ht1(x)]是一个常数。令 D t \mathcal{D}_t Dt表示一个分布,使其更符合概率密度函数的定义:
D t = D ( x ) e − f ( x ) H t − 1 ( x ) E x ∼ D [ e − f ( x ) H t − 1 ( x ) ] (17) \mathcal{D_t}=\frac{\mathcal{D(x)}e^{-f(x)H_{t-1}(x)}}{\mathbb{E}_x\sim \mathcal{D}[e^{-f(x)H_{t-1}(x)}]} \tag{17} Dt=ExD[ef(x)Ht1(x)]D(x)ef(x)Ht1(x)(17)

其中 D t ( x ) \mathcal{D_t}(x) Dt(x)表示未来的分布函数, D ( x ) D(x) D(x)表示过去的分布函数。

根据数学期望的定义,等价于:
h t ( x ) = arg max h E x ∼ D [ e − f ( x ) H t − 1 ( x ) E x ∼ D [ e − f ( x ) H t − 1 ( x ) ] f ( x ) h ( x ) ] = arg max h E x ∼ D t [ f ( x ) h ( x ) ] (18) \begin{aligned} h_t(x)&=\underset{h}{\text{arg max}} \quad \mathbb{E}_x\sim \mathcal{D}[\frac{e^{-f(x)H_{t-1}(x)}}{\mathbb{E}_x\sim \mathcal{D}[e^{-f(x)H_{t-1}(x)}]}f(x)h(x)]\\ &=\underset{h}{\text{arg max}} \quad \mathbb{E}_x\sim \mathcal{D_t}[f(x)h(x)] \end{aligned}\tag{18} ht(x)=harg maxExD[ExD[ef(x)Ht1(x)]ef(x)Ht1(x)f(x)h(x)]=harg maxExDt[f(x)h(x)](18)

由于 f ( x ) , h ( x ) ∈ { − 1 , + 1 } f(x),h(x)\in \{-1,+1\} f(x),h(x){1,+1},有:
f ( x ) h ( x ) = 1 − 2 χ ( f ( x ) ≠ h ( x ) ) (19) f(x)h(x)=1-2\chi{(f(x)\ne h(x))} \tag{19} f(x)h(x)=12χ(f(x)=h(x))(19)
其中 χ ( f ( x ) ≠ h ( x ) ) \chi{(f(x)\ne h(x))} χ(f(x)=h(x))的定义如下:
χ ( f ( x ) ≠ h t ( x ) ) = { 1 如果  f ( x ) ≠ h ( x ) 0 如果  f ( x ) = h ( x ) (20) \chi{(f(x) \ne h_t(x))} = \begin{cases} 1 & \text{如果 } f(x) \ne h(x) \\ 0 & \text{如果 } f(x) = h(x) \end{cases} \tag{20} χ(f(x)=ht(x))={10如果 f(x)=h(x)如果 f(x)=h(x)(20)

则理想的基学习器为:
h t ( x ) = arg min h E x ∼ D t [ χ ( f ( x ) ≠ h ( x ) ) ] (21) h_t(x)=\underset{h}{\text{arg min}} \quad \mathbb{E}_x\sim \mathcal{D_t}[\chi(f(x)\ne h(x))] \tag{21} ht(x)=harg minExDt[χ(f(x)=h(x))](21)

考虑到 D t \mathcal{D_t} Dt D t + 1 \mathcal{D_{t+1}} Dt+1的关系有:
D t + 1 ( x ) = D ( x ) e − f ( x ) H t ( x ) E x ∼ D [ e − f ( x ) H t ( x ) ] = D ( x ) e − f ( x ) ( H t − 1 ( x ) + α t h t ( x ) ) E x ∼ D [ e − f ( x ) H t ( x ) ] = D ( x ) e − f ( x ) H t − 1 ( x ) e − f ( x ) α t h t ( x ) E x ∼ D [ e − f ( x ) H t ( x ) ] = D ( x ) e − f ( x ) H t − 1 ( x ) e − f ( x ) α t h t ( x ) E x ∼ D [ e − f ( x ) H t − 1 ( x ) ] ⋅ E x ∼ D [ e − f ( x ) H t − 1 ( x ) ] E x ∼ D [ e − f ( x ) H t ( x ) ] = D t ( x ) ⋅ e − f ( x ) α t h t ( x ) E x ∼ D [ e − f ( x ) H t − 1 ( x ) ] E x ∼ D [ e − f ( x ) H t ( x ) ] (22) \begin{aligned} \mathcal{D_{t+1}}(x)&=\frac{\mathcal{D(x)}e^{-f(x)H_{t}(x)}}{\mathbb{E}_x\sim \mathcal{D}[e^{-f(x)H_{t}(x)}]} \\ &=\frac{\mathcal{D(x)}e^{-f(x)(H_{t-1}(x)+\alpha_th_t(x))}}{\mathbb{E}_x\sim \mathcal{D}[e^{-f(x)H_{t}(x)}]} \\ &= \frac{\mathcal{D(x)}e^{-f(x)H_{t-1}(x)}e^{-f(x)\alpha_th_t(x)}}{\mathbb{E}_x\sim \mathcal{D}[e^{-f(x)H_{t}(x)}]} \\ &=\frac{\mathcal{D(x)}e^{-f(x)H_{t-1}(x)}e^{-f(x)\alpha_th_t(x)}}{\mathbb{E}_x\sim \mathcal{D}[e^{-f(x)H_{t-1}(x)}]}\cdot \frac{\mathbb{E}_x\sim \mathcal{D}[e^{-f(x)H_{t-1}(x)}]}{\mathbb{E}_x\sim \mathcal{D}[e^{-f(x)H_{t}(x)}]}\\ &=\mathcal{D_t(x)} \cdot e^{-f(x)\alpha_th_t(x)}\frac{\mathbb{E}_x\sim \mathcal{D}[e^{-f(x)H_{t-1}(x)}]}{\mathbb{E}_x\sim \mathcal{D}[e^{-f(x)H_{t}(x)}]} \end{aligned} \tag{22} Dt+1(x)=ExD[ef(x)Ht(x)]D(x)ef(x)Ht(x)=ExD[ef(x)Ht(x)]D(x)ef(x)(Ht1(x)+αtht(x))=ExD[ef(x)Ht(x)]D(x)ef(x)Ht1(x)ef(x)αtht(x)=ExD[ef(x)Ht1(x)]D(x)ef(x)Ht1(x)ef(x)αtht(x)ExD[ef(x)Ht(x)]ExD[ef(x)Ht1(x)]=Dt(x)ef(x)αtht(x)ExD[ef(x)Ht(x)]ExD[ef(x)Ht1(x)](22)

其中 E x ∼ D [ e − f ( x ) H t − 1 ( x ) ] E x ∼ D [ e − f ( x ) H t ( x ) ] \frac{\mathbb{E}_x\sim \mathcal{D}[e^{-f(x)H_{t-1}(x)}]}{\mathbb{E}_x\sim \mathcal{D}[e^{-f(x)H_{t}(x)}]} ExD[ef(x)Ht(x)]ExD[ef(x)Ht1(x)]是常数。这就是AdaBoost算法流程图中第7行的样本分布更新公式。

AdaBoost算法总结

需要注意的是,AdaBoost算法对于无法接受带权样本的基学习算法,可通过重采样法来处理,即在每一轮学习中,根据样本分布对训练集进行重新采样,再用重采样而得到的样本集对基学习器进行训练。

偏差-方差分解是解释模型在预测中的性能时的一种常用方法。在这个角度来看,Boosting算法(例如AdaBoost)可以被解释为一个降低偏差并提高模型复杂度的方法。

  1. 偏差(Bias): 表示模型的预测值与实际值的差异。高偏差意味着模型对训练数据的拟合不足。在Boosting中,通过迭代训练弱学习器,并对先前模型分类错误的样本进行更多关注,模型逐渐减小了偏差。每个弱学习器可能拟合不足,但通过组合它们,整个模型能够更好地适应训练数据。

  2. 方差(Variance): 表示模型对训练数据的敏感性。高方差意味着模型对训练数据的小扰动很敏感,可能导致对新数据的泛化能力较差。Boosting通过降低弱学习器的方差来提高整个模型的泛化能力。每个弱学习器都是一个简单的模型,通常是一个深度较浅的决策树桩,因此具有较低的方差。

在Boosting中,每一轮迭代都会调整样本的权重,使得模型更加关注先前分类错误的样本。这种调整增加了模型对先前被错误分类的样本的拟合程度,降低了偏差。与此同时,通过使用多个弱学习器的组合,整体模型具有较低的方差,更有助于泛化到新数据。

总体而言,Boosting通过对高偏差、低方差的弱学习器的集成,实现了偏差-方差的权衡,提高了整体模型的性能和泛化能力。

实验分析

这个数据集包含了工作经验得分、技能熟练度得分、沟通能力得分、学历水平得分以及录取标签。我们的目标是利用工作经验、技能熟练度、沟通能力和学历等属性信息,通过机器学习模型来预测一个人是否被录取。

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.ensemble import AdaBoostClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn.metrics import accuracy_score# 读取数据
data = pd.read_csv('data/adaboost_recruitment_dataset_scores.csv')
data

在这里插入图片描述

# 分离特征和标签
X = data.drop('录取标签', axis=1)
y = data['录取标签']# 将数据分为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

用决策树算法

# 创建决策树分类器
decision_tree_clf = DecisionTreeClassifier(max_depth=1, random_state=42)# 训练模型
decision_tree_clf.fit(X_train, y_train)# 在测试集上进行预测
y_pred_decision_tree = decision_tree_clf.predict(X_test)# 评估准确性
decision_tree_accuracy = accuracy_score(y_test, y_pred_decision_tree)
print(f'准确性: {decision_tree_accuracy:.2f}')

准确性: 0.87
用AdaBoost算法

# 创建 AdaBoostClassifier 的实例,使用决策树作为基分类器
base_classifier = DecisionTreeClassifier(max_depth=1)
adaboost_clf = AdaBoostClassifier(base_classifier, n_estimators=60, random_state=42)# 训练模型
adaboost_clf.fit(X_train, y_train)# 在测试集上进行预测
y_pred_adaboost = adaboost_clf.predict(X_test)# 评估准确性
adaboost_accuracy = accuracy_score(y_test, y_pred_adaboost)
print(f'准确性: {adaboost_accuracy:.2f}')

准确性: 0.92
绘制评价图像

import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.metrics import confusion_matrix, classification_reportplt.rcParams['font.sans-serif'] = ['SimHei']  # 设置中文字体为黑体
plt.rcParams['axes.unicode_minus'] = False  # 解决坐标轴负号'-'显示为方块的问题# 绘制单一决策树的混淆矩阵
conf_matrix_decision_tree = confusion_matrix(y_test, y_pred_decision_tree)
plt.figure(figsize=(12, 5))plt.subplot(1, 2, 1)
sns.heatmap(conf_matrix_decision_tree, annot=True, fmt='d', cmap='Blues', xticklabels=['负类', '正类'], yticklabels=['负类', '正类'])
plt.xlabel('预测标签')
plt.ylabel('真实标签')
plt.title('决策树混淆矩阵')# 绘制 AdaBoost 的混淆矩阵
conf_matrix_adaboost = confusion_matrix(y_test, y_pred_adaboost)plt.subplot(1, 2, 2)
sns.heatmap(conf_matrix_adaboost, annot=True, fmt='d', cmap='Blues', xticklabels=['负类', '正类'], yticklabels=['负类', '正类'])
plt.xlabel('预测标签')
plt.ylabel('真实标签')
plt.title('AdaBoost混淆矩阵')plt.tight_layout()
plt.show()# 打印单一决策树的分类报告
print("单一决策树分类报告:\n", classification_report(y_test, y_pred_decision_tree))# 打印 AdaBoost 的分类报告
print("AdaBoost分类报告:\n", classification_report(y_test, y_pred_adaboost))

在这里插入图片描述

单一决策树分类报告:precision    recall  f1-score   support0.0       0.90      0.85      0.87       1061.0       0.84      0.89      0.87        94accuracy                           0.87       200macro avg       0.87      0.87      0.87       200
weighted avg       0.87      0.87      0.87       200AdaBoost分类报告:precision    recall  f1-score   support0.0       0.92      0.92      0.92       1061.0       0.91      0.90      0.91        94accuracy                           0.92       200macro avg       0.91      0.91      0.91       200
weighted avg       0.91      0.92      0.91       200

根据上述分析报告,可知AdaBoost模型相对于单一决策树表现更佳,具有更高的准确度和综合指标。在AdaBoost中,对未被录取和被录取的预测精确性较高,同时识别实际样本的能力也表现出色,呈现出更好的泛化性能。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/642104.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

架构篇08:架构设计三原则

文章目录 合适原则简单原则演化原则小结 成为架构师是每个程序员的梦想&#xff0c;但并不意味着把编程做好就能够自然而然地成为一个架构师&#xff0c;优秀程序员和架构师之间还有一个明显的鸿沟需要跨越&#xff0c;这个鸿沟就是“不确定性”。 对于编程来说&#xff0c;本…

【Docker】在centos中安装nginx

&#x1f389;&#x1f389;欢迎来到我的CSDN主页&#xff01;&#x1f389;&#x1f389; &#x1f3c5;我是平顶山大师&#xff0c;一个在CSDN分享笔记的博主。&#x1f4da;&#x1f4da; &#x1f31f;推荐给大家我的博客专栏《【Docker】安装nginx》。&#x1f3af;&#…

7+细胞焦亡+ceRNA+实验验证,如何脱离套路求创新?

导语 今天给同学们分享一篇生信文章“Dissection of pyroptosis-related prognostic signature and CASP6-mediated regulation in pancreatic adenocarcinoma: new sights to clinical decision-making”&#xff0c;这篇文章发表在Apoptosis期刊上&#xff0c;影响因子为7.2。…

【JAVA】我和我的第一个“对象”相遇

&#x1f308;个人主页: Aileen_0v0 &#x1f525;热门专栏: 华为鸿蒙系统学习|计算机网络|数据结构与算法 ​&#x1f4ab;个人格言:“没有罗马,那就自己创造罗马~” #mermaid-svg-zAjv1fTLGQmnqncy {font-family:"trebuchet ms",verdana,arial,sans-serif;font-siz…

安泰ATA-2082高压放大器如何驱动超声探头进行无损检测

无损检测技术是一种在不破坏或影响被检测物体性能的前提下&#xff0c;通过物理或化学方法对其内部或表面的缺陷进行检测的技术。在无损检测领域&#xff0c;超声检测是一种广泛应用的方法&#xff0c;而ATA-2082高压放大器则是实现高效、精确超声检测的关键设备之一。本期内容…

HTTPS基本概念

HTTP 与 HTTPS 有哪些区别&#xff1f; HTTP 是超文本传输协议&#xff0c;信息是明文传输&#xff0c;存在安全风险的问题。HTTPS 则解决 HTTP 不安全的缺陷&#xff0c;在 TCP 和 HTTP 网络层之间加入了 SSL/TLS 安全协议&#xff0c;使得报文能够加密传输。HTTP 连接建立相…

CVE-2024-0738 Mldong ExpressionEngine RCE漏洞分析

漏洞描述 A vulnerability, which was classified as critical, has been found in ???? mldong 1.0. This issue affects the function ExpressionEngine of the file com/mldong/modules/wf/engine/model/DecisionModel.java. The manipulation leads to code injection…

Vue+Element(el-switch的使用)+springboot

目录 1、编写模板 2、发送请求 3、后端返数据 1.Controller类 2.interface接口&#xff08;Service层接口&#xff09; 3.Service&#xff08;接口实现&#xff09; 4.interface接口&#xff08;Mapper层接口&#xff09; 5.xml 6.效果 4、el-switch属性 1、编写模板 …

数字图像处理(实践篇)二十六 使用cvlib进行人脸检测、性别检测和目标检测

目录 1 安装cvlib 2 涉及的函数 3 实践 4 其他 cvlib一个简单,高级,易于使用的开源Python计算机视觉库。 1 安装cvlib # 安装依赖pip install opencv-python tensorflow# 安装cvlibpip install cvlib</

iLO 安装中文固件包

前言 安装中文版本的安装包&#xff0c;需要把对应的ilo安装到固定的版本上&#xff0c;ilo的版本是2.70。必须是这个版本&#xff1b; 如果不是这个版本就需要刷到对应的ilo版本 下载对应的固件包。 到这个界面选择文件&#xff0c;然后点击上载。 以上就是刷系统包的步骤。 …

MATLAB 和 Octave 之间的区别

MATLAB 和 Octave 之间的区别 MATLAB 和 Octave 有一些区别&#xff0c;但大多数都是相同的。你可以说 Octave 是 MATLAB 的免费版本&#xff0c;语法几乎与 MATLAB 相同。但是 MATLAB 比 Octave 具有更多功能&#xff0c;就像具有 Simulink 一样&#xff0c;后者用于开发和分…

前端基于XLSX实现数据导出到Excel表格,以及提示“文件已经被损坏,无法打开”的解决方法

文章目录 一、vue实现导出excel1、前端实现1、安装xlsx依赖2、引入3、方法4、使用4.1、将一个二维数组转成sheet4.2、将一个对象数组转成sheet4.3、合并单元格4.4、一次导出多个sheet 5、支持的文件格式 2、后端实现 二、导出文件损坏1、前端请求导出接口&#xff0c;增加返回类…

宝塔FTP文件传输服务结合cpolar内网穿透实现远程连接本地服务

⛳️ 推荐 前些天发现了一个巨牛的人工智能学习网站&#xff0c;通俗易懂&#xff0c;风趣幽默&#xff0c;忍不住分享一下给大家。点击跳转到网站。 文章目录 ⛳️ 推荐1. Linux安装Cpolar2. 创建FTP公网地址3. 宝塔FTP服务设置4. FTP服务远程连接小结 5. 固定FTP公网地址6. 固…

C++ 20 Module

头文件包含一直是C/C的传统&#xff0c;它使代码声明与实现分离&#xff0c;但它有一个非常大的问题就是会被重复编译&#xff0c;拖累编译速度。 通常一个标准头文件iostream展开后可能达几十万甚至上百万行。笔者使用下面的示例进行测试&#xff0c;新建一个main.cc&#xf…

C++:迭代器失效问题

目录 1.vector迭代器失效问题 1.底层空间改变 ​编辑 2.指定位置元素的删除操作 2.Linux下的迭代器失效检测 1.扩容 2.删除 3.解决方法 1.vector迭代器失效问题 迭代器的主要作用就是让算法能够不用关心底层数据结构&#xff0c;其底层实际就是一个指针&#xff0c;或者是…

前端使用css去除input框的默认样式

关键点&#xff1a; /* 关键点&#xff0c;让输入框无边框 */outline:none; border:none; 1.效果图 2.html <div class"container"><input type"text" placeholder"请输入用户名"><input type"text" placeholder&q…

springboot+mysql校园社团信息管理系统-计算机毕业设计源码62756

目 录 摘要 第1章 绪论 1.1 研究背景 1.2 研究意义 1.3论文结构与章节安排 第2章 相关技术 ....... 2.1开发技术 2.2 Java简介 2.3 MVVM模式 2.4 B/S结构 2.5 MySQL数据库 2.6 SpringBoot框架介绍 第3章 系统分析 6 3.1 可行性分析 6 3.2 系统流程分析 6 3.3 …

详解华为铁三角工作法完全解密.ppt

华为铁三角工作法是华为“以客户为中心”的思想在客户界面的集中体现。是一种以客户经理、方案经理和交付经理为核心的销售方法&#xff0c;将为客户服务所需要的主要能力&#xff0c;一直延伸到客户界面&#xff0c;并统一运作。 华为铁三角工作法的核心&#xff1a; - 让听…

CC工具箱使用指南:【现状规划用地变化检查(村规)】

一、简介 在规划工作中&#xff0c;有一个普遍性的需求&#xff0c;就是需要检查规划前后在用地上究竟发生了哪些变化。 这一点很重要&#xff0c;不仅是要展示给别人看&#xff0c;自己也要十分注意。 规划方案完成后&#xff0c;一定要进行用地变化的检查&#xff0c;曾经…

定时任务组件Quartz

1.Quartz介绍 官网&#xff1a;Quartz Enterprise Job Scheduler 2.Quartz框架的使用思路 1&#xff09;job - 任务 - 你要做什么事&#xff1f; 2&#xff09;Trigger - 触发器 - 你什么时候去做&#xff1f; 3&#xff09;Scheduler - 任务调度 - 你什么时候需要去做什么…