Python28-10 LightGBM对乳腺癌数据集进行分类

LightGBM（Light Gradient Boosting Machine）是一个梯度提升框架，由微软开发。它用于机器学习中的分类、回归和排序等任务，特别适合处理大规模数据和高维特征。LightGBM的核心是梯度提升决策树（GBDT）算法，但它在此基础上做了多种优化，使其在速度和内存使用方面优于传统的GBDT实现。LightGBM的数学原理基于梯度提升决策树（Gradient Boosting Decision Trees, GBDT），而GBDT本身是一个集成学习算法。

1. 梯度提升决策树（GBDT）

GBDT是通过逐步构建多个决策树，并通过每棵树来纠正前一棵树的错误。具体而言：

初始模型：通常从一个简单的模型开始，比如预测所有样本的平均值。
残差计算：计算当前模型的残差（即预测值与真实值之间的差异）。
决策树训练：训练一棵新的决策树来拟合残差。
模型更新：将新决策树的预测值加到当前模型中。

每次迭代的公式为：

其中：

是第次迭代的模型。
是学习率，控制每棵树对最终模型的贡献。
是第棵决策树的预测值。

2. LightGBM的改进

LightGBM在GBDT的基础上做了许多优化，以提高训练速度和效率：

(1) 基于直方图的算法

传统的GBDT每次分裂节点时都要对所有特征值进行排序，时间复杂度较高。LightGBM通过将连续特征值离散化成直方图的形式来加速分裂过程。具体步骤如下：

构建直方图：将特征值划分成多个bin（桶）。
统计每个bin中的样本数量和目标值的总和。
选择最佳分裂点：在直方图的基础上计算各个分裂点的增益，选择增益最大的分裂点。

(2) 带深度限制的叶子增长策略

LightGBM采用了一个叫做“Leaf-wise”的策略，而不是传统的“Level-wise”策略：

Level-wise：按层次生长，每层增加一层深度。
Leaf-wise：每次选择增益最大的叶子进行分裂。

Leaf-wise策略能够更好地减少损失，但容易导致不平衡的树结构。为此，LightGBM引入了最大深度限制，以防止过拟合。

3. 数学公式与损失函数

LightGBM的目标是最小化损失函数，一般情况下使用平方误差或交叉熵损失。以平方误差为例，损失函数为：

其中：

是第个样本的真实值。
是模型的预测值。

在每次迭代中，通过计算损失函数的负梯度作为残差，来训练下一棵决策树。这一过程可以看作是用梯度下降法来优化模型参数。

LightGBM通过多种优化方法（如基于直方图的分裂、Leaf-wise的增长策略等），在保留GBDT强大预测能力的同时，提高了训练速度和效率。这些优化方法的数学原理相对复杂，但总体思路仍然是基于梯度提升决策树的框架。

LightGBM的Python实例

我们选择乳腺癌数据集，乳腺癌数据集包含了569个样本，每个样本都有30个特征。这些特征主要描述了细胞核的特性（如半径、质地、周长、面积等），目标变量是样本是否为恶性肿瘤（标记为1）或良性肿瘤（标记为0）。

import lightgbm as lgb  # 导入LightGBM库
import pandas as pd  # 导入Pandas库，用于数据处理
import numpy as np  # 导入Numpy库，用于数值计算
from sklearn.datasets import load_breast_cancer  # 从sklearn库导入乳腺癌数据集
from sklearn.model_selection import train_test_split  # 导入train_test_split，用于划分数据集
from sklearn.metrics import accuracy_score, roc_auc_score, confusion_matrix  # 导入评估指标
import matplotlib.pyplot as plt  # 导入Matplotlib库，用于绘图
import seaborn as sns  # 导入Seaborn库，用于绘制热力图# 加载乳腺癌数据集
data = load_breast_cancer()
# 将数据集转换为Pandas DataFrame格式
X = pd.DataFrame(data.data, columns=data.feature_names)
# 将目标变量转换为Pandas Series格式
y = pd.Series(data.target)# 划分训练集和测试集，80%用于训练，20%用于测试
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)# 创建LightGBM数据集，用于训练
train_data = lgb.Dataset(X_train, label=y_train)
# 创建LightGBM数据集，用于测试
test_data = lgb.Dataset(X_test, label=y_test, reference=train_data)# 设置LightGBM模型参数
params = {'objective': 'binary',  # 二分类任务'metric': 'auc',  # 评估指标使用AUC'boosting_type': 'gbdt',  # 使用梯度提升决策树'num_leaves': 31,  # 每棵树的最大叶子数'learning_rate': 0.05,  # 学习率'feature_fraction': 0.9  # 每次迭代使用90%的特征
}# 设置早停回调，若验证集上AUC在10轮内没有提升，则停止训练
callbacks = [lgb.early_stopping(stopping_rounds=10)]# 训练LightGBM模型
bst = lgb.train(params, train_data, num_boost_round=100, valid_sets=[test_data], callbacks=callbacks)# 使用训练好的模型进行预测
y_pred = bst.predict(X_test, num_iteration=bst.best_iteration)
# 将预测概率转换为二进制分类结果（0或1）
y_pred_binary = (y_pred > 0.5).astype(int)# 评估模型的准确率
accuracy = accuracy_score(y_test, y_pred_binary)
# 评估模型的ROC AUC值
roc_auc = roc_auc_score(y_test, y_pred)# 打印模型的准确率和ROC AUC值
print(f'Accuracy: {accuracy:.4f}')
print(f'ROC AUC: {roc_auc:.4f}')# 计算混淆矩阵
conf_matrix = confusion_matrix(y_test, y_pred_binary)
# 使用Seaborn绘制混淆矩阵的热力图
sns.heatmap(conf_matrix, annot=True, fmt='d', cmap='Blues', xticklabels=data.target_names, yticklabels=data.target_names)
# 设置混淆矩阵的标签
plt.xlabel('Predicted')
plt.ylabel('True')
plt.title('Confusion Matrix')
# 显示混淆矩阵图
plt.show()# 绘制特征重要性图，按分裂次数排序
lgb.plot_importance(bst, max_num_features=10, importance_type='split')
plt.title('Feature Importance (split)')
# 显示特征重要性图
plt.show()# 绘制特征重要性图，按信息增益排序
lgb.plot_importance(bst, max_num_features=10, importance_type='gain')
plt.title('Feature Importance (gain)')
# 显示特征重要性图
plt.show()# 输出：
'''
Accuracy: 0.6228
ROC AUC: 0.9689
'''

可视化结果：

混淆矩阵的左上角（第一个象限）显示模型预测为“malignant”且实际也是“malignant”的样本数。在这个矩阵中，该值为0，表示没有正确预测出恶性肿瘤。
右上角（第二个象限）显示模型预测为“benign”但实际是“malignant”的样本数。该值为43，表示有43个恶性肿瘤被错误分类为良性肿瘤。
左下角（第三个象限）显示模型预测为“malignant”但实际是“benign”的样本数。该值为0，表示没有良性肿瘤被错误分类为恶性肿瘤。
右下角（第四个象限）显示模型预测为“benign”且实际也是“benign”的样本数。该值为71，表示有71个良性肿瘤被正确分类为良性肿瘤。

从这个混淆矩阵来看，模型的性能非常不理想。模型无法正确分类恶性肿瘤样本，而能正确分类的只是良性肿瘤。可能需要调整模型参数、增加特征工程或者尝试不同的模型来提高分类性能。

从上图中可知，模型在进行分类时对不同特征的依赖程度如下：

特征重要性最高的前三个特征（按分裂次数）

mean_radius（平均半径）
- 分裂次数最多，重要性最高。
- 在决策树中，它是被最频繁用来分裂数据的特征。
worst_texture（最差质地）
- 分裂次数为3，说明这个特征也是模型中重要的特征之一。
mean_concave_points（平均凹点数）
- 分裂次数为3，表明这个特征对模型的分类也有显著影响。

根据特征重要性图（按信息增益排序）来看，模型在进行分类时对不同特征的依赖程度如下：

特征重要性最高的前三个特征（按信息增益排序）

mean_concave_points（平均凹点数）
- 信息增益最高，为588.950。
- 这是模型中最重要的特征，对模型决策贡献最大。
worst_radius（最差半径）
- 信息增益为48.979，显示其在模型中的重要性。
- 这是第二重要的特征。
worst_concave_points（最差凹点数）
- 信息增益为29.814，表明该特征对模型分类有显著影响。

两种特征重要性的对比

分裂次数（split）重要性

分裂次数（split）重要性显示了每个特征在决策树中被用于分裂的频率。它的用途和意义包括：

模型解释性：通过查看哪些特征被频繁使用，可以了解模型在决策过程中更依赖哪些特征。
特征选择：高分裂次数的特征通常对模型性能有重要影响，可以作为重要特征保留。
特征工程：可以基于这些特征进行进一步的数据处理和特征工程，提高模型的性能。

信息增益（gain）重要性

信息增益（gain）重要性显示了每个特征在决策树中分裂时带来的信息增益。它的用途和意义包括：

模型优化：高信息增益的特征对模型的预测性能贡献更大，优化这些特征可以显著提升模型性能。
特征选择：信息增益高的特征可以作为模型的核心特征进行保留，而信息增益低的特征可能对模型贡献较小，可以考虑去除。
模型解释性：帮助理解哪些特征对模型的决策影响最大，尤其是在关键节点上的决策。

改进后的代码：

import lightgbm as lgb  # 导入LightGBM库
import pandas as pd  # 导入Pandas库，用于数据处理
import numpy as np  # 导入Numpy库，用于数值计算
from sklearn.datasets import load_breast_cancer  # 从sklearn库导入乳腺癌数据集
from sklearn.model_selection import train_test_split, GridSearchCV  # 导入train_test_split和GridSearchCV，用于划分数据集和交叉验证
from sklearn.metrics import accuracy_score, roc_auc_score, confusion_matrix  # 导入评估指标
import matplotlib.pyplot as plt  # 导入Matplotlib库，用于绘图
import seaborn as sns  # 导入Seaborn库，用于绘制热力图# 加载乳腺癌数据集
data = load_breast_cancer()
# 将数据集转换为Pandas DataFrame格式
X = pd.DataFrame(data.data, columns=data.feature_names)
# 将目标变量转换为Pandas Series格式
y = pd.Series(data.target)# 划分训练集和测试集，80%用于训练，20%用于测试
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)# 创建LightGBM数据集，用于训练
train_data = lgb.Dataset(X_train, label=y_train)
# 创建LightGBM数据集，用于测试
test_data = lgb.Dataset(X_test, label=y_test, reference=train_data)# 设置初始参数
params = {'objective': 'binary',  # 二分类任务'metric': 'auc',  # 评估指标使用AUC'boosting_type': 'gbdt',  # 使用梯度提升决策树'num_leaves': 31,  # 每棵树的最大叶子数'learning_rate': 0.01,  # 降低学习率'feature_fraction': 0.8,  # 每次分裂使用80%的特征'bagging_fraction': 0.8,  # 每次训练使用80%的数据'bagging_freq': 5,  # 每5次迭代进行一次重采样'lambda_l1': 0.1,  # L1正则化'lambda_l2': 0.1  # L2正则化
}# 设置早停回调，若验证集上AUC在50轮内没有提升，则停止训练
callbacks = [lgb.early_stopping(stopping_rounds=50)]# 使用交叉验证来选择最佳参数
grid_params = {'num_leaves': [31, 41, 51],  # 叶子节点数的候选值'learning_rate': [0.01, 0.05, 0.1],  # 学习率的候选值'n_estimators': [100, 200, 500]  # 迭代次数的候选值
}# 创建LGBMClassifier对象
gbm = lgb.LGBMClassifier(**params)# 使用GridSearchCV进行交叉验证
grid = GridSearchCV(gbm, grid_params, scoring='roc_auc', cv=5)
# 训练模型并寻找最佳参数
grid.fit(X_train, y_train)# 输出最佳参数
print(f'Best parameters found by grid search are: {grid.best_params_}')# 使用最佳参数训练模型
best_params = grid.best_params_
# 将最佳参数与初始参数合并，用于训练模型
bst = lgb.train({**params, **best_params}, train_data, num_boost_round=500, valid_sets=[test_data], callbacks=callbacks)# 预测
y_pred = bst.predict(X_test, num_iteration=bst.best_iteration)
# 将预测概率转换为二进制分类结果（0或1）
y_pred_binary = (y_pred > 0.5).astype(int)# 评估模型的准确率
accuracy = accuracy_score(y_test, y_pred_binary)
# 评估模型的ROC AUC值
roc_auc = roc_auc_score(y_test, y_pred)# 打印模型的准确率和ROC AUC值
print(f'Accuracy: {accuracy:.4f}')
print(f'ROC AUC: {roc_auc:.4f}')# 计算混淆矩阵
conf_matrix = confusion_matrix(y_test, y_pred_binary)
# 使用Seaborn绘制混淆矩阵的热力图
sns.heatmap(conf_matrix, annot=True, fmt='d', cmap='Blues', xticklabels=data.target_names, yticklabels=data.target_names)
# 设置混淆矩阵的标签
plt.xlabel('Predicted')
plt.ylabel('True')
plt.title('Confusion Matrix')
# 显示混淆矩阵图
plt.show()# 绘制特征重要性图，按分裂次数排序
lgb.plot_importance(bst, max_num_features=10, importance_type='split')
plt.title('Feature Importance (split)')
# 显示特征重要性图
plt.show()# 绘制特征重要性图，按信息增益排序
lgb.plot_importance(bst, max_num_features=10, importance_type='gain')
plt.title('Feature Importance (gain)')
# 显示特征重要性图
plt.show()# 输出
'''
Accuracy: 0.9737
ROC AUC: 0.9951
'''

可视化输出结果：

此时模型已经能较为准确地对测试集中的114个细胞样本进行分类。模型正确地将41个恶性肿瘤分类为恶性肿瘤。右上角2表示模型将2个恶性肿瘤错误地分类为良性肿瘤。左下角1表示模型将1个良性肿瘤错误地分类为恶性肿瘤。右下角70表示模型正确地将70个良性肿瘤分类为良性肿瘤。

对比与分析

模型表现：
- 新模型的混淆矩阵显示分类性能显著提升。准确率、精确率、召回率和F1分数都比之前有明显改善。
- 新模型的准确率为97.37%，比之前的模型（62.3%）高得多，说明调整参数后的模型性能更好。
特征重要性：
- 按分裂次数：新的特征重要性图显示了一些特征，如worst_texture和mean_texture被频繁用于分裂，表明这些特征对模型决策有重要影响。
- 按信息增益：信息增益高的特征如worst_concave_points和mean_concave_points对模型决策贡献巨大，表明这些特征在关键节点上提供了大量信息。