Python机器学习中的模型评估与优化技术

1. 📊 模型评估与优化

1.1 交叉验证与模型评估指标

模型评估是机器学习过程中的关键步骤，确保模型不仅在训练数据上表现良好，也能在未见数据上具有良好的泛化能力。交叉验证（Cross-Validation）是一种常用的评估方法，其基本思想是将数据集分成多个子集，循环使用每个子集进行模型的训练和验证。这种方法有助于更全面地评估模型性能。

在Python中，使用 scikit-learn 库中的 cross_val_score 函数可以轻松实现交叉验证。以下是一个示例，使用K近邻算法评估模型的准确率：

from sklearn.datasets import load_iris
from sklearn.model_selection import cross_val_score
from sklearn.neighbors import KNeighborsClassifier# 加载数据
iris = load_iris()
X = iris.data
y = iris.target# 创建K近邻模型
model = KNeighborsClassifier(n_neighbors=3)# 进行交叉验证
scores = cross_val_score(model, X, y, cv=5)  # 5折交叉验证
print(f"交叉验证准确率: {scores}")
print(f"平均准确率: {scores.mean():.2f}")

在此示例中，使用5折交叉验证来评估K近邻模型的性能，通过平均准确率来总结模型在不同数据划分下的表现。

除了准确率，其他重要的评估指标包括精确率（Precision）、召回率（Recall）和F1-score。这些指标在不同的应用场景中起着不同的作用，尤其是在类不平衡的问题中，精确率和召回率更为重要。以下是这些指标的定义：

准确率（Accuracy）：分类正确的样本占总样本的比例。
精确率（Precision）：被模型预测为正类的样本中，实际为正类的比例。
召回率（Recall）：实际为正类的样本中，被模型正确预测为正类的比例。
F1-score：精确率与召回率的调和平均值，尤其在数据不平衡时表现出色。

在实际应用中，综合这些评估指标可以帮助选择最佳模型。以下是计算这些指标的代码示例：

from sklearn.model_selection import train_test_split
from sklearn.metrics import precision_score, recall_score, f1_score
from sklearn.ensemble import RandomForestClassifier# 拆分数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)# 训练模型
model = RandomForestClassifier(n_estimators=100)
model.fit(X_train, y_train)# 进行预测
y_pred = model.predict(X_test)# 计算评估指标
precision = precision_score(y_test, y_pred, average='weighted')
recall = recall_score(y_test, y_pred, average='weighted')
f1 = f1_score(y_test, y_pred, average='weighted')print(f"精确率: {precision:.2f}")
print(f"召回率: {recall:.2f}")
print(f"F1-score: {f1:.2f}")

该代码段展示了如何计算精确率、召回率和F1-score，以全面评估模型的表现。通过这些评估指标，可以深入理解模型在不同情况下的有效性，从而为后续的优化提供依据。

1.2 超参数调优

超参数调优（Hyperparameter Tuning）是优化机器学习模型性能的重要步骤。超参数是模型结构中的可调参数，与模型训练过程中学习到的参数不同，例如决策树的最大深度、K近邻的邻居数量等。合适的超参数设置能够显著提升模型的性能。

在Python中，scikit-learn 提供了多种方法进行超参数调优，其中最常用的是网格搜索（Grid Search）和随机搜索（Random Search）。网格搜索通过遍历所有可能的参数组合来寻找最佳超参数，而随机搜索则在给定范围内随机选择参数组合进行测试，通常能更快速地找到接近最佳的参数。

以下是网格搜索的示例代码：

from sklearn.model_selection import GridSearchCV# 定义参数范围
param_grid = {'n_neighbors': [1, 3, 5, 7, 9],'weights': ['uniform', 'distance']
}# 创建K近邻模型
model = KNeighborsClassifier()# 创建网格搜索模型
grid_search = GridSearchCV(model, param_grid, cv=5, scoring='accuracy')
grid_search.fit(X, y)# 输出最佳参数和对应的准确率
print(f"最佳参数: {grid_search.best_params_}")
print(f"最佳准确率: {grid_search.best_score_:.2f}")

在此代码示例中，定义了K近邻模型的超参数范围，并使用5折交叉验证评估每个参数组合的准确率，最终输出最佳参数设置和对应的模型准确率。

随机搜索的实现类似，以下是对应的示例代码：

from sklearn.model_selection import RandomizedSearchCV
from scipy.stats import randint# 定义参数分布
param_dist = {'n_neighbors': randint(1, 20),'weights': ['uniform', 'distance']
}# 创建K近邻模型
model = KNeighborsClassifier()# 创建随机搜索模型
random_search = RandomizedSearchCV(model, param_dist, n_iter=10, cv=5, scoring='accuracy', random_state=42)
random_search.fit(X, y)# 输出最佳参数和对应的准确率
print(f"最佳参数: {random_search.best_params_}")
print(f"最佳准确率: {random_search.best_score_:.2f}")