深入Scikit-learn：掌握Python最强大的机器学习库

Scikit-learn是一个基于Python的开源机器学习库，广泛用于数据挖掘和数据分析。以下是一些Scikit-learn中常用知识点的代码演示：

1. 导入库和准备数据

# 导入所需的库
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
# 加载数据集，这里以鸢尾花数据集为例
iris = datasets.load_iris()
X = iris.data  # 特征
y = iris.target  # 标签# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)# 特征缩放
scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)

2. 线性回归

from sklearn.linear_model import LinearRegression# 创建线性回归模型
lr = LinearRegression()# 训练模型
lr.fit(X_train, y_train)# 预测
y_pred = lr.predict(X_test)# 评估模型
from sklearn.metrics import mean_squared_error
print("Mean Squared Error:", mean_squared_error(y_test, y_pred))

3. 逻辑回归

from sklearn.linear_model import LogisticRegression# 创建逻辑回归模型
log_reg = LogisticRegression()# 训练模型
log_reg.fit(X_train, y_train)# 预测
y_pred = log_reg.predict(X_test)# 评估模型
from sklearn.metrics import accuracy_score
print("Accuracy:", accuracy_score(y_test, y_pred))

4. 决策树

from sklearn.tree import DecisionTreeClassifier# 创建决策树分类器
dt = DecisionTreeClassifier()# 训练模型
dt.fit(X_train, y_train)# 预测
y_pred = dt.predict(X_test)# 评估模型
print("Accuracy:", accuracy_score(y_test, y_pred))

5. 随机森林

from sklearn.ensemble import RandomForestClassifier# 创建随机森林分类器
rf = RandomForestClassifier(n_estimators=100)# 训练模型
rf.fit(X_train, y_train)# 预测
y_pred = rf.predict(X_test)# 评估模型
print("Accuracy:", accuracy_score(y_test, y_pred))

6. 支持向量机(SVM)

from sklearn.svm import SVC# 创建SVM分类器
svm = SVC()# 训练模型
svm.fit(X_train, y_train)# 预测
y_pred = svm.predict(X_test)# 评估模型
print("Accuracy:", accuracy_score(y_test, y_pred))

7. K-近邻(KNN)

from sklearn.neighbors import KNeighborsClassifier# 创建KNN分类器
knn = KNeighborsClassifier(n_neighbors=5)# 训练模型
knn.fit(X_train, y_train)# 预测
y_pred = knn.predict(X_test)# 评估模型
print("Accuracy:", accuracy_score(y_test, y_pred))

8. 模型持久化

import joblib# 保存模型
joblib.dump(lr, 'linear_regression_model.pkl')# 加载模型
loaded_lr_model = joblib.load('linear_regression_model.pkl')# 使用加载的模型进行预测
loaded_y_pred = loaded_lr_model.predict(X_test)

这些示例涵盖了Scikit-learn中的一些基本概念和常用算法。

在机器学习项目中，特征工程、参数调优和模型评估是提高模型性能的关键步骤。以下是一些示例代码，展示如何使用Scikit-learn进行这些步骤：

特征工程

特征工程包括特征选择、特征提取和特征转换等操作。

特征选择

使用SelectKBest进行特征选择：

from sklearn.feature_selection import SelectKBest, f_classif# 选择最好的k个特征
k = 4  # 例如选择4个特征
selector = SelectKBest(f_classif, k=k)
X_train_selected = selector.fit_transform(X_train, y_train)
X_test_selected = selector.transform(X_test)

特征提取

使用PCA进行主成分分析：

from sklearn.decomposition import PCA# 降维到2个主成分
pca = PCA(n_components=2)
X_train_pca = pca.fit_transform(X_train)
X_test_pca = pca.transform(X_test)

参数调优

使用GridSearchCV或RandomizedSearchCV进行参数调优：

from sklearn.model_selection import GridSearchCV
from sklearn.ensemble import RandomForestClassifier# 定义参数网格
param_grid = {'n_estimators': [100, 200, 300],'max_depth': [None, 10, 20],'min_samples_split': [2, 5, 10]
}# 创建随机森林分类器
rf = RandomForestClassifier()# 创建GridSearchCV对象
grid_search = GridSearchCV(estimator=rf, param_grid=param_grid, cv=5, n_jobs=-1)# 训练模型
grid_search.fit(X_train, y_train)# 打印最佳参数
print("Best parameters:", grid_search.best_params_)

模型评估

使用交叉验证和不同的评估指标来评估模型性能：

from sklearn.model_selection import cross_val_score
from sklearn.metrics import classification_report, confusion_matrix# 使用交叉验证评估模型
scores = cross_val_score(rf, X_train, y_train, cv=5)
print("Accuracy scores:", scores)
print("Mean accuracy:", scores.mean())# 使用最佳参数训练模型
best_rf = grid_search.best_estimator_# 训练和预测
best_rf.fit(X_train, y_train)
y_pred = best_rf.predict(X_test)# 打印分类报告
print(classification_report(y_test, y_pred))# 打印混淆矩阵
print(confusion_matrix(y_test, y_pred))