为什么要评估?

在进行数据分析时，尤其是在使用像sklearn这样的机器学习库建立模型后，模型评估的重要性不言而喻。模型评估不仅是对模型性能的一次全面检验，更是确保模型在实际应用中能够达到预期效果的关键步骤。

首先，模型评估有助于我们了解模型的性能表现。通过评估，我们可以知道模型在训练集和测试集上的准确率、精确率、召回率等指标，从而判断模型是否达到了预期的分类或预测效果。

其次，模型评估有助于我们进行模型优化。在评估过程中，我们可能会发现模型在某些特定情况下表现不佳，如对于某些类别的分类效果较差或对于某些特征的预测能力较弱。这些信息可以指导我们进行模型调整，如修改模型参数、增加特征或改变特征处理方式等，以提升模型的性能。

此外，模型评估还有助于我们进行模型选择。在实际应用中，我们通常会尝试多种不同的模型来解决同一个问题。通过评估各种模型的性能，我们可以选择出最适合当前任务的模型。这不仅可以提高解决问题的效率，还可以确保我们使用的模型是最优的。

最后，模型评估还有助于我们确保模型的泛化能力。一个好的模型不仅应该在训练集上表现良好，还应该在未见过的数据上具有良好的性能。通过评估模型在测试集上的表现，我们可以对模型的泛化能力有一个大致的了解，从而判断模型是否能够在实际应用中稳定地发挥作用。

1.模型建立

import pandas as pd
import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt
from IPython.display import Image
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifierfrom sklearn.model_selection import train_test_split# 一般先取出X和y后再切割，有些情况会使用到未切割的，这时候X和y就可以用,x是清洗好的数据，y是我们要预测的存活数据'Survived'
data = pd.read_csv('clear_data.csv')
train = pd.read_csv('train.csv')
X = data
y = train['Survived']# 对数据集进行切割
# stratify参数分层抽样，保证数据划分均匀，防止全是某一类的数据
X_train, X_test, y_train, y_test = train_test_split(X, y, stratify=y, random_state=0)# 默认参数逻辑回归模型
lr = LogisticRegression()
lr.fit(X_train, y_train)

2.模型评估

• 交叉验证（cross-validation）是一种评估泛化性能的统计学方法，它比单次划分训练集和测试集的方法更加稳定、全面。在交叉验证中，数据被多次划分，并且需要训练多个模型。
• 最常用的交叉验证是 k 折交叉验证（k-fold cross-validation），其中 k 是由用户指定的数字，通常取 5 或 10。

• 准确率（precision）度量的是被预测为正例的样本中有多少是真正的正例
• 召回率（recall）度量的是正类样本中有多少被预测为正类
• f-分数是准确率与召回率的调和平均

1.交叉验证 ：

 leg.将数据分为五等分，一份作测试集其他四份作训练集，交叉验证不同划分情况的预测效果。

from sklearn.model_selection import cross_val_scorelr = LogisticRegression(C=100)
# cv参数决定交叉数据集这么划分
scores = cross_val_score(lr, X_train, y_train, cv=10)# k折交叉验证分数
scores# 平均交叉验证分数
print("Average cross-validation score: {:.2f}".format(scores.mean()))

          

 2.混淆矩阵

• 计算二分类问题的混淆矩阵
• 计算精确率、召回率以及f-分数

混淆矩阵也叫误差矩阵，是表示精度评价的一种标准格式。

• TN表示负的类.....
• 负的类预测为负的类，则就是Ture负类（真的负类）..
• 同理，正的的类预测为负的类，则就是False负类（假的负类）..
• 与医学中的假阳性和假阴性一样划分原理

 例子：

多分类问题时多元混淆矩阵二分化，只需要将矩阵划分为正确预测和没有正确预测的。

from sklearn.metrics import confusion_matrix# 训练模型
lr = LogisticRegression(C=100)
lr.fit(X_train, y_train)# 模型预测结果
pred = lr.predict(X_train)# 混淆矩阵
# 0死亡，1幸存
confusion_matrix(y_train, pred, labels=[0,1])from sklearn.metrics import classification_report# 分类报告
# 精确率、召回率以及f1-score
print(classification_report(y_train, pred))

 死亡人数355+57人，其中成功预测355人，错误预测为存活的57人。

3.ROC曲线

（ROC曲线）接受者操作特性曲线，是指在特定刺激条件下，以被试在不同判断标准下所得的虚报概率P（y/N）为横坐标，以击中概率P（y/SN）为纵坐标，画得的各点的连线。

 横轴：虚惊率，纵轴：击中率。因此图像右上凸越好。

• ROC曲线在sklearn中的模块为sklearn.metrics
• ROC曲线下面所包围的面积越大越好

绘制一条ROC曲线： 

from sklearn.metrics import roc_curve# roc_curve,使用函数
#  lr.decision_function逻辑回归中的参数
# 返回的是array，一些值，需要再画出来
fpr, tpr, thresholds = roc_curve(y_test, lr.decision_function(X_test))# 画图
plt.plot(fpr, tpr, label="ROC Curve")
# False Positive Rate
plt.xlabel("FPR")
# Ture Positive Rate
plt.ylabel("TPR (recall)")# 找到最接近于0的阈值(最优点)
# 判断正负类的边界值
# 对参数thresholds求绝对值，然后找到最接近0的，并保存坐标
close_zero = np.argmin(np.abs(thresholds))
plt.plot(fpr[close_zero], tpr[close_zero], 'o', markersize=10, label="threshold zero", fillstyle="none", c='k', mew=2)
# 对角线
plt.plot([0, 1], [0, 1],'r--')
plt.legend(loc=4)

在这里我加了对角线：

 绘制多条ROC曲线：

# 多个模型，多条ROC曲线
from sklearn.metrics import roc_curve, auc# 调参后的模型
lr2 = LogisticRegression()
lr2.fit(X_train, y_train)
lr_pred2 = lr2.predict(X_train)rfc2 = RandomForestClassifier(n_estimators=100, max_depth=5)
rfc2.fit(X_train, y_train)
rfc2_pred2 = rfc2.predict(X_train)# RandomForestClassifier 类并没有decision_function 这个属性或方法。fpr, tpr, thresholds = roc_curve(y_test, lr.decision_function(X_test))
fpr2, tpr2, thresholds2 = roc_curve(y_test, lr2.decision_function(X_test))
# 使用predict_proba来获取概率估计
fpr3, tpr3, thresholds3 = roc_curve(y_test, rfc2.predict_proba(X_test)[:,1])# 计算 ROC AUC
roc_auc = auc(fpr, tpr)
roc_auc2 = auc(fpr2, tpr2)
roc_auc3 = auc(fpr3, tpr3)# 画图
plt.plot(fpr, tpr, label='ROC curve1 (area = %0.3f)' % roc_auc)
plt.plot(fpr2, tpr2, 'm', label='ROC curve1 (area = %0.3f)' % roc_auc2)
plt.plot(fpr3, tpr3, 'y', label='ROC curve1 (area = %0.3f)' % roc_auc3)
plt.plot([0, 1], [0, 1],'r--')# False Positive Rate
plt.xlabel("FPR")
# Ture Positive Rate
plt.ylabel("TPR (recall)")
# 添加图例，不需要传递任何参数
plt.legend()
plt.show()

 在这个过程中遇到三个问题，

1、RandomForestClassifier函数没有decision_function 这个属性或方法；

解决：使用predict_proba函数来获取概率估计

fpr3, tpr3, thresholds3 = roc_curve(y_test, rfc2.predict_proba(X_test)[:,1])

2、画图时图例无法显示

解决：添加图例，不需要传递任何参数

plt.legend()
plt.show()

3、多曲线画图时根据视频用的另一个函数plt_roc_curve，我的sklearn.metrics里没有，可能是版本的问题。