机器学习基础08-模型选择02-分类算法矩阵（基于Pima 数据集）

算法评估矩阵（Algorithm Evaluation Metrics）用于评估机器学习算法在特定任务上的性能。不同的任务可能会使用不同的评估矩阵，因为每个任务的优劣衡量标准都不同。

分类算法矩阵

分类问题或许是最常见的机器学习问题，并且有多种评估矩阵来评估
分类算法。以下几种用来评估分类算法的评估矩阵：
· 分类准确度。
· 对数损失函数（Logloss）。
· AUC图。
· 混淆矩阵。
· 分类报告（Classification Report）。

分类准确度

分类准确度就是算法自动分类正确的样本数除以所有的样本数得出的结果。

分类准确度 = 算法自动分类正确的样本数 / 所有的样本数

通常，准确度越高，分类器越好。这是分类算法中最常见，也最易被误用的评估参数。准确度确实是一个很好、很直观的评价指标，但是有时候准确度高并不代表算法就一定好。

比如对某个地区某天地震的预测，
假设有一堆的特征作为地震分类的属性，类别却只有两个（0：不发生地震，1：发生地震）。一个不加思考的分类器对每一个测试用例都将类别划分为 0，那它就可能达到 99%的准确度，但真的地震时，这个分类器却毫无察觉，这个分类器造成的损失是巨大的。为什么拥有 99%的准确度的分类器却不是我们想要的，因为数据分布不均衡，类别1的数据太少，完全错分类别1依然可以达到很高的准确度，却忽视了需要关注的事实和现象。

代码如下：


import pandas as pd
from sklearn.linear_model import LogisticRegressionfrom sklearn.model_selection import cross_val_score, ShuffleSplit#数据预处理
path = 'D:\down\\archive\\diabetes.csv'
data = pd.read_csv(path)#将数据转成数组
array = data.values
#分割数据，去掉最后一个标签
X = array[:, 0:8]Y = array[:, 8]
# 分割数据集
n_splits = 10# 随机数种子
seed = 7
# K折交叉验证,将数据分成10份，9份训练，1份测试,重复10次,取平均值,得到最终模型,评估模型
kfold = ShuffleSplit(n_splits=n_splits, random_state=seed)
# 逻辑回归,使用lbfgs求解器,最大迭代次数1000,默认是100,如果模型没有收敛,可以适当增大
model = LogisticRegression(solver='lbfgs', max_iter=1000)
# 训练模型
result = cross_val_score(model, X, Y, cv=kfold)
# 记录方法结束时间
print("算法评估结果准确度：%.3f (%.3f)" % (result.mean(), result.std()))

运行结果：

算法评估结果准确度：0.782 (0.052)

对数损失函数

在逻辑回归的推导中，它假设样本服从伯努利分布（0～1分布），然后求得满足该分布的似然函数，再取对数、求极值等。而逻辑回归并没有求似然函数的极值，而是把极大化当作一种思想，进而推导出它的经验风险函数为：最小化负的似然函数

[max F（y，f（x））→min-F（y，f（x））]。

从损失函数的视角来看，它就成了对数（Log）损失函数了。对数损失函数越小，模型就越好，而且使损失函数尽量是一个凸函数，便于收敛计算。

示例代码：


import pandas as pd
from sklearn.linear_model import LogisticRegressionfrom sklearn.model_selection import cross_val_score, ShuffleSplit#数据预处理
path = 'D:\down\\archive\\diabetes.csv'
data = pd.read_csv(path)#将数据转成数组
array = data.values
#分割数据，去掉最后一个标签
X = array[:, 0:8]Y = array[:, 8]
# 分割数据集
n_splits = 10# 随机数种子
seed = 7
# K折交叉验证,将数据分成10份，9份训练，1份测试,重复10次,取平均值,得到最终模型,评估模型
kfold = ShuffleSplit(n_splits=n_splits, random_state=seed)
# 逻辑回归,使用lbfgs求解器,最大迭代次数1000,默认是100,如果模型没有收敛,可以适当增大
model = LogisticRegression(solver='lbfgs', max_iter=1000)scoring = 'neg_log_loss'
# 训练模型
result = cross_val_score(model, X, Y, cv=kfold, scoring=scoring)
# 记录方法结束时间
print("neg_log_loss：%.3f (%.3f)" % (result.mean(), result.std()))

运行结果：

neg_log_loss：-0.477 (0.065)

AUC图

ROC AUC是用于评估二分类算法性能的指标。ROC曲线是以不同的分类阈值为基础绘制了真阳性率（True Positive Rate, TPR，也称为召回率）与假阳性率（False Positive Rate, FPR）之间的关系曲线。AUC是ROC曲线下的面积，取值范围在0到1之间。AUC越大表示模型的性能越好，AUC等于1时表示模型完美分类，AUC等于0.5时表示模型的分类能力与随机分类相当。

ROC和AUC是评价分类器的指标。ROC是受试者工作特征曲线（Receiver Operating Characteristic Curve）的简写，又称为感受性曲线（Sensitivity Curve）。

得此名的原因在于曲线上各点反映相同的感受性，它们都是对同一信号刺激的反应，只不过是在几种不同的判定标准下所得的结果而已。ROC是反映敏感性和特异性连续变量的综合指标，用构图法揭示敏感性和特异性的相互关系，通过将连续变量设定出多个不同的临界值计算出一系列敏感性和特异性，再以敏感性为纵坐标、（1-特异性）为横坐标绘制成曲线。

AUC是ROC曲线下的面积（Area Under ROC Curve）的简称，顾名思义，AUC的值就是处于ROC
Curve下方的那部分面积的大小。

通常，AUC的值介于0.5到1.0之间，AUC的值越大，诊断准确性越
高。在ROC曲线上，靠近坐标图左上方的点为敏感性和特异性均较高的临界值。

ROC AUC是用于评估二分类算法性能的指标。ROC曲线是以不同的分类阈值为基础绘制了真阳性率（True Positive Rate,
TPR，也称为召回率）与假阳性率（False Positive Rate,
FPR）之间的关系曲线。AUC是ROC曲线下的面积，取值范围在0到1之间。AUC越大表示模型的性能越好，AUC等于1时表示模型完美分类，AUC等于0.5时表示模型的分类能力与随机分类相当。

为了解释ROC的概念，让我们考虑一个二分类问题，即将实例分成正类（Positive）或负类（Negative）。对一个二分类问题来说，会出现四种情况：

如果一个实例是正类并且也被预测成正类，即为真正类（True
Positive）；
如果实例是负类却被预测成正类，称之为假正类（False
Positive）。
如果实例是负类也被预测成负类，称之为真负类（True Negative）；
如果实例为正类却被预测成负类，则为假负类（FalseNegative）。

列联表或混淆矩阵如下表所示，“1”代表正类，“0”代表负类。

在这里插入图片描述
基于该列联表，定义敏感性指标为：sensitivity=TP/（TP+FN）。敏感性指标又称为真正类率（True Positive Rate，TPR），计算的是分类器所识别出的正实例占所有正实例的比例。

另外，定义负正类率（False Positive Rate，FPR）的计算公式为：FPR=FP/（FP+TN），负正类率计算的是分类器错认为正类的负实例占所有负实例的比例。

定义特异性指标为：Specificity=TN/（FP+TN）=1-FPR。特异性指标又称为真负类率（True Negative Rate，TNR）。

代码如下：


import pandas as pd
from sklearn.linear_model import LogisticRegressionfrom sklearn.model_selection import cross_val_score, ShuffleSplit#数据预处理
path = 'D:\down\\archive\\diabetes.csv'
data = pd.read_csv(path)#将数据转成数组
array = data.values
#分割数据，去掉最后一个标签
X = array[:, 0:8]Y = array[:, 8]
# 分割数据集
n_splits = 10# 随机数种子
seed = 7
# K折交叉验证,将数据分成10份，9份训练，1份测试,重复10次,取平均值,得到最终模型,评估模型
kfold = ShuffleSplit(n_splits=n_splits, random_state=seed)
# 逻辑回归,使用lbfgs求解器,最大迭代次数1000,默认是100,如果模型没有收敛,可以适当增大
model = LogisticRegression(solver='lbfgs', max_iter=1000)scoring = 'roc_auc'
# 训练模型
result = cross_val_score(model, X, Y, cv=kfold, scoring=scoring)
# 记录方法结束时间
print("roc_auc：%.3f (%.3f)" % (result.mean(), result.std()))

运行结果：

roc_auc：0.839 (0.054)

ROC AUC（Receiver Operating Characteristic Area Under the Curve）的评估结果为0.839，其中括号内的0.054表示标准差。

在给出的结果中，ROC AUC为0.839，说明模型的分类性能较好，它相对于随机分类有明显的优势。标准差为0.054表示这个评估结果在不同数据集或实验中可能会有一定的波动，但整体上来看，该模型的性能是比较稳定的。

值得注意的是，ROC AUC只适用于二分类问题，对于多类别分类问题，可以考虑使用一些其他的指标，如平均精确率均值（Mean Average Precision, mAP）等。

混淆矩阵

混淆矩阵（Cnfusion Matrix）主要用于比较分类结果和实际测得值，可以把分类结果的精度显示在一个混淆矩阵里面。混淆矩阵是可视化工具，特别适用于监督学习，在无监督学习时一般叫作匹配矩阵。混淆矩阵的每列代表预测类别，每列的总数表示预测为该类别的数据的数目；每行代表数据的真实归属类别，每行的数据总数表示该类别的数据的数目。每列中的数值表示真实数据被预测为该类的数目。

如下表所示，有150个样本数据，这些数据分成 3 类，每类 50 个。
分类结束后得到的混淆矩阵，每行之和为50，表示50个样本。

第一行说明类1的50个样本有43个分类正确，5个错分为类2，2个错分为类3。

在这里插入图片描述
代码示例：

使用Pandas库读取糖尿病数据集，并将数据转换为数组形式。
将特征和标签分别赋值给X和Y。
使用train_test_split函数将数据集分割为训练集和测试集，其中测试集占33%。
创建一个逻辑回归模型，并使用训练集拟合模型。
使用模型对测试集进行预测，并计算混淆矩阵。
输出混淆矩阵的DataFrame形式。

代码如下：


import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import confusion_matrixfrom sklearn.model_selection import cross_val_score, ShuffleSplit, train_test_split#数据预处理
path = 'D:\down\\archive\\diabetes.csv'
data = pd.read_csv(path)#将数据转成数组
array = data.values
#分割数据，去掉最后一个标签
X = array[:, 0:8]Y = array[:, 8]
# 分割数据集test_size = 0.33
# 随机数种子
seed = 7
# 分割数据集
X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size=test_size, random_state=seed)
# 逻辑回归,使用lbfgs求解器,最大迭代次数1000,默认是100,如果模型没有收敛,可以适当增大
model = LogisticRegression(solver='lbfgs', max_iter=1000)# 训练模型
model.fit(X_train, Y_train)# 评估模型
predictions = model.predict(X_test)# 混淆矩阵
matrix = confusion_matrix(Y_test, predictions)classes = ['0', '1']# 创建混淆矩阵
dataframe = pd.DataFrame(matrix, index=classes, columns=classes)
# 绘制热力图
print(dataframe)

运行结果：

     0   1
0  142  20
1   34  58

根据输出的混淆矩阵，可以解释如下：

阴性（类别0）的样本中，模型正确地预测了142个样本，但错误地将20个样本预测为了阳性（假阳性）。
阳性（类别1）的样本中，模型正确地预测了58个样本，但错误地将34个样本预测为了阴性（假阴性）。

通过混淆矩阵，我们可以计算出一系列分类算法的评估指标：

精确率（Precision）：对于预测为阳性（类别1）的样本中，有58个样本是真正的阳性，所以Precision为58 / (58 + 20) ≈ 0.7436。

召回率（Recall）：对于实际为阳性（类别1）的样本中，有58个样本被正确地预测为阳性，所以Recall为58 / (58 + 34) ≈ 0.6304。

F1分数（F1-Score）：综合考虑Precision和Recall的调和平均值，F1-Score = 2 * (Precision * Recall) / (Precision + Recall) ≈ 0.6832。

准确率（Accuracy）：计算预测正确的样本数占总样本数的比例，即 (142 + 58) / (142 + 20 + 34 + 58) ≈ 0.7765。

这些评估指标能够帮助我们更全面地了解分类算法在这个特定任务上的性能。根据实际需求，可以选择合适的评估指标来衡量模型的性能。

分类报告

分类报告（classification_report）是一个包含精确率、召回率、F1分数等指标的报告，用于评估分类模型的性能。通常，它会显示每个类别的指标，并在最后提供一个加权平均值或宏平均值。

在 scikit-learn 中提供了一个非常方便的工具，可以给出对分类问题的评估报告，Classification_report（）方法能够给出精确率(precision）、召回率（recall）、F1值（F1-score）和样本数目（support）。在这里简单地介绍一下三个指标数据：精确率、召回率、F1值。

在介绍这三个指标数据之前，我们先定义TP、FN、FP、TN四种分类
情况，我们借助下表来说明。

在这里插入图片描述

精确率的公式P=TP/（TP+FP），计算的是所有被检索到的项目中应该被检索到的项目占的比例。

召回率的公式R=TP/（TP+FN），计算的是所有检索到的项目占所有应该检索到的项目的比例。

F1值就是精确率和召回率的调和均值，也就是2F1=P+R。

代码如下：


import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import classification_reportfrom sklearn.model_selection import train_test_split#数据预处理
path = 'D:\down\\archive\\diabetes.csv'
data = pd.read_csv(path)#将数据转成数组
array = data.values
#分割数据，去掉最后一个标签
X = array[:, 0:8]Y = array[:, 8]
# 分割数据集test_size = 0.33
# 随机数种子
seed = 4
# 分割数据集
X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size=test_size, random_state=seed)
# 逻辑回归,使用lbfgs求解器,最大迭代次数1000,默认是100,如果模型没有收敛,可以适当增大
model = LogisticRegression(solver='lbfgs', max_iter=1000)# 训练模型
model.fit(X_train, Y_train)# 评估模型
predictions = model.predict(X_test)report = classification_report(Y_test, predictions)print(report)

运行结果：

              precision    recall  f1-score   support0.0       0.84      0.87      0.86       1711.0       0.71      0.66      0.69        83accuracy                           0.80       254macro avg       0.78      0.77      0.77       254
weighted avg       0.80      0.80      0.80       254

根据给出的分类报告，逻辑回归模型在测试集上的性能如下：

对于类别0（阴性）：精确率（Precision）为0.84，召回率（Recall）为0.87，F1分数为0.86。说明模型在预测阴性样本时，有较高的精确性和召回率，F1分数也较高。
对于类别1（阳性）：精确率为0.71，召回率为0.66，F1分数为0.69。说明模型在预测阳性样本时，精确率和召回率相对较低，F1分数也较低。
accuracy（准确率）为0.80，表示模型在测试集上的整体准确率为80%。
macro avg（宏平均值）是所有类别的平均值，精确率为0.78，召回率为0.77，F1分数为0.77。
weighted avg（加权平均值）是根据各类别样本数量加权的平均值，精确率为0.80，召回率为0.80，F1分数为0.80。

综合来看，该逻辑回归模型在阴性样本上表现较好，但在阳性样本上表现相对较差。整体上，模型的准确率为80%，在不同类别上的F1分数在0.69到0.86之间。根据具体任务的要求，可以根据分类报告中的指标来调整模型或优化特征，以改善模型的性能。