1混淆矩阵
在分类任务下,预测结果与正确标记之间存在四种不同的组合,构成混淆矩阵(适用于多分类)
TP = True Possitive
FN = False Negative
2精确率(Precision)与召回率(Recall)
- 精确率:预测结果为正例样本中真实为正例的比例
- 召回率:真实为正例的样本中预测结果为正例的比例(查得全,对正样本的区分能力)
还有其他的评估标准,F1-score,反映了模型的稳健型。
3分类评估报告API
- sklearn.metrics.classification_report(y_true,y_pred,labels=[],target_names=None )
- y_true:真实目标值
- y_pred:估计器预测目标值
- labels:指定类别对应的数字
- target_names:目标类别名称
- return:每个类别精确率与召回率
假设这样一个情况,如果99个样本癌症,1个样本非癌症,不管怎样我全都预测正例(默认癌症为正例),准确率就为99%但是这样效果并不好,这就是样本不均衡下的评估问题
准确率:99%
召回率:99/99 = 100%
精确率:99%
F1-score:2*99%*100%/ 199% = 99.497%
问题:如何衡量样本不均衡下的评估?
答:ROC曲线与AUC指标