混淆矩阵

混淆矩阵又称误差矩阵，针对预测值和真实值之间的关系，我们可以将样本分为四个部分，分别是： 真正例（True Positive，TP）：预测值和真实值都为1 假正例（False Positive，FP）：预测值为1，真实值为0 真负例（True Negative，TN）:预测值与真实值都为0 假负例（False Negative，FN）：预测值为0，真实值为1
假定一个实验有 P个positive实例，在某些条件下有 N 个negative实例。那么上面这四个输出可以用下面的偶然性表格（或混淆矩阵）来表示：

混淆矩阵的API

from sklearn.metrics import confusion_matrix 
confusion_matrix = confusion_matrix(y_test, y_predict)

分类准确率 accuracy

所有样本中被预测正确的样本的比率分类模型总体判断的准确率(包括了所有class的总体准确率)准确率的API:

from sklearn.metrics import accuracy
accuracy = accuracy_score(y_test, y_predict)

精确率Precision

预测为正类0的准确率:Precision=TP / ( TP + FP )

from sklearn.metrics import precision_score
precision = precision_score(y_test, y_predict)

召回率 recall

真实为0的准确率:

真实为1的准确率:Recall = TN/(TN+FP)
召回率API：

from sklearn.metrics import recall_score 
recall = recall_score(y_test, y_predict)

recall得到的是一个list，是每一类的召回率。

F1值

F1值用来衡量二分类模型精确度的一种指标。它同时兼顾了分类模型的准确率和召回率。F1分数可以看作是模型准确率和召回率的一种加权平均，它的最大值是1，最小值是0。
F1=2*（Precision* recall/Precision+recall）

from sklearn.metric simport f1_score 
f1_score(y_test, y_predict)

Roc曲线、AUC

TPR FPR样本中的真实正例类别总数即TP+FN
TPR即True Positive Rate，TPR = TP/(TP+FN)。
TPR：真实的正例0中，被预测为正例的比例
样本中的真实反例类别总数为FP+TN
FPR即False Positive Rate，FPR=FP/(TN+FP)。
FPR：真实的反例1中，被预测为正例的比例
**理想分类器：**TPR=1，FPR=0
截断点thresholds： 机器学习算法对test样本进行预测后，可以输出各test样本对某个类别的相似度概率。比如t1是P类别的概率为0.3，一般我们认为概率低于0.5，t1就属于类别N。这里的0.5，就是”截断点”。

ROC曲线ROC曲线越接近左上角，代表模型越好，即ACU接近1
利用ROC的其他评估标准AUC(area under thecurve)，也就是ROC曲线的下夹面积，越大说明分类器越好，较大值是1。