Task1  赛题理解

一、学习知识点概要

本次学习先是介绍了赛题的背景和概况，题目以金融风控中的个人信贷为背景，给所给的47列特征中，根据贷款申请人的数据信息预测其是否有违约的可能，以此判断是否通过贷款。随后介绍了比赛中的评价指标，出现的相关知识点有：

1.混淆矩阵（Confuse Matrix）

2.准确率（Accuracy）

3.精确率（Precision）

4.召回率（Recall）

5.F1 Score

6.P-R曲线（Precision-Recall Curve）

7.ROC（Receiver Operating Characteristic）

8.AUC(Area Under Curve)

9.KS(Kolmogorov-Smirnov)

二、学习内容

1.混淆矩阵（Confuse Matrix）

混淆矩阵是什么呢？混淆矩阵是数据科学、数据分析和机器学习中总结分类模型预测结果的情形分析表，以矩阵的形式将数据集中的记录按照真实的类别与分类模型作出的分类判断两个标准进行汇总。这个名字来源于它可以非常容易的表明多个类别是否有混淆。用于得出分类正确和错误的样本数量。一般的混淆矩阵是n×n的。

在我们要解的二元分类问题（即判断一个东西是不是我们所认为的东西）中，混淆矩阵通常是2×2的。我们可以将分类的结果归为正类和负类（或阳性和阴性），先用我们构建出来的预测模型将样本进行分类，然后再查看样本的真实分类，将对比结果放入矩阵中。判断结果归类如下：

• （1）若一个实例是正类，并且被预测为正类，即为真正类TP(True Positive )
• （2）若一个实例是正类，但是被预测为负类，即为假负类FN(False Negative )
• （3）若一个实例是负类，但是被预测为正类，即为假正类FP(False Positive )
• （4）若一个实例是负类，并且被预测为负类，即为真负类TN(True Negative ）

矩阵中数据的填写可看下图

矩阵中的数据便为被判断为该种结果的样本个数。

2.混淆矩阵的延伸概念

单用一个混淆矩阵无法对模型进行准确全面的评价，由此延伸出与混淆矩阵相关的概念，有：准确率（Accuracy）、精确率（Precision）、召回率（Recall）、F1 Score、P-R曲线

其计算公式如下：

注意：准确率并不适用于样本不均衡的情况

关于F1 Score的作用，精确率和召回率是相互影响的，精确率升高则召回率下降，召回率升高则精确率下降，如果需要兼顾二者，就需要精确率、召回率的结合F1 Score

P-R曲线：P-R曲线是描述精确率和召回率变化的曲线，召回率为横轴，精确率为纵轴。模型在为样本分类时会有一个置信度，即表示该样本是正样本的概率。通过置信度就可以对所有样本进行排序，再逐个样本的选择一个阈值，在该样本之前的都属于正例，该样本之后的都属于负例。每一个样本作为划分阈值时，都可以计算对应的precision和recall，那么就可以以此绘制曲线。

3.ROC（Receiver Operating Characteristic）

ROC为一种曲线，以两种新出现的指标分别作为横轴和纵轴。ROC将假正例率（FPR）定义为 X 轴，真正例率（TPR）定义为 Y 轴。

FPR：在所有实际为阴性的样本中，被错误地判断为阳性之比率 。

 

TPR：在所有实际为阳性的样本中，被正确地判断为阳性之比率。

ROC曲线的作用：

I.ROC曲线能很容易的查出任意阈值对学习器的泛化性能影响。

II.有助于选择最佳的阈值（如何选择本次不做描述）。ROC曲线越靠近左上角，模型的准确性就越高。最靠近左上角的ROC曲线上的点是分类错误最少的最好阈值，其假正例和假反例总数最少。

III.可以对不同的学习器比较性能。将各个学习器的ROC曲线绘制到同一坐标中，直观地鉴别优劣，靠近左上角的ROC曲所代表的学习器准确性最高。

4.AUC（Area Under Curve）

AUC（Area Under Curve）被定义为ROC曲线下的面积。我们往往使用AUC值作为模型的评价标准是因为很多时候ROC曲线并不能清晰的说明哪个预测模型的效果更好，而作为一个数值，对应AUC更大的预测模型效果更好。

AUC就是曲线下面积，在比较不同的分类模型时，可以将每个模型的ROC曲线都画出来，比较曲线下面积做为模型优劣的指标。ROC 曲线下方的面积(Area under the Curve)，其意义是：

（1）因为是在1x1的方格里求面积，AUC必在0~1之间。

（2）假设阈值以上是阳性，以下是阴性；

（3）若随机抽取一个阳性样本和一个阴性样本，分类器正确判断阳性样本的值高于阴性样本的概率 = AUC 。

（4）简单说：AUC值越大的分类器，正确率越高。

从AUC 判断分类器（预测模型）优劣的标准：

• AUC = 1，是完美分类器。

• AUC = [0.85, 0.95], 效果很好

• AUC = [0.7, 0.85], 效果一般

• AUC = [0.5, 0.7],效果较低，但用于预测股票已经很不错了

• AUC = 0.5，跟随机猜测一样（例：丢铜板），模型没有预测价值

5.KS(Kolmogorov-Smirnov)

在数理统计中，可用于检验数据是否符合某种分布。在风控中，KS常用于评估模型区分度。区分度越大，说明模型的风险排序能力（ranking ability）越强。 K-S曲线与ROC曲线类似，不同在于K-S曲线将真正例率和假正例率都作为纵轴，横轴则由选定的阈值来充当。 公式为：

一般情况KS值越大，模型的区分能力越强，但是也不是越大模型效果就越好，如果KS过大，模型可能存在异常。一般的评判标准如下：

KS	区分能力
0.2以下	基本无区分能力
[0.2,0.4]	一般
(0.4,0.5]	良好
(0.5,0.6]	较强
(0.6,0.75]	非常强
0.75以上	过高，存疑

 

三、学习问题与解答

初次看Task1的时候，一下子冒出很多没见过的知识和名词感觉头都晕乎乎的。虽然里面已经列出了好一些概念，但是它的定义、用来干什么、怎么用都还需要自己在去查，去学习。比如一开始看到混淆矩阵，TP、TN、FN、FP到底是什么意思单看是Task1很难看明白，在百度上搜了之后也还是迷迷糊糊，最后还是查找了各种文章学习之后才知道混淆矩阵的作用以及混淆矩阵该怎么样写。

现在出现的问题还有很多，比如后面的Python代码还没看明白，P-R曲线的阈值怎么选取，以及选取阈值出来的作用是什么都不是很明白，对这些知识还没有系统的了解。

四、学习思考与总结

思考下来就是需要学习的东西还有很多，虽说是金融风控0基础的训练营，但是对我这种在Task1里出现的知识和Python真正0基础的人来说挑战还是蛮大的。了解到的这些知识也不系统，而且也是一知半解，以后还需要多多与别人交流和学习。