机器学习模型评估指标总结

 常用机器学习算法包括分类、回归、聚类等几大类型，以下针对不同模型总结其评估指标

一、分类模型

常见的分类模型包括：逻辑回归、决策树、朴素贝叶斯、SVM、神经网络等，模型评估指标包括以下几种：

（1）二分类问题

　　（a）混淆矩阵

　　　　准确率A：预测正确个数占总数的比例

　　　　精准率P：正例样本中有多少被预测正确了

　　　　召回率R：预测的正例样本中有多少是正确的

　　　　F1 Score（精准率与召回率集成）：2P*R/(P+R)

　　（b）ROC曲线：ROC曲线应尽量偏离参考线，越靠近左上越好

　　（c）AUC：ROC曲线下面积，参考线面积为0.5，AUC应大于0.5，且偏离越多越好

　　（d）Lift曲线：表示“运用该模型”与“未运用该模型即随机选择”所得结果的比值，Lift应该移植大于1，且Lift(提升指数)越大，模型预测效果越好

（2）多分类问题

　　评价多分类模型一般采用准确率作为评估指标

二、回归模型

常见的回归模型包括线性回归、多项式回归、Lasso回归、岭回归、弹性网络、SVM、神经网络，评估指标见以下总结

（1）MSE

　　均方误差，SSE/m，值越小代表拟合效果越好，用来衡量不同模型对于同一数据集的拟合效果

（2）R^2

　　决定系数，1-SSE/SST，用于度量模型的解释能力，是相关系数的平方，取值范围为0~1，越接近1表示模型参考价值越高，在scikit-learn中LinearRegression.score就是使用的决定系数，也可以使用专门的库metrics.r2_score

（3）修正的R^2

　　在多元线性回归中，决定系数会虚高，加一个自变量就会增大，加公式进行修正  1-[SSE/(n-p-1)/[SST/(n-1)]，得到修正的决定系数

三、聚类模型

常见的聚类模型有KMeans、密度聚类、层次聚类等，主要从簇内的稠密成都和簇间的离散程度来评估聚类的效果，评估指标包括：

（1）轮廓系数 Silhouette Corfficient

　　轮廓系数由凝聚度和分离度共同构成，组内SSE越小，组间SSB越大，聚类效果越好，轮廓系数在-1~1之间，值越大，聚类效果越好

（2）协方差系数 Calinski-Harabaz Index

　　类别内部数据协方差越小越好，类别之间协方差越大越好，这样协方差系数会越高。