模型评估:对预测函数地预测精度的评估。
多重回归:涉及三个及其以上的变量的回归问题。
评估模型的方法:
交叉验证:将数据集分成测试集和训练集,可以采用3:7或者2:8的比例方式进行划分,使用测试集进行对模型的评估,对测试数据计算测试数据的误差的平方,再取其平均值,也就是以前提及的均方差MSE(Mean Square Error,误差越小,精度越高):
TP:True Positive,预测正确(T),实际为正,预测为正
FP:False Positive,预测错误(F),实际为负,预测为正
TN:True Negative,预测正确(T),实际为负,预测为负
FN:False Negative,预测错误(F),实际为正,预测为负
分类准确率公式:其值越高,则模型精度越高,意味着模型越好(在数据量平衡的情况下)
如何在不考虑数据量是否均衡的情况下,使得其能更好评估模型,这就涉及精确率公式:
该值越高,说明被错误分类的样本越少
同时还有另外一个评估模型的指标公式,其为召回率Recall:
三个公式总结图:
所以一般评估模型采用分类准确率acc、精确率P、召回率R来综合来评价一个模型。但是一般来说,精确率P和召回率R会一个高一个低,需要对其进行取舍。所以为了更为全面的评估一个模型的好坏,故引入F值,F值是能够综合评定模型性能的指标。F值的公式如下所示:
该F值的公式称为F1值更为准确,因为这是在β权重为1时的公式表达式,F1值为精确率和召回率的调和平均值。其更为普适的公式为Fβ公式:
在计算P、R、F值的时,统计的对象可能是TP,也可以是TN。那么我们该如何选择呢?
当面对数据不平衡的情况,使用数据较少的数据集作为统计对象,来计算其对应的P、R、F值。即用数量少的。
K折交叉验证:
不单单可以将数据分成3:7或者2:8,这里有一个K折交叉验证,将全部的数据集划分为K份,将K-1份数据作为训练数据,剩下的一份作为测试数据,然后每次更好训练数据和测试数据,重复K次交叉验证。再最后计算K个精度的平均值,作为其最终的精度。
那么K折交叉验证的K值的确定怎么设定合适呢?
设定过大,会增加时间的耗费。所以只能尽可能凭借经验确定一个合适的K值。