一、决定系数是什么?
scikit-learn库在进行回归任务的时候,进行模型评估时的score()方法,默认采取的是计算的是决定系数(Coefficient of Determination),通常表示为得分。这个值衡量了模型预测值与实际观测值之间的拟合优度。
它表示模型的因变量y的变异值占变异量的比例,换句话说就是模型预测的结果能够解释因变量变化的百分比。
- ( SSE ) 是误差平方和(Sum of Squares due to Error),即模型预测值与实际值之间的差异的平方和。
- ( SST ) 是总平方和(Total Sum of Squares),是因变量总体变异性的平方和,即实际值与平均值之差的平方和。
二、指标的怎么评估模型好坏?
表示模型解释的方差比例,即因变量的总方差中由模型解释的那一部分。
例如,如果,这意味着80%的因变量变异可以由模型中的自变量解释,剩余的20%则归因于未被模型捕获的其他因素或随机噪声。
因此当:
- 接近1时,表明模型对数据拟合非常好。在实际应用中,决定系数的值很少能达到1,我们需要结合其他评估指标来全面评价模型的性能。
- 接近0时,意味着模型几乎不能解释变量变化,拟合效果很差。
三、决定系数的局限性
不适合评估模型的预测误差分布,比如它不关心误差的正态性或同方差性。对于非线性模型,可能不是最佳的评估指标,因为即使模型不完美,也可能得到较高的值。