sklearn线性回归--岭回归
岭回归也是一种用于回归的线性模型,因此它的预测公式与普通最小二乘法相同。但在岭回归中,对系数(w)的选择不仅要在训练数据上得到好的预测结果,而且还要拟合附加约束,使系数尽量小。换句话说,w的所有元素都应接近于0。直观上来看,这意味着每个特征对输出的影响应尽可能小(即斜率很小),同时仍给出很好地预测结果。这种约束就是正则化。正则化是指对模型做显示约束,以避免过拟合。岭回归用到的这种被称为L2正则化。下面来看一下岭回归对波士顿房价数据集的效果如何(该数据集的介绍见链接: link):
由上图可以看出,Ridge模型在训练集上的分数要低于LinearRegression,但在测试集上的分数更高。线性回归对数据存在过拟合。Ridge是一种约束更强的模型,所以更不容易过拟合。复杂度更小的模型意味着在训练集上的性能更差,但泛化性能更好。由于我们只对泛化性能感兴趣,所以应该选择Ridge而不是LinearRegression模型。
Ridge模型在模型的简单性(系数都接近于0)与训练集性能之间做出权衡。简单性和训练集性能二者对于模型的重要程度可以由用户通过设置alpha参数来指定。在前面的例子中,我们用的是默认参数alpha=1.0。但没有理由认为这会给出最佳权衡。alpha的最佳设定值取决于用到的具体数据集。增大alpha会使得系数更加趋向于0,从而降低训练集性能,但可能会提高泛化性能。例如:
减小alpha可以让系数受到的限制更小。对于非常小的alpha值(比如0.1),系数几乎没有受到限制,我们得到一个与LinearRegression类似的模型。