目录

知识储备

拟合

(一): 过拟合与欠拟合

(二): 常用解决办法

几个高频面试题目

岭回归与套索回归的比较：

5种常见回归类型及属性

算法原理

为什么要用LASSO套索回归？

应用场景

与普通最小二乘法的区别

 数学模型

lasso回归 - 梯度下降(在线性回归后加上L1正则项-解决过拟合问题)

Ridge回归和线性回归对比

lasso回归与岭回归和线性回归对比 

岭回归、lasso回归和elastic net三种正则化方法

SPSS-线性套索回归

岭回归与套索回归参数调节

1.岭回归原理

2.岭回归参数调节

3.套索回归原理

4.套索回归参数的调节

代码实现

R语言

MATLAB

python

线性回归（OLS）

     岭回归

 套索回归              

---

知识储备

拟合

(一): 过拟合与欠拟合

机器学习中一个重要的话题便是模型的泛化能力，泛化能力强的模型才是好模型，对于训练好的模型，若在训练集表现差，不必说在测试集表现同样会很差，这可能是欠拟合导致；若模型在训练集表现非常好，却在测试集上差强人意，则这便是过拟合导致的; 过拟合与欠拟合也可以用 Bias 与 Variance 的角度来解释，欠拟合会导致高 Bias; 过拟合会导致高 Variance ，所以模型需要在 Bias 与 Variance 之间做出一个权衡

Bias 即为模型的期望输出与其真实输出之间的差异；

Variance 刻画了不同训练集得到的模型的输出与这些模型期望输出的差异。

一般在模型效果差的第一个想法是增多数据，其实增多数据并不一定会有更好的结果，因为欠拟合时增多数据往往导致效果更差，而过拟合时增多数据会导致 Gap 的减小，效果不会好太多，所以当模型效果很差时，应该检查模型是否处于欠拟合或者过拟合的状态，而不要一味的增多数据量，关于过拟合与欠拟合