1、背景概述

在Scikit-Learn线性回归第一篇文章（详见：传送门）中，我们给出了线性回归的损失函数的定义：
$$L=\sum _{i=1}^m(y_i-f(x_i){)}^2$$

回忆一下，损失函数主要用于评估模型拟合的好坏，损失函数衡量了我们构造的模型的预测值与真实值的差异，因此，我们希望我们的预测结果与真实值的差异越小越好。也就是我们希望损失函数取得最小值

损失函数取得最小值是我们构建模型的本质要求，求解模型的特征向量$\omega$是我们构建模型的核心问题

根据损失函数（最小二乘法），我们的求解目标可以转换为求解误差平方和（残差平方和）最小值：
$$mi{n}_{\omega }=$$