【机器学习300问】108、什么是多项式回归模型？

一、多项式回归是什么

（1）举例说明

假设你经营着一家农场，想要根据土地面积来预测作物的产量。如果你只用线性模型（即 $y = ax + b$ ），你可能会发现它并不足以描述实际的产量情况，因为实际产量可能会随着土地面积的增加而经历先快速增加然后趋于平缓的过程。

这种情况下，多项式回归可以派上用场。你可以使用二阶多项式（比如 $y = ax^2 + bx + c$ ）来建模这种弯曲的趋势，其中 $x$ 是土地面积，而 $y$ 是作物产量。所以，当你输入土地面积到你的模型中时，它可以更准确地预测作物产量。

（2）严谨定义

多项式回归是一种回归分析方法，它通过构造一个多项式函数来拟合因变量 $y$ 和一个或多个自变量 $x$ 之间的关系。在数学上，一个 $n$ 次多项式回归模型可以表示为：

$y = \beta_0 + \beta_1 x + \beta_2 x^2 + \ldots + \beta_n x^n + \epsilon$

其中， $y$ 是因变量， $x$ 是自变量， $\beta _0, \beta _1,...,\beta _n$ 是待估计的系数，而 $\epsilon$ 是随机误差项，反映了模型预测值与实际观测值之间的差异。多项式回归通过均方误差（或其他损失函数）来确定最优的系数值，通常使用最小二乘法或其他优化算法实现。多项式回归模型特别适用于处理非线性数据关系。

二、线性回归、多元线性回归和多项式回归的区别

简单回顾一下线性回归和多元线性回归模型：

线性回归是最简单的一种回归分析方法，它假设一个或多个自变量与因变量之间存在线性关系。在最基本的形式中，线性回归使用一个自变量 x 来预测一个因变量 y，遵循以下形式的模型：

$y = \beta_0 + \beta_1x + \epsilon$

其中 $\beta_0$ 是截距， $\beta_1$ 是斜率或权重，而 $\epsilon$ 是误差项。

多元线性回归是线性回归的自然扩展，它涉及多个自变量。形式上，它可以表示为：

$y = \beta_0 + \beta_1x_1 + \beta_2x_2 + \ldots + \beta_nx_n + \epsilon$

在这里， $x_1, x_2, \ldots, x_n$ 是自变量， $\beta_1, \beta_2, \ldots, \beta_n$ 是每个自变量的权重或回归系数， $\beta_0$ 仍然是截距，而 $\epsilon$ 是误差项。多元线性回归使得我们可以探索多个自变量如何一起影响因变量。