线性回归

回归（regression）是能为⼀个或多个⾃变量与因变量之间关系建模的⼀类⽅法。在⾃然科学和社会科学领域，回归经常⽤来表⽰输⼊和输出之间的关系。在机器学习领域中的⼤多数任务通常都与预测（prediction）有关。当我们想预测⼀个数值时，就会涉及到回归问题。常⻅的例⼦包括：预测价格（房屋、股票等）、预测住院时间（针对住院病⼈等）、预测需求（零售销量等）。但不是所有的预测都是回归问题。在后⾯的章节中，我们将介绍分类问题。分类问题的⽬标是预测数据属于⼀组类别中的哪⼀个。

线性回归的基本元素

线性回归（linear regression）可以追溯到19世纪初，它在回归的各种标准工具中最简单而且最流行。线性回归基于几个简单的假设：首先，假设自变量 $\mathbf{x}$ 和因变量 $y$ 之间的关系是线性的，即 $y$ 可以表示为 $\mathbf{x}$ 中元素的加权和，这里通常允许包含观测值的一些噪声；其次，我们假设任何噪声都比较正常，如噪声遵循正态分布。

为了解释线性回归，我们举一个实际的例子：我们希望根据房屋的面积（平方英尺）和房龄（年）来估算房屋价格（美元）。为了开发一个能预测房价的模型，我们需要收集一个真实的数据集。这个数据集包括了房屋的销售价格、面积和房龄。在机器学习的术语中，该数据集称为训练数据集（training data set）或训练集（training set）。每行数据（比如一次房屋交易相对应的数据）称为样本（sample），也可以称为数据点（data point）或数据样本（data instance）。我们把试图预测的目标（比如预测房屋价格）称为标签（label）或目标（target）。预测所依据的自变量（面积和房龄）称为特征（feature）或协变量（covariate）。

通常，我们使用 $n$ 来表示数据集中的样本数。对索引为 $i$ 的样本，其输入表示为 ${\mathbf{x}}^{(i)}=[x_1^{(i)},x_2^{(i)}{]}^{\top }$，其对应的标签是 $y^{(i)}$。

线性模型

线性假设是指目标（房屋价格）可以表示为特征（面积和房龄）的加权和，如下面的式子：

$$\text{price}=w_{\text{area}}\cdot \text{area}+w_{\text{age}}\cdot \text{age}+b\text{\hspace{1em}(3.1.1)}$$

在 (3.1.1) 中，$w_{\text{area}}$ 和 $w_{\text{age}}$ 称为权重（weight），权重决定了每个特征对我们预测值的影响。$b$ 称为偏置（bias）、偏移量（offset）或截距（intercept）。偏置是指当所有特征都取值为 0 时，预测值应该为多少。即使现实中不会有任何房子的面积是 0 或房龄正好是 0 年，我们仍然需要偏置项。如果没有偏置项，我们模型的表达能力将受到限制。严格来说，(3.1.1) 是输入特征的一个仿射变换（affine transformation）。仿射变换的特点是通过加权和对特征进行线性变换（linear transformation），并通过偏置项来进行平移（translation）。

给定一个数据集，我们的目标是寻找模型的权重 $\mathbf{w}$ 和偏置 $b$，使得根据模型做出的预测大体符合数据里的真实价格。输出的预测值由输入特征通过线性模型的仿射变换决定，仿射变换由所选权重和偏置确定。

而在机器学习领域，我们通常使用的是高维数据集，建模时采用线性代数表示法会比较方便。当我们的输入包含 $d$ 个特征时，我们将预测结果 $\hat{y}$ （通常使用“尖角”符号表示 $y$ 的估计值）表示为：

$$\hat{y}=w_1{x}_1+...+w_d{x}_d+b\text{\hspace{1em}(3.1.2)}$$

将所有特征放到向量 $\mathbf{x}\in {\mathbb{R}}^d$ 中，并将所有权重放到向量 $\mathbf{w}\in {\mathbb{R}}^d$ 中，我们可以用点积形式来简洁地表达模型：

$$\hat{y}={\mathbf{w}}^{\top }\mathbf{x}+b\text{\hspace{1em}(3.1.3)}$$

在 (3.1.3) 中，向量 $\mathbf{x}$ 对应于单个数据样本的特征。用符号表示的矩阵 $\mathbf{X}\in {\mathbb{R}}^{n\times d}$ 可以很方便地引用我们整个数据集的 $n$ 个样本。其中，$\mathbf{X}$ 的每一行是一个样本，每一列是一种特征。

对于特征集合 $\mathbf{X}$，预测值 $\hat{\mathbf{y}}\in {\mathbb{R}}^n$ 可以通过矩阵-向量乘法表示为：

$$\hat{\mathbf{y}}=\mathbf{Xw}+b\text{\hspace{1em}(3.1.4)}$$

这个过程中的求和将使用广播机制（广播机制在 2.1.3 节中有详细介绍）。给定训练数据特征 $\mathbf{X}$ 和对应的已知标签 $\mathbf{y}$，线性回归的目标是找到一组权重向量 $\mathbf{w}$ 和偏置 $b$：当给定从 $\mathbf{X}$ 的同分布中取样的新样本特征时，这组权重向量和偏置能够使得新样本预测标签的误差尽可能小。

虽然我们相信给定 $\mathbf{x}$ 预测 $y$ 的最佳模型会是线性的，但我们很难找到一个有 $n$ 个样本的真实数据集，其中对于所有的 $1\le i\le n$，$y^{(i)}$ 完全等于 ${\mathbf{w}}^{\top }{\mathbf{x}}^{(i)}+b$。无论我们使用什么手段来观察特征 $\mathbf{X}$ 和标签 $\mathbf{y}$，都可能会出现少量的观测误差。因此，即使确信特征与标签的潜在关系是线性的，我们也会加入一个噪声项来考虑观测误差带来的影响。

在开始寻找最好的模型参数（model parameters）$\mathbf{w}$ 和 $b$ 之前，我们还需要两个东西：（1）一种模型质量的度量方式；（2）一种能够更新模型以提高模型预测质量的方法。

损失函数

在开始考虑如何用模型拟合数据之前，我们需要确定一个衡量拟合程度的标准。损失函数（loss function）用于量化目标的真实值与预测值之间的差距，通常是一个非负数，数值越小表示模型预测越准确，完美预测时损失为 0。

在回归问题中，最常用的损失函数是平方误差函数。对于样本 $i$，假设预测值为 ${\hat{y}}^{(i)}$，实际标签为 $y^{(i)}$，则平方误差可以定义为：

$$l^{(i)}(w,b)=\frac{1}{2}({\hat{y}}^{(i)}-y^{(i)}{)}^2\text{\hspace{1em}(3.1.5)}$$

这里的 $\frac{1}{2}$ 只是为了在求导时使公式更简洁，不影响结果的本质。
为⼀维情况下的回归问题绘制图像

为了衡量模型在整个数据集上的表现，我们计算所有 $n$ 个样本的损失均值，称为平均损失：

$$L(\mathbf{w},b)=\frac{1}{n}\sum _{i=1}^n{l}^{(i)}(\mathbf{w},b)=\frac{1}{n}\sum _{i=1}^n\frac{1}{2}({\mathbf{w}}^{\top }{\mathbf{x}}^{(i)}+b-y^{(i)}{)}^2\text{\hspace{1em}(3.1.6)}$$

在训练模型时，我们的目标是寻找一组参数 $({\mathbf{w}}^{\ast },b^{\ast })$，使得所有训练样本上的总损失达到最小，即：

$${\mathbf{w}}^{\ast },b^{\ast }=\arg \underset{\mathbf{w},b}{\min }L(\mathbf{w},b)\text{\hspace{1em}(3.1.7)}$$

解析解

线性回归是一个非常简单的优化问题，与大部分复杂模型不同，它的解可以用一个明确的公式表达出来，这类解被称为解析解（analytical solution）。

首先，我们将偏置 $b$ 合并到参数 $\mathbf{w}$ 中，方法是将所有参数包含在一个矩阵中并附加一列常数 1。这样，预测问题就变成了最小化 $\Vert \mathbf{y}-\mathbf{Xw}{\Vert }^2$。由于损失函数在整个平面上只有一个临界点，这个临界点即对应于整个区域的最小损失。

通过对 $\mathbf{w}$ 求导并设导数为 0，可以得到线性回归的解析解：

$${\mathbf{w}}^{\ast }=({\mathbf{X}}^{\top }\mathbf{X}{)}^{-1}{\mathbf{X}}^{\top }\mathbf{y}\text{\hspace{1em}(3.1.8)}$$

像线性回归这样的简单问题存在解析解，但并不是所有的问题都能找到解析解。尽管解析解在数学上易于分析，但由于它对问题的要求很严格，因此无法广泛应用于深度学习。

随机梯度下降

即使在无法得到解析解的情况下，我们仍然可以有效地训练模型。实际上，在许多任务中，那些难以优化的模型往往表现得更好，因此，学会如何训练这些难以优化的模型非常重要。

梯度下降（gradient descent）它几乎可以优化所有深度学习模型。梯度下降通过不断沿着损失函数递减的方向更新参数来减少误差。

小批量随机梯度下降

梯度下降最直接的方法是计算整个数据集上损失函数关于模型参数的导数（即梯度），但这种方式在实践中可能非常慢，因为每次更新参数之前都需要遍历整个数据集。为此，我们通常采用一种称为小批量随机梯度下降（minibatch stochastic gradient descent）的变体。

在每次迭代中，我们首先随机抽取一个小批量 $B$，它由固定数量的训练样本组成。然后，计算小批量样本的平均损失关于模型参数的导数。最后，我们将梯度乘以一个预先设定的正数 $\eta$，并从当前参数值中减去这个结果。用数学公式表示该更新过程：

$$(\mathbf{w},b)\leftarrow (\mathbf{w},b)-\eta \frac{1}{|B|}\sum _{i\in B}\frac{\partial }{\partial (\mathbf{w},b)}{l}^{(i)}(\mathbf{w},b)\text{\hspace{1em}(3.1.9)}$$

梯度下降算法的详细步骤

具体来说，梯度下降算法的步骤如下：

1. 初始化参数：随机初始化模型参数 $w$ 和 $b$。
2. 从数据集中随机抽取小批量样本：从训练数据中随机抽取小批量样本 $B$。
3. 计算梯度并更新参数：计算损失函数在小批量上的梯度，并沿着负梯度方向更新参数。
4. 重复步骤 2 和 3，直到达到预定的迭代次数或满足其他停止条件。

针对平方损失和仿射变换，我们可以明确写出参数更新的公式：

$$\mathbf{w}\leftarrow \mathbf{w}-\eta \frac{1}{|B|}\sum _{i\in B}{\mathbf{x}}^{(i)}\left({\mathbf{w}}^{\top }{\mathbf{x}}^{(i)}+b-y^{(i)}\right)$$

$$b\leftarrow b-\eta \frac{1}{|B|}\sum _{i\in B}\left({\mathbf{w}}^{\top }{\mathbf{x}}^{(i)}+b-y^{(i)}\right)\text{\hspace{1em}(3.1.10)}$$

解释公式

• 在上面的公式中，$\mathbf{w}$ 是权重向量，${\mathbf{x}}^{(i)}$ 是样本 $i$ 的特征向量。
• $\eta$ 是学习率，控制每次参数更新的步长。如果 $\eta$ 太大，参数可能会来回振荡；如果 $\eta$ 太小，收敛速度会非常慢。
• $|B|$ 表示小批量的大小，这决定了每次计算梯度时使用的样本数量。