【机器学习】线性回归算法：原理、公式推导、损失函数、似然函数、梯度下降

1. 概念简述

线性回归是通过一个或多个自变量与因变量之间进行建模的回归分析，其特点为一个或多个称为回归系数的模型参数的线性组合。如下图所示，样本点为历史数据，回归曲线要能最贴切的模拟样本点的趋势，将误差降到最小。

2. 线性回归方程

线形回归方程，就是有 n 个特征，然后每个特征 Xi 都有相应的系数 Wi ，并且在所有特征值为0的情况下，目标值有一个默认值 W0 ，因此：

线性回归方程为：

$h(w)=w_{0} + w_{1}*x_{1}+w_{2}*x_{2}+...+w_{n}*x_{n}$

整合后的公式为：

$h(w)=\sum_{i}^{n}w_{i}*x_{i} = \theta ^{T}*x$

3. 损失函数

损失函数是一个贯穿整个机器学习的一个重要概念，大部分机器学习算法都有误差，我们需要通过显性的公式来描述这个误差，并将这个误差优化到最小值。假设现在真实的值为 y，预测的值为 h 。

损失函数公式为：

$J(\theta )=\frac{1}{2}*\sum_{i}^{n}( y^{(i)} - \theta ^{T}*x^{(i)} )^{2}$

也就是所有误差和的平方。损失函数值越小，说明误差越小，这个损失函数也称最小二乘法。

4. 损失函数推导过程

4.1 公式转换

首先我们有一个线性回归方程： $h(\theta)=\theta_{0} + \theta_{1}*x_{1}+\theta_{2}*x_{2}+...+\theta_{n}*x_{n}$

为了方便计算计算，我们将线性回归方程转换成两个矩阵相乘的形式，将原式的 $\theta _{0}$ 后面乘一个 $x_{0}$

此时的 x0=1，因此将线性回归方程转变成 $h(\theta)=\sum_{i}^{n}\theta_{i}*x_{i}$ ，其中 $\theta _{i}$ 和 $x_{i}$ 可以写成矩阵：

$h(\theta)=\theta_{0} + \theta_{1}*x_{1}+...+\theta_{n}*x_{n} = \left [ \theta _{0} \; \theta _{1}\; \theta _{2}\; ... \right ]*\begin{bmatrix} x _{0}\\ x _{1}\\ x _{2}\\ ...\\ \end{bmatrix}=\sum_{i}^{n}\theta_{i}*x_{i} = \theta ^{T}*x$

4.2 误差公式

以上求得的只是一个预测的值，而不是真实的值，他们之间肯定会存在误差，因此会有以下公式：

$y_{i} = \theta _{i}*x_{i}+\epsilon_{i}$

我们需要找出真实值 $y_{i}$ 与预测值 $\theta _{i}*x_{i}$ 之间的最小误差 $\epsilon_{i}$ ，使预测值和真实值的差距最小。将这个公式转换成寻找不同的 $\theta _{i}$ 使误差达到最小。

4.3 转化为 $\theta$ 求解

由于 $\epsilon_{i}$ 既存在正数也存在负数，所以可以简单的把这个数据集，看作是一个服从均值 $\theta$ ，方差为 $\sigma ^{2}$ 的正态分布。

所以 $\epsilon_{i}$ 出现的概率满足概率密度函数：

$p(\epsilon _{i} ) = \frac{1}{\sigma\sqrt{2\pi }} exp\tfrac{-(\epsilon _{i})^{2}}{2\sigma ^{2}}$

把 $\epsilon_{i} =y_{i}- \theta _{i}*x_{i}$ 代入到以上的高斯分布函数（即正态分布）中，变成以下式子：

$p(\epsilon _{i} ) = \frac{1}{\sigma\sqrt{2\pi }} exp\tfrac{-(y_{i}- \theta _{i}*x_{i})^{2}}{2\sigma ^{2}}$

到此，我们将对误差 $\epsilon _{i}$ 的求解转换成对 $\theta_{i}$ 的求解了。

在求解这个公式时，我们要得到的是误差 $\epsilon _{i}$ 最小，也就是求概率 $p(\epsilon _{i})$ 最大的。因为误差 $\epsilon _{i}$ 满足正态分布，因此在正太曲线中央高峰部的概率 $p(\epsilon _{i})$ 是最大的，此时标准差 $\sigma$ 为0，误差是最小的。

尽管在生活中标准差肯定是不为0的，没关系，我们只需要去找到误差值出现的概率最大的点。现在，问题就变成了怎么去找误差出现概率最大的点，只要找到，那我们就能求出 $\theta _{i}$

4.4 似然函数求 $\theta$

似然函数的主要作用是，在已经知道变量 x 的情况下，调整 $\theta$ ，使概率 y 的值最大。

似然函数理解：

以抛硬币为例，正常情况硬币出现正反面的概率都是0.5，假设你在不确定这枚硬币的材质、重量分布的情况下，需要判断其是否真的是均匀分布。在这里我们假设这枚硬币有 $\theta$ 的概率会正面朝上，有 $1-\theta$ 的概率会反面朝上。

为了获得 $\theta$ 的值，将硬币抛10次，H为正面，T为反面，得到一个正反序列 x = HHTTHTHHHH，此次实验满足二项分布，这个序列出现的概率为 $\theta \theta (1-\theta )(1-\theta ) \theta(1-\theta ) \theta \theta \theta \theta= \theta^{7}(1-\theta )^{3}$ ，我们根据一次简单的二项分布实验，得到了一个关于 $\theta$ 的函数，这实际上是一个似然函数，根据不同的 $\theta$ 值绘制一条曲线，曲线就是 $\theta$ 的似然函数，y轴是这一现象出现的概率。

从图中可见，当 $\theta$ 等于 0.7 时，该序列出现的概率是最大的，因此我们确定该硬币正面朝上的概率是0.7。

因此，回到正题，我们要求的是误差出现概率 $p(\epsilon _{i})$ 的最大值，那就做很多次实验，对误差出现概率累乘，得出似然函数，带入不同的 $\theta$ ，看 $\theta$ 是多少时，出现的概率是最大的，即可确定 $\theta$ 的值。

综上，我们得出求 $\theta$ 的似然函数为：

$L( \theta ) = \prod_{i}^{m} \frac{1}{\sigma\sqrt{2\pi }} exp\tfrac{-(y_{i}- \theta _{i}*x_{i})^{2}}{2\sigma ^{2}}$

4.5 对数似然

由于上述的累乘的方法不太方便我们去求解 $\theta$ ，我们可以转换成对数似然，将以上公式放到对数中，然后就可以转换成一个加法运算。取对数以后会改变结果值，但不会改变结果的大小顺序。我们只关心 $\theta$ 等于什么的时候，似然函数有最大值，不用管最大值是多少，即，不是求极值而是求极值点。注：此处log的底数为e。

对数似然公式如下：

$\log (L( \theta )) =\log \prod_{i}^{m} \frac{1}{\sigma\sqrt{2\pi }} exp\tfrac{-(y_{i}- \theta _{i}*x_{i})^{2}}{2\sigma ^{2}} = \sum_{i}^{n}\log \frac{1}{\sigma\sqrt{2\pi }} exp\tfrac{-(y_{i}- \theta _{i}*x_{i})^{2}}{2\sigma ^{2}}$

对以上公式化简得：

$\log (L( \theta )) =n*\log \frac{1}{\sigma\sqrt{2\pi }} - \frac{1}{2\sigma ^{2}}\sum_{i}^{n} (y_{i}- \theta _{i}*x_{i})^{2}$

4.6 损失函数

我们需要把上面那个式子求得最大值，然后再获取最大值时的 $\theta$ 值。而上式中 $n*\log \frac{1}{\sigma\sqrt{2\pi }}$ 是一个常数项，所以我们只需要把减号后面那个式子变得最小就可以了，而减号后面那个部分，可以把常数项 $\frac{1}{\sigma ^{2}}$ 去掉，因此我们得到最终的损失函数如下，现在只需要求损失函数的最小值。

$J (\theta ) = \frac{1}{2}\sum_{i}^{n} (y_{i}- \theta _{i}*x_{i})^{2}$

注：保留 $\frac{1}{2}$ 是为了后期求偏导数。

损失函数越小，说明预测值越接近真实值，这个损失函数也叫最小二乘法。

5. 梯度下降

损失函数中 xi 和 yi 都是给定的值，能调整的只有 $\theta$ ，如果随机的调整，数据量很大，会花费很长时间，每次调整都不清楚我调整的是高了还是低了。我们需要根据指定的路径去调节，每次调节一个，范围就减少一点，有目标有计划去调节。梯度下降相当于是去找到一条路径，让我们去调整 $\theta$ 。

梯度下降的通俗理解就是，把对以上损失函数最小值的求解，比喻成梯子，然后不断地下降，直到找到最低的值。