机器学习——线性回归

一、什么是线性回归

线性回归是一种用来建立自变量和因变量之间线性关系的统计分析方法，也是机器学习中最常见、最容易理解的一个算法。

在中学数学中有提及到一元线性回归方程，即
$$f(x)＝Ax+By+C$$
当确认式子中的常量$A，B，C$后，可得到一个二元一次方程，将函数画在图中可以得到一条直线。

二、一元线性回归方程

在一元线性回归方程中，实际散点会在拟合直线的周围。

在这之间就会存在一个误差$\beta$，则此公式可以写为
$$f(x)=Ax+By+C+\beta$$

三、损失函数

在一组散乱的数据里，我们可以作出多条线作为回归方程，如何判定哪条线更适合就要使用残差平方和（SSE）来判定。

在实际值$y$和拟合值$\hat{y}$中存在一个差值$e$即为残差，将$e$进行平方处理去掉负号，然后对全部的$e$值进行累加，得到残差平方和。当残差平方和的值越小，说明拟合效果越好。

在一元回归方程中，其损失函数为：
$$\begin{array}{rl}f(x)& =\sum _{i=1}^n{e}_i\\ & =\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2\end{array}$$

四、代码实现

% 输入自变量 x 和因变量 y
x = [1, 2, 3, 4, 5];
y = [2, 4, 5, 6, 8];% 拟合线性回归方程
coefficients = polyfit(x, y, 1);% 提取系数
m = coefficients(1);
c = coefficients(2);% 打印结果
fprintf('y = %.2fx + %.2f\n', m, c);% 绘制原始数据点
scatter(x, y, 'filled');
hold on;% 计算拟合的 y 值
y_fit = polyval(coefficients, x);% 绘制拟合的线性回归方程
plot(x, y_fit, 'r');% 设置图标和标题
xlabel('x');
ylabel('y');
title('一元线性回归');% 图例
legend('原始数据', '拟合线');% 恢复绘图设置
hold off;

五、运用说明

若是由两个因素影响的，使用一元线性回归，三个因素影响则用二元线性回归，在平面上拟合。其他更多的因素采用多元线性回归拟合。

注意：在使用线性回归之前，先要确认其因变量和自变量是否为线性关系。