【机器学习】回归算法-线性回归分析、回归实例和回归性能评估

回归算法-线性回归分析、回归实例和回归性能评估

线性回归
损失函数(误差大小)
sklearn线性回归正规方程、梯度下降API
线性回归实例

回归：目标值连续；分类：目标值离散。
预测回归和分类是不一样的。回归问题可以用于预测销售额，比如公司的收入、广告可以影响会对销售额进行预测。
举个例子：
期末成绩：0.7×考试成绩+0.3×平时成绩
西瓜好坏：0.2×色泽+0.5×根蒂+0.3×敲声

import matplotlib.pyplot as plt
plt.figure(figsize=(10,10))
plt.scatter([60,72,75,80,83],[126,151.2,157.5,168,174.3])
plt.show()

在这里插入图片描述
横坐标为面积；纵坐标为价格分布关系为直线，预测按其趋势预测就ok。
线性回归就是寻找一种能预测的趋势。

以上就是一种线性关系。二维：直线。三维：特征与目标值在一个平面上。

在这里插入图片描述

线性回归

定义：线性回归通过一个或者多个自变量与因变量之间之间进行建模的回归分析。其中特点为一个或多个称为回归系数的模型参数的线性组合
一元线性回归：涉及到的变量只有一个
多元线性回归：涉及到的变量两个或两个以上
w为权重，b为偏置
通用公式：

回归和神经网络都是迭代的算法。

损失函数(误差大小)

算法：线性函数
策略：损失函数（误差的平方和，最小二乘法）
优化：优化权重的过程
在这里插入图片描述
总损失定义：

又称最小二乘法

如何去求模型当中的W，使得损失最小？（目的是找到最小损失对应的W值）

第一种方式：最小二乘法之正规方程

在这里插入图片描述
缺点：当特征过于复杂，求解速度太慢，对于复杂的算法，不能使用正规方程求解(逻辑回归等)

损失函数直观图(单变量举例)：直接求解到最小值

在这里插入图片描述

第二种方式：最小二乘法之梯度下降(理解过程)

我们以单变量中的w0,w1为例子：
在这里插入图片描述

表示方向：

理解：沿着这个函数下降的方向找，最后就能找到山谷的最低点，然后更新W值
使用：面对训练数据规模十分庞大的任务
在这里插入图片描述
学习率：下降的快慢。

sklearn线性回归正规方程、梯度下降API

sklearn.linear_model.LinearRegression
正规方程
sklearn.linear_model.SGDRegressor
梯度下降

LinearRegression、SGDRegressor

sklearn.linear_model.LinearRegression()
普通最小二乘线性回归
coef_：回归系数sklearn.linear_model.SGDRegressor( )
通过使用SGD最小化线性模型
coef_：回归系数

w就是回归系数
这里提下，
sklearn优点：封装好，建立模型简单，预测简单
缺点是：算法过程，有些参数都在算法API内部优化看不到学习率不用指定
tensorflow：封装低，自己实现线性回归，学习率可以自己手动指定

线性回归实例

1、sklearn线性回归正规方程、梯度下降API
2、波士顿房价数据集分析流程

波士顿房价数据案例分析流程

1、波士顿地区房价数据获取
2、波士顿地区房价数据分割
3、训练与测试数据标准化处理
4、使用最简单的线性回归模型LinearRegression和梯度下降估计SGDRegressor对房价进行预测

回归性能评估
(均方误差(Mean Squared Error)MSE) 评价机制：
在这里插入图片描述

sklearn回归评估API

sklearn.metrics.mean_squared_error

mean_squared_error(y_true, y_pred)
均方误差回归损失
y_true:真实值
y_pred:预测值
return:浮点数结果

注：真实值，预测值为标准化之前的值
在这里插入图片描述

LinearRegression与SGDRegressor评估
特点：线性回归器是最为简单、易用的回归模型。从某种程度上限制了使用，尽管如此，在不知道特征之
间关系的前提下，我们仍然使用线性回归器作为大多数系统的首要选择。
小规模数据：LinearRegression(不能解决拟合问题)以及其它
大规模数据：SGDRegressor

from sklearn.datasets import load_boston
from sklearn.linear_model import LinearRegression, SGDRegressor,  Ridge, LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import mean_squared_error, classification_report
from sklearn.externals import joblib
import pandas as pd
import numpy as npdef mylinear():"""线性回归直接预测房子价格:return: None"""# 获取数据lb = load_boston()# 分割数据集到训练集和测试集x_train, x_test, y_train, y_test = train_test_split(lb.data, lb.target, test_size=0.25)print(y_train, y_test)# 进行标准化处理(?) 目标值处理？# 特征值和目标值是都必须进行标准化处理, 实例化两个标准化APIstd_x = StandardScaler()x_train = std_x.fit_transform(x_train)x_test = std_x.transform(x_test)# 目标值std_y = StandardScaler()y_train = std_y.fit_transform(y_train)y_test = std_y.transform(y_test)# 预测房价结果model = joblib.load("./tmp/test.pkl")y_predict = std_y.inverse_transform(model.predict(x_test))print("保存的模型预测的结果：", y_predict)# estimator预测# 正规方程求解方式预测结果# lr = LinearRegression()## lr.fit(x_train, y_train)## print(lr.coef_)# 保存训练好的模型# joblib.dump(lr, "./tmp/test.pkl")# # 预测测试集的房子价格# y_lr_predict = std_y.inverse_transform(lr.predict(x_test))## print("正规方程测试集里面每个房子的预测价格：", y_lr_predict)## print("正规方程的均方误差：", mean_squared_error(std_y.inverse_transform(y_test), y_lr_predict))## # 梯度下降去进行房价预测# sgd = SGDRegressor()## sgd.fit(x_train, y_train)## print(sgd.coef_)## # 预测测试集的房子价格# y_sgd_predict = std_y.inverse_transform(sgd.predict(x_test))## print("梯度下降测试集里面每个房子的预测价格：", y_sgd_predict)## print("梯度下降的均方误差：", mean_squared_error(std_y.inverse_transform(y_test), y_sgd_predict))## # 岭回归去进行房价预测# rd = Ridge(alpha=1.0)## rd.fit(x_train, y_train)## print(rd.coef_)## # 预测测试集的房子价格# y_rd_predict = std_y.inverse_transform(rd.predict(x_test))## print("梯度下降测试集里面每个房子的预测价格：", y_rd_predict)## print("梯度下降的均方误差：", mean_squared_error(std_y.inverse_transform(y_test), y_rd_predict))return None
if __name__ == "__main__":mylinear()