线性回归sklearn 接口和代码

官网api：https://scikit-learn.org/stable/modules/linear_model.html#ordinary-least-squares

LinearRegression

class sklearn.linear_model.LinearRegression(fit_intercept=True, normalize=False, copy_X=True, n_jobs=1)参数说明：fit_intercept：bool，选择是否需要计算截距，默认为True，如果中心化了的数据可以选择falsenormalize：bool，选择是否需要标准化（在回归之前，对X减去平均值再除以二范数），默认为false，如果fit_intercept被设置为False时，该参数将忽略。在这里还是建议将标准化的工作放在训练模型之前。通过设置sklearn.preprocessing.StandardScaler来实现，而在此处设置为falsecopy_x:bool量，选择是否复制X数据，默认True,如果不复制数据，数据在运行过程中修改，不会覆盖原始数据,如果否，可能会因为中心化把X数据覆盖n_job:int量，选择几核用于计算，默认1，-1表示全速运行# 其实这里面的参数基本都不怎么需要涉及，往往默认参数就够用。可用属性：coef_:训练后的输入端模型系数，如果label有两个，即y值有两列。那么是一个2D的arrayintercept_: 截距

可用的methods

fit

fit(X,y,sample_weight=None): 
参数：X: array, 稀疏矩阵 [n_samples,n_features] y: array [n_samples, n_targets] sample_weight: 权重，形状为[n_samples]的numpy数组 ---------在版本0.17后添加了sample_weight

get_params(deep=True)

 返回对regressor 的设置值

predict(X)

 预测 基于 R^2值

score

评估

案例一：自己实现线性回归，用最小二乘

# -*- coding:utf-8 -*-from sklearn.model_selection import train_test_split # 数据划分的类
import numpy as np
import matplotlib as mpl
import matplotlib.pyplot as plt
import pandas as pd# 设置字符集，防止中文乱码
mpl.rcParams['font.sans-serif']=[u'simHei']
mpl.rcParams['axes.unicode_minus']=False# 加载数据
# 日期、时间、有功功率、无功功率、电压、电流、厨房用电功率、洗衣服用电功率、热水器用电功率
path1='/datas/household_power_consumption_1000.txt'
df = pd.read_csv(path1, sep=';', low_memory=False)  # 没有混合类型的时候可以通过low_memory=F调用更多内存，加快效率）
print(df)## 功率和电流之间的关系
X = df.iloc[:,2:4]
Y = df.iloc[:,5]## 数据分割
X2_train,X2_test,Y2_train,Y2_test = train_test_split(X, Y, test_size=0.2, random_state=0)# 将X和Y转换为矩阵的形式
X = np.mat(X2_train)
Y = np.mat(Y2_train).reshape(-1,1)# 计算θ
theta = (X.T * X).I * X.T * Y
print(theta)# 对测试集合进行测试
y_hat = np.mat(X2_test) * theta# 画图
t=np.arange(len(X2_test))
plt.figure(facecolor='w')
plt.plot(t, Y2_test, 'r-', linewidth=2, label=u'真实值')
plt.plot(t, y_hat, 'g-', linewidth=2, label=u'预测值')
plt.legend(loc = 'lower right')
plt.title(u"线性回归预测功率与电流之间的关系", fontsize=20)
plt.grid(b=True)
plt.show()

案例二：家庭用电预测：线性回归算法(时间与功率&功率与电流之间的关系)

from sklearn.model_selection import train_test_split  # 数据划分的类
from sklearn.linear_model import LinearRegression  # 线性回归的类
from sklearn.preprocessing import StandardScaler  # 数据标准化import numpy as np
import matplotlib as mpl
import matplotlib.pyplot as plt
import pandas as pd# 设置字符集，防止中文乱码
mpl.rcParams['font.sans-serif']=[u'simHei']
mpl.rcParams['axes.unicode_minus']=False# 加载数据
# 日期、时间、有功功率、无功功率、电压、电流、厨房用电功率、洗衣服用电功率、热水器用电功率
path1='datas/household_power_consumption_1000.txt'
df = pd.read_csv(path1, sep=';', low_memory=False)  # 没有混合类型的时候可以通过low_memory=F调用更多内存，加快效率）
print(df.head())  # 获取前五行数据
print(df.info())# 异常数据处理(异常数据过滤)
new_df = df.replace('?', np.nan)  # 替换非法字符为np.nan
datas = new_df.dropna(axis=0, how = 'any')  # 只要有一个数据为空，就进行行删除操作
print(datas.describe().T)  # 观察数据的多种统计指标(只能看数值型的)
print(df.info())  # 查看格式信息# 创建一个时间函数格式化字符串
def date_format(dt):# dt显示是一个series/tuple；dt[0]是date，dt[1]是timeimport timet = time.strptime(' '.join(dt), '%d/%m/%Y %H:%M:%S')return (t.tm_year, t.tm_mon, t.tm_mday, t.tm_hour, t.tm_min, t.tm_sec)# 需求：构建时间和功率之间的映射关系，可以认为：特征属性为时间；目标属性为功率值。
# 获取x和y变量, 并将时间转换为数值型连续变量
X = datas.iloc[:, 0:2]
X = X.apply(lambda x: pd.Series(date_format(x)), axis=1)
Y = datas['Global_active_power']print(X.head(2))# 对数据集进行测试集合训练集划分
# X：特征矩阵(类型一般是DataFrame)
# Y：特征对应的Label标签(类型一般是Series)
# test_size: 对X/Y进行划分的时候，测试集合的数据占比, 是一个(0,1)之间的float类型的值
# random_state: 数据分割是基于随机器进行分割的，该参数给定随机数种子；给一个值(int类型)的作用就是保证每次分割所产生的数数据集是完全相同的
X_train,X_test,Y_train,Y_test = train_test_split(X, Y, test_size=0.2, random_state=0)print(X_train.shape)
print(X_test.shape)
print(Y_train.shape)# 查看训练集上的数据信息(X)
print(X_train.describe())# 数据标准化
# StandardScaler：将数据转换为标准差为1的数据集(有一个数据的映射)
# scikit-learn中：如果一个API名字有fit，那么就有模型训练的含义，没法返回值
# scikit-learn中：如果一个API名字中有transform， 那么就表示对数据具有转换的含义操作
# scikit-learn中：如果一个API名字中有predict，那么就表示进行数据预测，会有一个预测结果输出
# scikit-learn中：如果一个API名字中既有fit又有transform的情况下，那就是两者的结合(先做fit，再做transform)
ss = StandardScaler()  # 模型对象创建
X_train = ss.fit_transform(X_train)  # 训练模型并转换训练集
X_test = ss.transform(X_test)  # 直接使用在模型构建数据上进行一个数据标准化操作 (测试集)print(pd.DataFrame(X_train).describe())# 模型训练
lr = LinearRegression(fit_intercept=True)  # 模型对象构建
lr.fit(X_train, Y_train)  # 训练模型# 模型预测
y_predict = lr.predict(X_test)  # 预测结果print("训练集上R2:", lr.score(X_train, Y_train))
print("测试集上R2:", lr.score(X_test, Y_test))
mse = np.average((y_predict-Y_test)**2)  # 开根号
rmse = np.sqrt(mse)
print("rmse:", rmse)# 输出模型训练得到的相关参数
print("模型的系数(θ):", end="")
print(lr.coef_)
print("模型的截距:", end='')
print(lr.intercept_)# 模型保存/持久化
# 在机器学习部署的时候，实际上其中一种方式就是将模型进行输出；另外一种方式就是直接将预测结果输出
# 模型输出一般是将模型输出到磁盘文件
from sklearn.externals import joblib# 保存模型要求给定的文件所在的文件夹比较存在
joblib.dump(ss, "result/data_ss.model")  # 将标准化模型保存
joblib.dump(lr, "result/data_lr.model")  # 将模型保存# 加载模型
ss3 = joblib.load("result/data_ss.model")  # 加载模型
lr3 = joblib.load("result/data_lr.model")  # 加载模型# 使用加载的模型进行预测
data1 = [[2006, 12, 17, 12, 25, 0]]
data1 = ss3.transform(data1)
print(data1)
lr3.predict(data1)# 预测值和实际值画图比较
t=np.arange(len(X_test))
plt.figure(facecolor='w')  # 建一个画布，facecolor是背景色
plt.plot(t, Y_test, 'r-', linewidth=2, label='真实值')
plt.plot(t, y_predict, 'g-', linewidth=2, label='预测值')
plt.legend(loc = 'upper left')  # 显示图例，设置图例的位置
plt.title("线性回归预测时间和功率之间的关系", fontsize=20)
plt.grid(b=True)  # 加网格
plt.show()# 功率和电流之间的关系
X = datas.iloc[:,2:4]
Y2 = datas.iloc[:,5]# 数据分割
X2_train,X2_test,Y2_train,Y2_test = train_test_split(X, Y2, test_size=0.2, random_state=0)# 数据归一化
scaler2 = StandardScaler()
X2_train = scaler2.fit_transform(X2_train)  # 训练并转换
X2_test = scaler2.transform(X2_test)  # 直接使用在模型构建数据上进行一个数据标准化操作# 模型训练
lr2 = LinearRegression()
lr2.fit(X2_train, Y2_train)# 结果预测
Y2_predict = lr2.predict(X2_test)# 模型评估
print("电流预测准确率: ", lr2.score(X2_test, Y2_test))
print("电流参数:", lr2.coef_)# 绘制图表
t=np.arange(len(X2_test))
plt.figure(facecolor='w')
plt.plot(t, Y2_test, 'r-', linewidth=2, label=u'真实值')
plt.plot(t, Y2_predict, 'g-', linewidth=2, label=u'预测值')
plt.legend(loc = 'lower right')
plt.title(u"线性回归预测功率与电流之间的关系", fontsize=20)
plt.grid(b=True)
plt.show()

案例三：家庭用电预测：线性回归算法(时间与电压的多项式关系)

from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import StandardScaler
from sklearn.preprocessing import PolynomialFeatures
from sklearn.pipeline import Pipelineimport numpy as np
import matplotlib as mpl
import matplotlib.pyplot as plt
import pandas as pd# 创建一个时间字符串格式化字符串
def date_format(dt):import timet = time.strptime(' '.join(dt), '%d/%m/%Y %H:%M:%S')return (t.tm_year, t.tm_mon, t.tm_mday, t.tm_hour, t.tm_min, t.tm_sec)# 设置字符集，防止中文乱码
mpl.rcParams['font.sans-serif'] = [u'simHei']
mpl.rcParams['axes.unicode_minus'] = False# 加载数据
path = 'datas\household_power_consumption_200.txt'  ## 200行数据
path = 'datas\household_power_consumption_1000.txt'  ## 1000行数据
df = pd.read_csv(path, sep=';', low_memory=False)# 日期、时间、有功功率、无功功率、电压、电流、厨房用电功率、洗衣服用电功率、热水器用电功率
names2 = df.columns
names = ['Date', 'Time', 'Global_active_power', 'Global_reactive_power', 'Voltage', 'Global_intensity','Sub_metering_1', 'Sub_metering_2', 'Sub_metering_3']# 异常数据处理(异常数据过滤)
new_df = df.replace('?', np.nan)
datas = new_df.dropna(axis=0, how='any')  # 只要有数据为空，就进行删除操作# 时间和电压之间的关系(Linear)
# 获取x和y变量, 并将时间转换为数值型连续变量
X = datas[names[0:2]]
X = X.apply(lambda x: pd.Series(date_format(x)), axis=1)
Y = datas[names[4]].values# 对数据集进行测试集合训练集划分
X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size=0.2, random_state=0)# 数据标准化
ss = StandardScaler()
X_train = ss.fit_transform(X_train)  # 训练并转换
X_test = ss.transform(X_test)  # 直接使用在模型构建数据上进行一个数据标准化操作# 模型训练
lr = LinearRegression()
lr.fit(X_train, Y_train)  # 训练模型# 模型预测
y_predict = lr.predict(X_test)# 模型效果
print("准确率:", lr.score(X_test, Y_test))# 预测值和实际值画图比较
t = np.arange(len(X_test))
plt.figure(facecolor='w')
plt.plot(t, Y_test, 'r-', linewidth=2, label=u'真实值')
plt.plot(t, y_predict, 'g-', linewidth=2, label=u'预测值')
plt.legend(loc='lower right')
plt.title(u"线性回归预测时间和功率之间的关系", fontsize=20)
plt.grid(b=True)  # 网格
plt.show()# 时间和电压之间的关系(Linear-多项式)
# Pipeline：管道的意思，讲多个操作合并成为一个操作
# Pipleline总可以给定多个不同的操作，给定每个不同操作的名称即可，执行的时候，按照从前到后的顺序执行
# Pipleline对象在执行的过程中，当调用某个方法的时候，会调用对应过程的对应对象的对应方法
# eg：在下面这个案例中，调用了fit方法，
# 那么对数据调用第一步操作：PolynomialFeatures的fit_transform方法对数据进行转换并构建模型
# 然后对转换之后的数据调用第二步操作: LinearRegression的fit方法构建模型
# eg: 在下面这个案例中，调用了predict方法，
# 那么对数据调用第一步操作：PolynomialFeatures的transform方法对数据进行转换
# 然后对转换之后的数据调用第二步操作: LinearRegression的predict方法进行预测
models = [Pipeline([('Poly', PolynomialFeatures()),  # 给定进行多项式扩展操作， 第一个操作：多项式扩展('Linear', LinearRegression(fit_intercept=False))  # 第二个操作，线性回归])
]
model = models[0]
# 获取x和y变量, 并将时间转换为数值型连续变量
X = datas[names[0:2]]
X = X.apply(lambda x: pd.Series(date_format(x)), axis=1)
Y = datas[names[4]]# 对数据集进行测试集合训练集划分
X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size=0.2, random_state=0)# 数据标准化
ss = StandardScaler()
X_train = ss.fit_transform(X_train)  # 训练并转换
X_test = ss.transform(X_test)  # 直接使用在模型构建数据上进行一个数据标准化操作# 模型训练
t = np.arange(len(X_test))
N = 5
d_pool = np.arange(1, N, 1)  # 阶
m = d_pool.size
clrs = []  # 颜色
for c in np.linspace(16711680, 255, m):clrs.append('#%06x' % int(c))
line_width = 3plt.figure(figsize=(12, 6), facecolor='w')  # 创建一个绘图窗口，设置大小，设置颜色
for i, d in enumerate(d_pool):plt.subplot(N - 1, 1, i + 1)plt.plot(t, Y_test, 'r-', label=u'真实值', ms=10, zorder=N)# 设置管道对象中的参数值，Poly是在管道对象中定义的操作名称， 后面跟参数名称；中间是两个下划线model.set_params(Poly__degree=d)  # 设置多项式的阶乘model.fit(X_train, Y_train)  # 模型训练# Linear是管道中定义的操作名称# 获取线性回归算法模型对象lin = model.get_params()['Linear']output = u'%d阶，系数为：' % d# 判断lin对象中是否有对应的属性if hasattr(lin, 'alpha_'):idx = output.find(u'系数')output = output[:idx] + (u'alpha=%.6f, ' % lin.alpha_) + output[idx:]if hasattr(lin, 'l1_ratio_'):idx = output.find(u'系数')output = output[:idx] + (u'l1_ratio=%.6f, ' % lin.l1_ratio_) + output[idx:]print(output, lin.coef_.ravel())# 模型结果预测y_hat = model.predict(X_test)# 计算评估值s = model.score(X_test, Y_test)# 画图z = N - 1 if (d == 2) else 0label = u'%d阶, 准确率=%.3f' % (d, s)plt.plot(t, y_hat, color=clrs[i], lw=line_width, alpha=0.75, label=label, zorder=z)plt.legend(loc='upper left')plt.grid(True)plt.ylabel(u'%d阶结果' % d, fontsize=12)# 预测值和实际值画图比较
plt.suptitle(u"线性回归预测时间和功率之间的多项式关系", fontsize=20)
plt.grid(b=True)
plt.show()