Python大数据分析——一元与多元线性回归模型

Python大数据分析——一元与多元线性回归模型

  • 相关分析
    • 概念
    • 示例
  • 一元线性回归模型
    • 概念
    • 理论分析
    • 函数
    • 示例
  • 多元线性回归模型
    • 概念
    • 理论分析
    • 示例
  • 线性回归模型的假设检验
    • 模型的F检验
      • 理论分析
      • 示例
    • 模型的T检验
      • 理论分析
      • 示例

相关分析

概念

在这里插入图片描述
a 正相关；b 负相关；c 不相关；d 存在关系但不存在线性关系

相关系数的计算：
在这里插入图片描述
相关系数ρ一定是取[-1,1]之间的数

示例

对于一元的：

# 导入第三方模块
import pandas as pd
income = pd.read_csv('D:\pythonProject\data\Salary_Data.csv')
# 查看变量有哪些
income.columns
# 查看两者的相关性
income.Salary.corr(income.YearsExperience)

输出：

0.9782416184887598

对于多元的：

# 导入第三方模块
import pandas as pd
# 导入数据
Profit = pd.read_excel(r'D:\pythonProject\data\Predict to Profit.xlsx')
# 查看变量有哪些
Profit.columns
# 查看多对一的相关性（要删除其中的离散变量）
Profit.drop('State', axis=1).corrwith(Profit['Profit'])

输出：
在这里插入图片描述
如果在多元中找两两的相关性用：

# 导入第三方模块
import pandas as pd
# 导入数据
Profit = pd.read_excel(r'D:\pythonProject\data\Predict to Profit.xlsx')
# 查看变量有哪些
Profit.columns
# 查看两两的相关性（要删除其中的离散变量）
Profit.drop('State', axis=1).corr()

输出：
在这里插入图片描述

一元线性回归模型

概念

一元线性回归是分析只有一个自变量（自变量x和因变量y）线性相关关系的方法。一个经济指标的数值往往受许多因素影响，若其中只有一个因素是主要的，起决定性作用，则可用一元线性回归进行预测分析。
在这里插入图片描述

理论分析

首先观察点的分布

在这里插入图片描述
1、两边变量之间存在明显的线性关系；
2、根据常识，工作年限是因，薪资水平是果；
3、是否存在某个模型（即图中的一次函数）可以刻画两个变量
之间的关系呢？

可以根据一元线性函数可得

在这里插入图片描述
1、模型中的x称为自变量，y称为因变量；
2、a为模型的截距项，b为模型的斜率项，ε为模型的误差项；
3、误差项ε的存在主要是为了平衡等号两边的值，通常被称为模型
无法解释的部分；

那么接下来就要考虑a和b如何求解

为了确保生成的线与点的距离靠近，也就是距离最近。
思路：
1、如果拟合线能够精确地捕捉到每一个点（即所有散点全部落在拟
合线上），那么对应的误差项ε应该为0；
2、所以，模型拟合的越好，则误差项ε应该越小。进而可以理解为：
求解参数的问题便是求解误差平方和最小的问题；
在这里插入图片描述
那么公式就为

为什么是平方，因为当点在生成线的下面时，差值为负，为了防止正负相消，我们取平方的值保障为正。
在这里插入图片描述
1、J(a,b)为目标函数，需求这个函数的最小值
2、我们求J最小值，求解方法便是计算目标函数关于参数a和b的两个偏导数，最终令偏导数为0即可。（因为当函数的导数=0的时候，函数取极值）

数学推导过程

1、展开目标函数中的平方项
在这里插入图片描述
2、计算a和b的偏导数，并令其为0
在这里插入图片描述
3、转换公式
在这里插入图片描述
4、化简为a和b为0的形式
在这里插入图片描述
不难发现a的两个求和再除以n的计算为y和x的平均值，并再次化简a和b为
在这里插入图片描述

函数

#导入第三方模块
import statsmodels.api as sm
sm.ols(formula, data, subset=None, drop_cols=None)
formula：以字符串的形式指定线性回归模型的公式，如’y~x’就表示简单线性回归模型
data：指定建模的数据集
subset：通过bool类型的数组对象，获取data的子集用于建模
drop_cols：指定需要从data中删除的变量

其中ols，我们指的是最小二乘法

示例

# 导入第三方模块
import pandas as pd
import statsmodels.api as sm
income = pd.read_csv('D:\pythonProject\data\Salary_Data.csv')
# 利用收入数据集，构建回归模型
fit = sm.formula.ols('Salary ~ YearsExperience', data = income).fit()
# 返回模型的参数值
fit.params

输出：
在这里插入图片描述
a也就是Intercept，截距
b也就是YearsExperience，斜率

多元线性回归模型

概念

对于一元线性回归模型来说，其反映的是单个自变量对因变量的影响，然而实际情况中，影响因变量的自变量往往不止一个，从而需要将一元线性回归模型扩展到多元线性回归模型。
在这里插入图片描述
其中，xij 代表第 i 行的第 j 变量值。如果按照一元线性回归模型的逻辑，那么多元线性回归模型应该就是因变量y与自变量X的线性组合。

所以，基于一元线性回归模型的扩展，可以将多元线性回归模型表示为：
在这里插入图片描述
进一步，根据线性代数的知识，可以将上式表示为矩阵的形式：

在这里插入图片描述

理论分析

首先构造目标函数（跟一元思路一样）
在这里插入图片描述
展开平方项

在线性代数里，Σz^2=z’*z（z’为z的转置）
为了方便理解举个例子：
在这里插入图片描述
那么我们就可得
在这里插入图片描述
求偏导为0

这里要补充点矩阵求导知识点
在这里插入图片描述
更多矩阵求导内容请点击这里
根据上面计算，由此我们可得
在这里插入图片描述
计算偏回归函数
在这里插入图片描述

示例

数据内容为
在这里插入图片描述
数据集包含5个变量，分别是产品的研发成本、管理成本、市场营销成本、销售市场和销售利润。

# 导入第三方模块
import pandas as pd
import statsmodels.api as sm
from sklearn import model_selection
# 导入数据
Profit = pd.read_excel(r'D:\pythonProject\data\Predict to Profit.xlsx')
# 将数据集拆分为训练集和测试集，测试集为20%
train, test = model_selection.train_test_split(Profit, test_size = 0.2, random_state=1234)
# 根据train数据集建模，默认为连续的数学变量，而State变成了分类变量
model = sm.formula.ols('Profit ~ RD_Spend+Administration+Marketing_Spend+C(State)', data = train).fit()
print('模型的偏回归系数分别为：\n', model.params)
# 删除test数据集中的Profit变量，用剩下的自变量进行预测
test_X = test.drop(labels = 'Profit', axis = 1)
pred = model.predict(exog = test_X)
print('对比预测值和实际值的差异：\n',pd.DataFrame({'Prediction':pred,'Real':test.Profit}))

输出：
在这里插入图片描述
Intercept 为截距；其余的为系数变量
在预测与实际值比较，差异小说明拟合好，差异大说明不好

注意！
x变量要是全是连续变量p，那么输出的变量也是一致的，也是p
但若出现字符串，那么我们想要字符串也变成数字变量，我们就需要改成分类变量，也就是x2_1, x2_2等，在这里面就是New York和Florida，拆分成了两个x2，那为什么不是全部的？因为在分类变量里，二者会出现强相关内部关系，p会大，不满足线性回归的假设前提，我们需要抛去一个（不过程序会默认砍掉一个）

那么当然我们也可以自己选择删除的变量
默认情况下，对于离散变量State而言，模型选择California值作为对照组。

# 导入第三方模块
import pandas as pd
import statsmodels.api as sm
from sklearn import model_selection
# 导入数据
Profit = pd.read_excel(r'D:\pythonProject\data\Predict to Profit.xlsx')
# 生成由State变量衍生的哑变量
dummies = pd.get_dummies(Profit.State)
# 将哑变量与原始数据集水平合并
Profit_New = pd.concat([Profit,dummies], axis = 1)
# 删除State变量和California变量（因为State变量已被分解为哑变量，New York变量需要作为参照组）
Profit_New.drop(labels = ['State','New York'], axis = 1, inplace = True)
# 拆分数据集Profit_New
train, test = model_selection.train_test_split(Profit_New, test_size = 0.2, random_state=1234)
# 建模
model2 = sm.formula.ols('Profit~RD_Spend+Administration+Marketing_Spend+Florida+California', data = train).fit()
print('模型的偏回归系数分别为：\n', model2.params)

输出：
我们可以看到没了纽约，而有了其他的
在这里插入图片描述
那最后函数可写成：Profit=58068.05+0.80RDSpend-0.06Administation+0.01Marketing_Spend+1440.86Florida
+513.47California

线性回归模型的假设检验

做假设检验的目的，是看我们构造的模型合不合理。

模型的F检验

F检验是检验模型的合理性

1、提出问题的原假设和备择假设
2、在原假设的条件下，构造统计量F
3、根据样本信息，计算统计量的值
4、对比统计量的值和理论F分布的值，当统计量值超过理论值时，拒绝原假设，否则接受原假设

理论分析

首先构造假设

H0叫原假设；H1叫备择假设在这里插入图片描述
再构造统计量
在这里插入图片描述
n是变量数目，p是样本数目
计算的F与分布的理论F(p, n-p-1)两者相互比对

其中：
在这里插入图片描述
TSS=ESS+RSS
ESS叫离差/残差平方和
RSS叫回归平方和
TSS叫总差平方和

示例

我们先建模，然后做F检验

# 导入第三方模块
import pandas as pd
import statsmodels.api as sm
from sklearn import model_selection
# 导入数据
Profit = pd.read_excel(r'D:\pythonProject\data\Predict to Profit.xlsx')
# 生成由State变量衍生的哑变量
dummies = pd.get_dummies(Profit.State)
# 将哑变量与原始数据集水平合并
Profit_New = pd.concat([Profit,dummies], axis = 1)
# 删除State变量和California变量（因为State变量已被分解为哑变量，New York变量需要作为参照组）
Profit_New.drop(labels = ['State','New York'], axis = 1, inplace = True)
# 拆分数据集Profit_New
train, test = model_selection.train_test_split(Profit_New, test_size = 0.2, random_state=1234)
# 建模
model2 = sm.formula.ols('Profit~RD_Spend+Administration+Marketing_Spend+Florida+California', data = train).fit()
# print('模型的偏回归系数分别为：\n', model2.params)# 导入第三方模块
import numpy as np
# 计算建模数据中因变量的均值
ybar = train.Profit.mean()
# 统计变量个数和观测个数
p = model2.df_model
n = train.shape[0]
# 计算回归离差平方和
RSS = np.sum((model2.fittedvalues-ybar) ** 2)
# 计算误差平方和
ESS = np.sum(model2.resid ** 2)
# 计算F统计量的值
F = (RSS/p)/(ESS/(n-p-1))
print('F统计量的值：',F)

输出：

F统计量的值： 174.63721716733755

接着对比实际

# 导入模块
from scipy.stats import f
# 计算F分布的理论值
F_Theroy = f.ppf(q=0.95, dfn = p,dfd = n-p-1)
print('F分布的理论值为：',F_Theroy)

输出：

F分布的理论值为： 2.502635007415366

我们发现，计算出来的F统计量值174.64远远大于F分布的理论值2.50，所以应当拒绝原假设，即认为多元线性回归模型是显著的，也就是说回归模型的偏回归系数都不全为0。

模型的T检验

T检验是检验系数的合理性

理论分析

首先提出假设
在这里插入图片描述
构造统计量
在这里插入图片描述
ε是误差项；cjj是(X’X)^-1的对角线，也就是(X’X)逆的对角线

示例

利用model的方法

# 导入第三方模块
import pandas as pd
import statsmodels.api as sm
from sklearn import model_selection
# 导入数据
Profit = pd.read_excel(r'D:\pythonProject\data\Predict to Profit.xlsx')
# 生成由State变量衍生的哑变量
dummies = pd.get_dummies(Profit.State)
# 将哑变量与原始数据集水平合并
Profit_New = pd.concat([Profit,dummies], axis = 1)
# 删除State变量和California变量（因为State变量已被分解为哑变量，New York变量需要作为参照组）
Profit_New.drop(labels = ['State','New York'], axis = 1, inplace = True)
# 拆分数据集Profit_New
train, test = model_selection.train_test_split(Profit_New, test_size = 0.2, random_state=1234)
# 建模
model2 = sm.formula.ols('Profit~RD_Spend+Administration+Marketing_Spend+Florida+California', data = train).fit()
# print('模型的偏回归系数分别为：\n', model2.params)# 有关模型的概览信息
model2.summary()

输出：
在这里插入图片描述
对比下结论
p≤0.05时才通过，或者叫t的绝对值大于2
从返回的结果可知，只有截距项Intercept和研发成本RD Spend对应的p值小于0.05，其余变量都没有通过系数的显著性检验，即在模型中这些变量不是影响利润的重要因素。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/816574.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【leetcode面试经典150题】32.串联所有单词的子串（C++）

【leetcode面试经典150题】32.串联所有单词的子串（C++）

【leetcode面试经典150题】专栏系列将为准备暑期实习生以及秋招的同学们提高在面试时的经典面试算法题的思路和想法。本专栏将以一题多解和精简算法思路为主，题解使用C语言。（若有使用其他语言的同学也可了解题解思路，本质上语法内容一致&…
阅读更多...
2024 十五届蓝桥杯省赛Python B组

2024 十五届蓝桥杯省赛Python B组

以下仅是我的答案，仅供参考，欢迎讨论。 A：穿越时空之门 二进制、四进制转换。答案：63。 B：数字串个数 排除0，总的方案数9^10000,减去不存在3和不存在7的2*8^10000，再加上同时不存在3和7的7^…
阅读更多...
RedisTemplate

RedisTemplate

3.3.RedisTemplate 在Sentinel集群监管下的Redis主从集群，其节点会因为自动故障转移而发生变化，Redis的客户端必须感知这种变化，及时更新连接信息。Spring的RedisTemplate底层利用lettuce实现了节点的感知和自动切换。 下面，我们…
阅读更多...
Vue3---基础8（生命周期）

Vue3---基础8（生命周期）

生命周期 Vue组件在创建时要经历一系列的初始化步骤，在此过程中Vue会在合适的时机，调用特定的函数，从而让开发者有机会在特定阶段运行自己的代码，这些特定的函数统称为：生命周期钩子 Vue2 在Vue2中，组件的生…
阅读更多...
InnoDB中高度为3的B+树最多可以存多少数据？

InnoDB中高度为3的B+树最多可以存多少数据？

参考： 🔥我说MySQL每张表最好不超过2000万数据，面试官让我回去等通知？ - 掘金 考虑到磁盘IO是非常高昂的操作，计算机操作系统做了预读的优化，当一次IO时，不光把当前磁盘地址的数据，…
阅读更多...
计算机网络常问面试题

计算机网络常问面试题

一.HTTPS是如何保证安全传输的 https通过使⽤对称加密、⾮对称加密、数字证书等⽅式来保证数据的安全传输。 客户端向服务端发送数据之前，需要先建⽴TCP连接，所以需要先建⽴TCP连接，建⽴完TCP连接后，服务端会先给客户端发送公钥…
阅读更多...
CentOS 设置静态 IP 配置

CentOS 设置静态 IP 配置

防止 CentOS 服务器的 IP 地址更改，可以设置静态 IP 配置，而不是依赖 DHCP（动态主机配置协议）分配 IP 地址。 以下是在 CentOS 上配置静态 IP 地址步骤： 1. 编辑网络配置文件 打开配置文件。配置文件通常位于 /etc/s…
阅读更多...
您与此网站之间建立的连接不安全

您与此网站之间建立的连接不安全

正如标题一样，打开的网站地址栏显示：如果你使用浏览器提示您与此网站之间建立的连接不安全、与此站点的连接不安全、网站非安全连接等类似提示。 是因为网站采取的是http地址协议，这种协议有一种缺点，当您常使用的网站出现上述提示…
阅读更多...
Vue项目实战：基于用户身份的动态路由管理

Vue项目实战：基于用户身份的动态路由管理

🌟 前言 欢迎来到我的技术小宇宙！🌌 这里不仅是我记录技术点滴的后花园，也是我分享学习心得和项目经验的乐园。📚 无论你是技术小白还是资深大牛，这里总有一些内容能触动你的好奇心。🔍 &#x…
阅读更多...
【动态规划】【背包问题】

【动态规划】【背包问题】

1.确定dp数组含义，初始化 2.确定遍历顺序 3.确定dp公式 ‘’‘’ 0-1背包问题，可以分为二维dp和一维dp 有两种状态，当前物品放还是不放入背包 0-1背包，物品只能放一次，因此一维dp要考虑遍历顺序 ‘’’ class solu…
阅读更多...
后端返回树结构

后端返回树结构

出参结构 Getter Setter public class TreeResponse implements Serializable {// 主键private Long id;// 父级节点private Long parentId;// 层级private Byte layer;// 编码private String docCode;// 名称private String docName;// 子节点private List<TreeResponse&g…
阅读更多...
yolov5 获取错误样本

yolov5 获取错误样本

yolov5根据把预测错误的样本找出来，并把预测结果打印出来，输出图片 标注时，标注的结果就显示出来了，红框是预测的结果，其他颜色是标注的结果，可以根据结果对比进行调整标注。 注意：标注时独立的json文件格式 batch_mouse_ok.py """ Usage:$ python pa…
阅读更多...
如何安装MacOS的虚拟机？mac安装虚拟机的步骤 虚拟机安装MacOS VMware Fusion和Parallels Desktop19

如何安装MacOS的虚拟机？mac安装虚拟机的步骤 虚拟机安装MacOS VMware Fusion和Parallels Desktop19

要在Mac上运行MacOS的虚拟机&#xff0c;常用的方法是使用虚拟化软件如VMware Fusion或Parallels Desktop。 以下是安装MacOS的虚拟机的主要步骤&#xff1a; 1. 检查系统要求&#xff1a;确定您的Mac硬件和操作系统满足安装要求。您需要一台具备足够性能的Mac&#xff0c;并…
阅读更多...
223 基于matlab的结构有限元分析

223 基于matlab的结构有限元分析

基于matlab的结构有限元分析。包括基于4节点四面体单元的空间块体分析、基于4节点四边形单元的矩形薄板分析、基于3节点三角形单元的矩形薄板分析、三梁平面框架结构的有限元分析、四杆桁架结构的有限元分析、基于8节点六面体单元的空间块体分析。每个程序都要相应的文档说明。…
阅读更多...
设计模式之策略模式例题：根据用户等级算积分的接口

设计模式之策略模式例题：根据用户等级算积分的接口

问题 问题&#xff1a;写一个根据游戏用户等级来送赠送积分的方法接口&#xff0c;一共有100个等级&#xff0c;每种等级都有一个方法&#xff0c;使用策略模式。 在设计一个根据游戏用户等级来赠送积分的接口时&#xff0c;我们需要考虑几个关键点&#xff1a; 解决 性能&a…
阅读更多...
spring-cloud-alibaba微服务Sentinel

spring-cloud-alibaba微服务Sentinel

Sentinel 官方网站 sentinel-dashboard-1.8.7.jar包下载地址 在window通过命令行启动&#xff08;java -Dserver.port8080 -Dproject.namesentinel-dashboard -jar sentinel-dashboard-1.8.7.jar&#xff09;&#xff0c;可以通过 -Dserver.port修改控制台的端口 使用的版本最好…
阅读更多...
CentOS7.9.2009安装配置logstash7.11.1

CentOS7.9.2009安装配置logstash7.11.1

本文章使用CentOS7.9.2009服务器以root用户安装配置logstash7.11.1软件 1.服务器信息 [root@elasticsearch ~]# cat /etc/redhat-release CentOS Linux release 7.9.2009 (Core) [root@elasticsearch ~]# 2.logstash安装配置 --> 上传logstash7.11.1版本至CentOS7.9.200…
阅读更多...
【设计模式】4、prototype 原型模式

【设计模式】4、prototype 原型模式

四、prototype 原型模式 https://refactoringguru.cn/design-patterns/prototype 如果希望 复制对象, 可使用 “prototype 模式” 如果 “待复制的对象” 是 interface 而不是 class, 或者如果 class 有 private 变量时. 无法知道 "待复制的对象"的细节, 则需要其…
阅读更多...
Python 全栈 Web 应用模板：成熟架构，急速开发 | 开源日报 No.223

Python 全栈 Web 应用模板：成熟架构，急速开发 | 开源日报 No.223

tiangolo/full-stack-fastapi-template Stars: 15.6k License: MIT full-stack-fastapi-template 是一个现代化的全栈 Web 应用模板。 使用 FastAPI 构建 Python 后端 API。使用 SQLModel 进行 Python SQL 数据库交互&#xff08;ORM&#xff09;。Pydantic 用于数据验证和设…
阅读更多...
Linux目录和文件管理

Linux目录和文件管理

Linux 目录结构 是树形结构&#xff0c;默认是以 根目录 / 为所有文件、目录的起点 目录介绍/root 超级用户(系统管理员)的主目录(特权阶级)/home存放所有用户文件的根目录&#xff0c;是用户主目录的基点&#xff0c;比如用户user的主目录就是/home/user&#xff0c;可以…
阅读更多...
最新文章

Copyright @ 2022~2023