线性回归模型

1. 简单线性回归模型举例:

汽车卖家做电视广告数量与卖出的汽车数量:


1.1 如何练出适合简单线性回归模型的最佳回归线/



使sum of squares最小

1.1.2 计算

分子 = (1-2)(14-20)+(3-2)(24-20)+(2-2)(18-20)+(1-2)(17-20)+(3-2)(27-20)
= 6 + 4 + 0 + 3 + 7
= 20

分母 = (1-2)^2 + (3-2)^2 + (2-2)^2 + (1-2)^2 + (3-2)^2
= 1 + 1 + 0 + 1 + 1
4

b1 = 20/4  =5

b0=20-5*2=20-10=10


1.2 预测:

假设有一周广告数量为6,预测的汽车销售量是多少?

x_given = 6

Y_hat = 5*6 + 10 = 40

1.3 Python实现:
#!/usr/bin/env python
#-*-coding:utf-8-*-
#简单的线性回归
import numpy as npdef fitSLR(x,y):n=len(x)dinominator=0#分母numerator=0#分子for i in range(0,n):numerator+=(x[i]-np.mean(x))*(y[i]-np.mean(y))dinominator+=(x[i]-np.mean(x))**2print('numerator:',numerator)print('dinominator:',dinominator)b1=numerator/float(dinominator)# b0=np.mean(y)/float(np.mean(x))b0=np.mean(y)-b1*np.mean(x);return b0,b1
def predict(x,b0,b1):return b0+x*b1x=[1,3,2,1,3]
y=[14,24,18,17,27]b0,b1=fitSLR(x,y)
print('intercept:',b0,' slope:',b1)
x_test=6
y_test=predict(6,b0,b1)print('y_test:',y_test)



结果分析:numerator 估计线性回归方程的分子
  dinominator 估计线性回归方程的分母
 intercept 截距   slope 斜率
 y_test 测试样例


0. 前提介绍:

为什么需要统计量?


统计量:描述数据特征

0.1 集中趋势衡量


0.1.1均值(平均数,平均值)(mean)



{6, 2, 9, 1, 2}


(6 + 2 + 9 + 1 + 2) / 5 = 20 / 5 = 4


0.1.2中位数 (median): 将数据中的各个数值按照大小顺序排列,居于中间位置的变量

0.1.2.1. 给数据排序:1, 2, 2, 6, 9
0.1.2.2. 找出位置处于中间的变量:2
当n为基数的时候:直接取位置处于中间的变量
当n为偶数的时候,取中间两个量的平均值





0.1.2众数 (mode):数据中出现次数最多的数


0.2



0.2.1. 离散程度衡量


0.2.1.1方差(variance)




{6, 2, 9, 1, 2}

(1) (6 - 4)^2 + (2 - 4) ^2 + (9 - 4)^2 + (1 - 4)^2 + (2 - 4)^2 
= 4 + 4 + 25 + 9 + 4
= 46

(2) n - 1 = 5 - 1 = 4

(3) 46 / 4 = 11.5


0.2.1.2标准差 (standard deviation)


s = sqrt(11.5) = 3.39







1. 介绍:回归(regression) Y变量为连续数值型(continuous numerical variable)
如:房价,人数,降雨量
分类(Classification): Y变量为类别型(categorical variable)
如:颜色类别,电脑品牌,有无信誉
2. 简单线性回归(Simple Linear Regression)
2.1 很多做决定过过程通常是根据两个或者多个变量之间的关系
2.3 回归分析(regression analysis)用来建立方程模拟两个或者多个变量之间如何关联
2.4 被预测的变量叫做:因变量(dependent variable), y, 输出(output)
2.5 被用来进行预测的变量叫做: 自变量(independent variable), x, 输入(input)

3. 简单线性回归介绍
3.1 简单线性回归包含一个自变量(x)和一个因变量(y)
3.2 以上两个变量的关系用一条直线来模拟
3.3 如果包含两个以上的自变量,则称作多元回归分析(multiple regression)

4. 简单线性回归模型
4.1 被用来描述因变量(y)和自变量(X)以及偏差(error)之间关系的方程叫做回归模型
4.2 简单线性回归的模型是:
其中:              参数                   偏差

5. 简单线性回归方程
E(y) = β01
         这个方程对应的图像是一条直线,称作回归线
         其中,β0是回归线的截距
                  β1是回归线的斜率  
                  E(y)是在一个给定x值下y的期望值(均值)

6. 正向线性关系:
7. 负向线性关系
8 无关系
9. 估计的简单线性回归方程
ŷ=b0+b1x
     这个方程叫做估计线性方程(estimated regression line)
     其中,b0是估计线性方程的纵截距
               b1是估计线性方程的斜率
               是在自变量x等于一个给定值的时候,y的估计值

10. 线性回归分析流程:
     


11. 关于偏差ε的假定
     11.1 是一个随机的变量,均值为0
     11.2 ε的方差(variance)对于所有的自变量x是一样的
     11.3 ε的值是独立的
     11.4 ε满足正态分布

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/508972.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

多元线性回归模型

1. 与简单线性回归区别(simple linear regression)多个自变量(x)2. 多元回归模型yβ0+β1x1β2x2 ... βpxpε其中:β0,β1,β2... βp是参数ε是误差值3. 多元回归方程E(y)β0+β1x…

常见分数值归一化方法

数据标准化(归一化)处理是数据挖掘的一项基础工作,不同评价指标往往具有不同的量纲和量纲单位,这样的情况会影响到数据分析的结果,为了消除指标之间的量纲影响,需要进行数据标准化处理,以解决数…

非线性回归

1. 概率&#xff1a; 1.1 定义 概率(P)robability: 对一件事情发生的可能性的衡量1.2 范围 0 < P < 11.3 计算方法&#xff1a; 1.3.1 根据个人置信1.3.2 根据历史数据1.3.3 根据模拟数据1.4 条件概率&#xff1a;2. Logistic Regression (逻辑回归)2.1 例子2.2 基本…

python dir()函数使用

您可以使用内置的dir()函数列出一个定义对象的标识符。例如&#xff0c;对于一个模块&#xff0c;包括在模块中定义的函数&#xff0c;类和变量。 当你给dir()提供一个模块名字时&#xff0c;它返回在那个模块中定义的名字的列表。当没有为其提供参数时, 它返回当前模块中定义的…

【链接保存】十分钟上手sklearn:特征提取,常用模型,交叉验证

原博客地址&#xff1a;http://blackblog.tech/2018/02/05/%E5%8D%81%E5%88%86%E9%92%9F%E4%B8%8A%E6%89%8Bsklearn-1/ 简书地址&#xff1a;https://www.jianshu.com/p/731610dca805

【链接保存】十分钟上手sklearn:安装,获取数据,数据预处理

简书地址&#xff1a;https://www.jianshu.com/p/a9168803edc6 博主地址&#xff1a;http://blackblog.tech/2018/02/05/%E5%8D%81%E5%88%86%E9%92%9F%E4%B8%8A%E6%89%8Bsklearn-1/

层次聚类

假设有N个待聚类的样本&#xff0c;对于层次聚类来说&#xff0c;步骤&#xff1a;1、&#xff08;初始化&#xff09;把每个样本归为一类&#xff0c;计算每两个类之间的距离&#xff0c;也就是样本与样本之间的相似度&#xff1b;2、寻找各个类之间最近的两个类&#xff0c;把…

常用软件包和环境配置(机器学习)

1. 常用软件包&#xff1a;TheanoPylearn2scikit-neuralnetworkCaffeDeeplearning4jTorchhttp://deeplearning.net/software_links/2. 环境配置Linux: UbuntuEclipsePyDevPythonCUDAGPU: https://developer.nvidia.com/cuda-gpus3. 神经网络算法 (neural networks)http://www.m…

(优秀文章保存)Quartz优秀文章保存

Quartz的基本使用之入门&#xff08;2.3.0版本&#xff09; 一、Quartz可以用来做什么 Quartz是一个强大任务调度框架&#xff0c;我工作时候会在这些情况下使用到quartz框架&#xff0c;当然还有很多的应用场景&#xff0c;在这里只列举2个实际用到的 餐厅系统会在每周四晚…

【使用注意】Jsoup的select方法

之前做了一个频道抓取&#xff1a;获取div Elements div_e;div_e doc.select("div");Iterator<Element> div_it div_e.iterator();while (div_it.hasNext()) {处理逻辑} 我是想通过select div块然后去遍历获取div里的内容&#xff0c;但是发现有的新闻网址频…

cross-entropy函数

我们理想情况是让神经网络学习更快假设简单模型: 只有一个输入,一个神经元,一个输出简单模型: 输入为1时, 输出为0初始 w 0.6, b 0.9 初始预测的输出 a 0.82, 需要学习学习率: 0.15演示: 初始: w 2.0, b 2.0, 初始预测输出: 0.98, 和理想输出0差点很远演示:神经网络的学…

DButils工具使用笔记以及常见问题总结

入门&#xff1a; https://www.cnblogs.com/smyhvae/p/4085684.html 一、字段名称和实体类命名不用 解决办法&#xff1a;给查询结果的显示字段取别名&#xff0c;如TEMPLATE_ID AS templateId select news_id as id, title from test where id1 二、DBUtils使用BeanListH…

Tensorflow报错:AttributeError: 'module' object has no attribute 'scalar_summary'

报错&#xff1a; tf.scalar_summary(l.op.name (raw), l) AttributeError: module object has no attribute scalar_summary 解决&#xff1a; tf.scalar_summary(images, images)改为&#xff1a;tf.summary.scalar(images, images) tf.image_summary(images, images)改为&…

python安装Scrapy踩过的坑以及安装指导

在pyCharm中的setting中直接添加包然后报错,然后利用window控制台pip install 报错异常&#xff1a; Command "python setup.py egg_info" failed with error code 1 第一步&#xff1a;准备更新pip&#xff0c;利用以下指令 python -m pip install --upgrade pip…

MyBatis之快速入门

MyBatis之快速入门 2017/9/30首先我要明确告诉大家的是MyBatis是一个java持久层框架&#xff0c;以前我们都是用jdbc来将我们的java程序与数据库相连接&#xff0c;而MyBatis是对jdbc的一个封装。 1.MyBatis框架的引入 我们来看看传统的编程方式中使用jdbc的问题: 1.数据库连接…

【使用注意】特殊中括号[]的特殊json数组

Testpublic void demo93() throws Exception {String str "[\"a\", \"b\", \"c\"]";//生成json数组JSONArray createArray new JSONArray();createArray.put("a");createArray.put("b");createArray.put("…

MyBatis之Mapper动态代理开发

MyBatis之Mapper动态代理开发 2017/9/301.SqlSession的使用范围 1.SqlSessionFactoryBuilder SqlSessionFactoryBuilder是以工具类的方式来使用:需要创建sqlSessionFactory时就new一个 SqlSessionFactoryBuilder 2.sqlSessionFactory 正常开发时&#xff0c;以单例方式管理sqlS…

【转载保存】IDEA maven中添加本地jar包

http://www.cnblogs.com/pldsalaryblogs/p/8194742.html

【转载保存】Java 8 Lambda实现原理分析

怒学Java8系列一:Lambda表达式介绍 Java 8 Lambda实现原理分析

MyBatis之输入(parameterType)与输出(resultType、resultMap)映射

MyBatis之输入(parameterType)与输出(resultType、resultMap)映射 2017/9/30在MyBatis中&#xff0c;我们通过parameterType完成输入映射(指将值映射到sql语句的占位符中&#xff0c;值的类型与dao层响应方法的参数类型一致)&#xff0c;通过resultType完成输出映射(从数据库中…