一元非线性回归+多元线性回归

一元非线性回归

观察散点图,确定非线性形式,然后将非线性转化为线性求解。

常见的六类曲线:

(1)双曲函数曲线
{ y ^ = x a + b x y ^ = a + b x x y ^ = 1 a + b x \begin{cases} \hat{y}=\frac{x}{a+bx}\\ \hat{y}=\frac{a+bx}{x}\\ \hat{y}=\frac{1}{a+bx} \end{cases} y^=a+bxxy^=xa+bxy^=a+bx1

变换方式:

y ^ = x a + b x \hat{y}=\frac{x}{a+bx} y^=a+bxx,两边取倒数后,令 y ′ = x y ^ y'=\frac{x}{\hat{y}} y=y^x,得: y ′ = a x + b y'=ax+b y=ax+b

y ^ = a + b x x \hat{y}=\frac{a+bx}{x} y^=xa+bx,令 y ′ = x y ^ y'=x\hat{y} y=xy^,得: y ′ = a x + b y'=ax+b y=ax+b

y ^ = 1 a + b x \hat{y}=\frac{1}{a+bx} y^=a+bx1,两边取倒数后,令 y ′ = 1 y ^ y'=\frac{1}{\hat{y}} y=y^1,得: y ′ = a x + b y'=ax+b y=ax+b


(2)幂函数曲线

幂函数( y y y x x x某次幂的函数)方程形式
y ^ = a x b \hat{y}=ax^b y^=axb

变换形式:

两边取对数,令 y ′ = l n y ^ y'=ln{\hat{y}} y=lny^ x ′ = l n x x'=lnx x=lnx a ′ = l n a a'=lna a=lna,得: y ′ = a ′ + b x ′ y'=a'+bx' y=a+bx


(3)指数函数曲线

指数函数(x作为指数出现)方程形式:
{ y ^ = a e b x y ^ = a b x \begin{cases} \hat{y}=ae^{bx}\\ \hat{y}=ab^x \end{cases} {y^=aebxy^=abx

变换方式:

两边取对数,令 y ′ = l n y ^ y'=ln{\hat{y}} y=lny^ a ′ = l n a a'=lna a=lna,得 y ′ = a ′ + b x y'=a'+bx y=a+bx


(4)倒指数曲线

倒指数函数( 1 x \frac{1}{x} x1作为指数曲线)方程形式:
y ^ = a e b x \hat{y}=ae^{\frac{b}{x}} y^=aexb

变换方式:

两边取对数,令 y ′ = l n y ^ y'=ln{\hat{y}} y=lny^ a ′ = l n a a'=lna a=lna x ′ = 1 x x'=\frac{1}{x} x=x1,得: y ′ = a ′ + b x ′ y'=a'+bx' y=a+bx


(5)对数函数曲线

对数函数( x x x作为自然对数出现)方程形式:
y ^ = a + b l n x ( x > 0 ) \hat{y}=a+blnx(x>0) y^=a+blnx(x>0)

变换方式:

x ′ = l n x x'=lnx x=lnx,得 y ^ = a + b x ′ \hat{y}=a+bx' y^=a+bx


(6) S S S型曲线

主要描述动、植物的自然生长过程,又称生长曲线,也可以描述传染病的发展趋势

生长过程的基本特点是开始增长较慢,而在以后的某一范围内迅速增长,达到一定的限度后增长又缓慢下来,曲线呈拉长的 S S S型。著名的’ S S S’型曲线是 L o g i s t i c Logistic Logistic生长曲线
y ^ = k 1 + a e − b x ( a 、 b 、 k 均大于 0 ) x = 0 , y ^ = k 1 + a ; x → ∞ , y ^ = k \hat{y}=\frac{k}{1+ae^{-bx}}(a、b、k均大于0)\\ x=0,\hat{y}=\frac{k}{1+a};x\to \infty,\hat{y}=k y^=1+aebxk(abk均大于0)x=0,y^=1+ak;x,y^=k

变换方式:

两边去倒数再取对数后, y ′ = l n k − y ^ y ^ y'=ln{\frac{k-\hat{y}}{\hat{y}}} y=lny^ky^ a ′ = l n a a'=lna a=lna,得: y ′ = a ′ + b x y'=a'+bx y=a+bx

多元线性回归

数学模型
多元线性回归模型: y = β 0 + β 1 x 1 + … + β k x k + ϵ 多元线性回归模型:y=\beta_0+\beta_1x_1+…+\beta_kx_k+\epsilon 多元线性回归模型:y=β0+β1x1++βkxk+ϵ
其中,位置参数 β 0 \beta_0 β0 β 1 \beta_1 β1称为回归系数, x 1 、 x 2 、 … 、 x k x_1、x_2、…、x_k x1x2xk称为自变量(回归变量), y y y称为因变量(被预测变量), ϵ \epsilon ϵ称为误差项,服从正态分布, E ( ϵ ) = 0 E(\epsilon)=0 E(ϵ)=0 C O V ( ϵ , ϵ ) = σ 2 I n COV(\epsilon,\epsilon)=\sigma^2I_n COV(ϵ,ϵ)=σ2In


回归平面方程: E ( y ) = β 0 + β 1 x 1 + … + β k x k 回归平面方程:E(y)=\beta_0+\beta_1x_1+…+\beta_kx_k 回归平面方程:E(y)=β0+β1x1++βkxk

上面的方程是对多元线性回归方程两边同时求期望得到的


估计的回归平面方程: y ^ = β 0 ^ + β 1 ^ x 1 + … + β k ^ x k 估计的回归平面方程:\hat{y}=\hat{\beta_0}+\hat{\beta_1}x_1+…+\hat{\beta_k}x_k 估计的回归平面方程:y^=β0^+β1^x1++βk^xk

其中 β 0 ^ \hat{\beta_0} β0^ β 1 ^ \hat{\beta_1} β1^ … … β k ^ \hat{\beta_k} βk^是未知参数 β 0 \beta_0 β0 β 1 \beta_1 β1 … … β k \beta_k βk的估计值


模型参数估计

假设有 n n n组独立观测数据 ( x i , y i ) (x_i,y_i) (xi,yi) i = 1 , 2 , 3 , . . . , n i=1,2,3,...,n i=1,2,3,...,n,未知参数 β 0 \beta_0 β0 β 1 \beta_1 β1 … … β k \beta_k βk的估计值分别为 β 0 ^ \hat{\beta_0} β0^ β 1 ^ \hat{\beta_1} β1^ … … β k ^ \hat{\beta_k} βk^,记:
y i ^ = β 0 ^ + β 1 ^ x i 1 + … + β k x i k \hat{y_i}=\hat{\beta_0}+\hat{\beta_1}x_{i1}+…+\beta_kx_{ik}\\ yi^=β0^+β1^xi1++βkxik

Y ^ = [ y 1 ^ y 2 ^ … y n ^ ] , X = [ 1 x 11 x 12 … x 1 k 1 x 21 x 22 … x 2 k … 1 x n 1 x n 2 … x n k ] , β ^ = [ β 0 ^ β 1 ^ … β k ^ ] \hat{Y}=\begin{bmatrix} \hat{y_1}\\ \hat{y_2}\\ …\\ \hat{y_n}\\ \end{bmatrix} , X=\begin{bmatrix} 1\quad x_{11}\quad x_{12}\quad \dots\quad x_{1k}\\ 1\quad x_{21}\quad x_{22}\quad \dots\quad x_{2k}\\ …\\ 1\quad x_{n1}\quad x_{n2}\quad \dots\quad x_{nk}\\ \end{bmatrix} , \hat{\beta}=\begin{bmatrix} \hat{\beta_0}\\ \hat{\beta_1}\\ …\\ \hat{\beta_k} \end{bmatrix} Y^= y1^y2^yn^ X= 1x11x12x1k1x21x22x2k1xn1xn2xnk β^= β0^β1^βk^

根据最小二乘法,使 Q = ∑ ( y i − y i ^ ) 2 = ∑ ( y i − β 0 ^ − β 1 ^ x i 1 − … − β k x i k ) 2 Q=\sum{(y_i-\hat{y_i})^2}=\sum{(y_i-\hat{\beta_0}-\hat{\beta_1}x_{i1}-…-\beta_kx_{ik})^2} Q=(yiyi^)2=(yiβ0^β1^xi1βkxik)2达到最小,即真实数据到拟合平面的距离的平方和最小时,拟合情况最佳。可以解得:
β ^ = ( X T X ) − 1 ( X T Y ) \hat{\beta}=({X^TX})^{-1}(X^TY) β^=(XTX)1(XTY)


拟合优度判定

多元线性回归的拟合优度判定的 离差平方和 S S T 、回归平方和 ( S S R ) 、残差平方和 ( S S E ) 离差平方和SST、回归平方和(SSR)、残差平方和(SSE) 离差平方和SST、回归平方和(SSR)、残差平方和(SSE)与一元线性回归是一样的。

调整的多重判定系数 R α 2 = 1 − ( 1 − R 2 ) ( n − 1 n − k − 1 ) = 1 − ( 1 − S S R S S T ) ( n − 1 n − k − 1 ) ∈ [ 0 , 1 ] R_{\alpha}^2=1-(1-R^2)(\frac{n-1}{n-k-1})=1-(1-\frac{SSR}{SST})(\frac{n-1}{n-k-1})\in[0, 1] Rα2=1(1R2)(nk1n1)=1(1SSTSSR)(nk1n1)[0,1],越接近1,拟合越好;越接近0,拟合越差。前面的相关系数 r r r实际就是判定系数 R 2 R^2 R2的平方根。

均方残差 M S E = S S E n − k − 1 MSE=\frac{SSE}{n-k-1} MSE=nk1SSE,估计标准误差 s e = M S E = S S E n − k − 1 s_e=\sqrt{MSE}=\sqrt{\frac{SSE}{n-k-1}} se=MSE =nk1SSE 是误差项 ϵ \epsilon ϵ的标准差 σ \sigma σ的估计,估计标准差 s e s_e se越接近于0,回归平面对各观测点的代表性就越好


显著性检验

(1)线性关系的检验

第一步:提出假设
H 0 : β i = 0 ( i = 1 , 2 , … , p ) H_0:\beta_i=0(i=1,2,…,p) H0:βi=0(i=1,2,,p)

第二步:计算检验统计量
F = S S R / k S S E / ( n − k − 1 ) ∼ F ( k , n − k − 1 ) F=\frac{SSR/k}{SSE/(n-k-1)}\sim F(k, n-k-1) F=SSE/(nk1)SSR/kF(k,nk1)
第三步:进行决策

先查表得出 F α ( k , n − k − 1 ) F_\alpha(k,n-k-1) Fα(k,nk1)的值,若 F > F α ( k , n − k − 1 ) F>F_\alpha(k,n-k-1) F>Fα(k,nk1),拒绝 H 0 H_0 H0,表明存在显著线性关系


(2)回归系数的检验==(检验自变量对因变量的影响是否显著)==

第一步:提出假设
H 0 : β i = 0 ( i = 1 , 2 , … , p ) H_0:\beta_i=0(i=1,2,…,p) H0:βi=0(i=1,2,,p)
第二步:计算检验统计量
t = β i ^ s β i ^ ∼ t ( n − p − 1 ) , 其中 s β i ^ = s e ∑ x i 2 − 1 n ( ∑ x i ) 2 t=\frac{\hat{\beta_i}}{s_{\hat{\beta_i}}}\sim t(n-p-1),其中s_{\hat{\beta_i}}=\frac{s_e}{\sqrt{\sum{x_i^2}-\frac{1}{n}(\sum{x_i})^2}} t=sβi^βi^t(np1),其中sβi^=xi2n1(xi)2 se
第三步:进行决策

先查表得出 t α 2 ( n − p − 1 ) t_{\frac{\alpha}{2}}(n-p-1) t2α(np1)的值,若 ∣ t ∣ > t α 2 ( n − p − 1 ) |t|>t_{\frac{\alpha}{2}}(n-p-1) t>t2α(np1),拒绝 H 0 H_0 H0,表明回归系数等于0的可能性小于 α \alpha α,自变量对因变量的影响是显著的


预测

(1)点估计

利用估计的回归方程 y ^ = β 0 ^ + β 1 ^ x 1 + … + β k ^ x k \hat{y}=\hat{\beta_0}+\hat{\beta_1}x_1+…+\hat{\beta_k}x_k y^=β0^+β1^x1++βk^xk,对于给定自变量的值 x 1 , x 2 , … , x k x_1,x_2,…,x_k x1x2xk,求出一个估计值

(2)区间估计

y y y 1 − α 1-\alpha 1α的预测区间(置信)区间为 [ y ^ 1 , y ^ 2 ] [\hat{y}_1,\hat{y}_2] [y^1,y^2],其中:
{ y ^ 1 = y ^ − σ ^ e 1 + ∑ i = 0 k ∑ j = 0 k c i j x i x j t 1 − α 2 ( n − k − 1 ) y ^ 1 = y ^ + σ ^ e 1 + ∑ i = 0 k ∑ j = 0 k c i j x i x j t 1 − α 2 ( n − k − 1 ) \begin{cases} \hat{y}_1=\hat{y}-\hat{\sigma}_e\sqrt{1+\sum_{i=0}^{k}{\sum_{j=0}^{k}{c_{ij}x_ix_jt_{1-\frac{\alpha}{2}}(n-k-1)}}}\\ \hat{y}_1=\hat{y}+\hat{\sigma}_e\sqrt{1+\sum_{i=0}^{k}{\sum_{j=0}^{k}{c_{ij}x_ix_jt_{1-\frac{\alpha}{2}}(n-k-1)}}} \end{cases} y^1=y^σ^e1+i=0kj=0kcijxixjt12α(nk1) y^1=y^+σ^e1+i=0kj=0kcijxixjt12α(nk1)
C = L − 1 = ( c i j ) , L = X ′ X C=L^{-1}=(c_{ij}),L=X'X C=L1=(cij)L=XX

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/44329.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【selenium】元素等待

【selenium】元素等待 1、三种元素等待的区别2、sleep等待3、隐式等待4、显示等待4.1 WebDriverWait类4.2 expected_conditions类 1、三种元素等待的区别 特点sleep隐式等待显示等待原理不论网页/元素是否加载完成,都会强制等待x秒设置一个等待时间,等待…

Java 修改微信公众号后台服务器地址URL后,微信公众平台客服功能接收不到用户发送的消息的解决办法

解决办法: 检查一下微信回调URL是否转发了客服消息。 /*** 处理具体的回调信息*/ PostMapping("/callback") public void callback(RequestParam(name "signature", required false) String signature,RequestParam(name "timestamp&q…

centos系统查找mysql的配置文件位置

执行命令查找mysql的安装目录: which mysql cd进入mysql的安装目录 cd /usr/bin 查找配置文件位置 ./mysql --help | grep "my.cnf" 定位配置文件 cd /etc 查找命令还可以用find命令 find / -name "my.cnf"

iOS UITableView自带滑动手势和父视图添加滑动手势冲突响应机制探索

场景 我们有时候会遇到这样的一个交互场景:我们有一个UITableView 放在一个弹窗中,这个弹窗可以通过滑动进行展示和消失(跟手滑动的方式),然后这个UITableView放在弹窗中,并且可以滚动,展示一些…

用微信服务号支付门诊缴费

时间上午10刚过,医院里计价收费处排起了长龙,放眼望去,左边的窗口六条队。右边在原来发药的位置也开辟了收费窗口,数了一下有四条队。一共十条排队付费的长龙,每一条队伍的人数不下20人,也即超过200人在排队…

百度智能云将大模型引入网络故障定位的智能运维实践

物理网络中,某个设备发生故障,可能会引起一系列指标异常的告警。如何在短时间内从这些告警信息中找到真正的故障原因,犹如大海捞针,对于运维团队是一件很有挑战的事情。 在长期的物理网络运维工作建设中,百度智能云通…

【linux】linux的特殊符号

特殊字符用途示例,参数分隔符或命令分隔符git log --prettyformat:"%h,%an,%ar,%s"/文件路径分隔符,根目录cd /home/user/documents\转义字符,行继续echo "This is a long command \定义字符串,不解析变量和转义字符echo Hell…

探索 Postman API 网络图:可视化 API 交互的窗口

引言 在当今快速发展的软件开发领域,API(应用程序编程接口)扮演着至关重要的角色。Postman,作为业界领先的 API 开发工具,提供了一个强大的功能——API 网络图,它可以帮助开发者以图形化的方式理解和分析 …

【前端从入门到精通:第十一课: JS基本语法】

独闯JavaScript 了解JavaScript 为什么学习JavaScript JavaScript 是 web 开发者必学的三种语言之一: HTML 定义网页的内容 CSS 规定网页的布局 JavaScript 对网页行为进行编程 我们学习 JavaScript,以及 JavaScript 如何与 HTML 和 CSS 协同工作的知…

数字力量助西部职教全面提升——唯众品牌大数据、人工智能系列产品中标甘肃庆阳职院数字经济人才培养基地!

近日,唯众品牌凭借在大数据和人工智能领域深耕多年的技术积累和卓越产品,成功中标庆阳职业技术学院全国一体化算力网络国家枢纽节点数字经济人才培养基地项目,标志着唯众在助力西部职业教育与数字经济融合发展的新征程上迈出了坚实的一步。 …

Data Guard高级玩法:failover备库后,通过闪回恢复DG备库

作者介绍:老苏,10余年DBA工作运维经验,擅长Oracle、MySQL、PG、Mongodb数据库运维(如安装迁移,性能优化、故障应急处理等) 公众号:老苏畅谈运维 欢迎关注本人公众号,更多精彩与您分享…

怎样将aac转换mp3格式?推荐四个aac转MP3的方法

怎样将aac转换mp3格式?当需要将aac格式音频转换为MP3格式时,有几种方法可以轻松实现这一目标。MP3是一种广泛支持的音频格式,几乎所有设备和平台都能播放MP3文件,包括各种音乐播放器、手机、平板电脑和汽车音响系统。而且它也提供…

MySQL:视图、用户管理、C/C++/图形化界面链接访问数据库、网页逻辑

文章目录 1.视图1.1 视图的基本使用1.2 视图的基本规则 2.用户管理2.1 创建、删除、修改用户2.2 数据库权限 3.C/C/图形化界面链接访问数据库3.1 准备工作及常用接口介绍3.2 图形化界面访问MySQL 4.用户逻辑(注册&&登录) 1.视图 视图是一个虚拟表,其内容由…

嵌入式上gst rtsp server opencv mat

0 安装gstreamer sudo apt install libgstreamer1.0-0 gstreamer1.0-plugins-base gstreamer1.0-plugins-good gstreamer1.0-plugins-bad gstreamer1.0-plugins-ugly gstreamer1.0-libav gstreamer1.0-doc gstreamer1.0-tools gstreamer1.0-x gstreamer1.0-alsa gstreamer1.0-…

请写sql满足业务:找到连续登录3天以上的用户

为了找到连续登录超过 3 天的用户,我们可以使用 SQL 窗口函数和递归查询来实现。假设有一个 user_logins 表,包含以下字段: user_id(用户ID)login_date(登录日期) 假设 login_date 是 DATE 类…

怎么提高音频声音大小?提高音频声音大小的四种方法

怎么提高音频声音大小?在音频处理和编辑中,增加声音的音量是一个常见的需求,尤其是在确保音频清晰度和听觉效果的同时。调整音频的音量不仅仅是简单地提高音频的响度,它也涉及到如何保持音质的高标准,确保没有失真或削…

后端登录校验——Filter过滤器和Interceptor拦截器

一、Filter过滤器 前面我们学会了最先进的会话跟踪技术jwt令牌,那么我们要让用户使用某些功能时就要根据jwt令牌来验证用户身份,来决定他是否登陆了、让不让用户访问这个页面(或功能) 但是这样一来,没发一个请求&…

绝区零启动遇到的问题

📑打牌 : da pai ge的个人主页 🌤️个人专栏 : da pai ge的博客专栏 ☁️宝剑锋从磨砺出,梅花香自苦寒来 ​ 绝区零》作为米哈游的一款全新都…

【机器学习】(基础篇三) —— 线性回归

线性回归 本文介绍最经典的监督学习问题——线性回归,包括单变量线性回归和多变量线性回归 线性回归是回归任务,输入是带有标签的数据,根据数据关系,拟合出一个线性函数,并利用该函数进行预测等操作。线性回归分为单…

Python爬虫:BeautifulSoup的基本使用方法!

1.简介 Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析“标签树”等功能。它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应用程序。 Beautiful Soup…