回归分析
回归分析: 寻找两个或多个变量之间的函数关系(相关关系)
一元和线性
y = β 0 + β 1 x + ε \begin{aligned} y&=\beta_0+\beta_1x+\varepsilon\\ \end{aligned} y=β0+β1x+ε
- 误差项 ε \varepsilon ε是一个期望值为0的随机变量，即 E ( ε ) = 0 E(\varepsilon)=0 E(ε)=0, 对于一个给定的 x x x值, y y y的期望值为 E ( y ) = β 0 + β 1 x E(y)=\beta_0+\beta_1x E(y)=β0+β1x
- 对于所有的 x x x值, ε \varepsilon ε的方差 σ 2 \sigma^2 σ2都相同
- 误差项 ε \varepsilon ε是一个服从正态分布的随机变量，且相互独立
β 1 = ∑ x i y i − n x ‾ y ‾ ∑ x 2 − n x ‾ β 0 = y ‾ − β 1 x ‾ \begin{aligned} \beta_1&=\frac{\sum x_iy_i-n\overline x\overline y}{\sum x^2-n\overline x}\\ \beta_0&=\overline y-\beta_1\overline x\\ \end{aligned} β1β0=∑x2−nx∑xiyi−nxy=y−β1x
回归显著性校验:
- 总离差平方和(SST): ∑ ( y i − y ‾ ) 2 \sum(y_i-\overline y)^2 ∑(yi−y)2
- 残差平方和(SSE): ∑ ( y i − y ^ i ) 2 \sum(y_i-\hat y_i)^2 ∑(yi−y^i)2
- 回归平方和(SSR): ∑ ( y ^ i − y ‾ ) 2 \sum(\hat y_i-\overline y)^2 ∑(y^i−y)2
S S T = ∑ ( y i − y ‾ ) 2 = ∑ [ ( y ^ i − y ‾ ) + ( y i − y ^ i ) ] 2 = ∑ ( y ^ i − y ‾ ) 2 + ∑ ( y i − y ^ i ) 2 + 2 ∑ ( y ^ i − y ‾ ) ( y i − y ^ i ) = ∑ ( y ^ i − y ‾ ) 2 + ∑ ( y i − y ^ i ) 2 + 0 = S S R + S S E \begin{aligned} SST&=\sum(y_i-\overline y)^2\\ &=\sum [(\hat y_i-\overline y)+(y_i-\hat y_i) ]^2\\ &=\sum(\hat y_i-\overline y)^2+\sum(y_i-\hat y_i)^2+2\sum(\hat y_i-\overline y)(y_i-\hat y_i)\\ &=\sum(\hat y_i-\overline y)^2+\sum(y_i-\hat y_i)^2+0\\ &=SSR+SSE \end{aligned} SST=∑(yi−y)2=∑[(y^i−y)+(yi−y^i)]2=∑(y^i−y)2+∑(yi−y^i)2+2∑(y^i−y)(yi−y^i)=∑(y^i−y)2+∑(yi−y^i)2+0=SSR+SSE
相关系数 r r r
r 2 = S S R S S T = ∑ ( y ^ i − y ‾ ) 2 ∑ ( y i − y ‾ ) 2 = 1 − ∑ ( y i − y ^ ) 2 ∑ ( y i − y ‾ ) 2 r^2=\frac{SSR}{SST}=\frac{\sum(\hat y_i-\overline y)^2}{\sum(y_i-\overline y)^2}=1-\frac{\sum(y_i-\hat y)^2}{\sum(y_i-\overline y)^2} r2=SSTSSR=∑(yi−y)2∑(y^i−y)2=1−∑(yi−y)2∑(yi−y^)2
- r r r越接近于1，相关性越强
- r ∈ [ 0 , 1 ] r\in[0, 1] r∈[0,1]
F F F检验
- 提出假设: 线性关系不显著
- 计算检验统计量 F F F
F = S S R / 1 S S E / ( n − 2 ) = ∑ ( y ^ i − y ‾ ) 2 ∑ ( y ^ i − y i ) 2 / ( n − 2 ) ∼ F ( 1 , n − 2 ) \begin{aligned} F&=\frac{SSR/1}{SSE/(n-2)}=\frac{\sum(\hat y_i-\overline y)^2}{\sum(\hat y_i-y_i)^2/(n-2)}\sim F(1, n-2)\\ \end{aligned} F=SSE/(n−2)SSR/1=∑(y^i−yi)2/(n−2)∑(y^i−y)2∼F(1,n−2)
- 确定显著性水平 α \alpha α，并根据分子自由度1和分母自由度(n-2)找出临界值 F α F_\alpha Fα作出决策: 若 F ≥ F α F\geq F_\alpha F≥Fα, 拒绝假设; 否则接受假设。(概率论与数理统计)
- F F F越大线性关系越显著
F F F与 r r r的关系
F = ( n − 2 ) r 2 1 − r 2 F=\frac{(n-2)r^2}{1-r^2}\\ F=1−r2(n−2)r2
- 说明 F F F检验和 r r r相关系数的一致性
例题
重复测量的分析
对于同一个 x x x重复测量得到 y y y的值
-
离差平方和: S S S
-
残差平方和: Q Q Q
-
回归平方和: U U U
-
误差平方和: Q E Q_E QE
-
失拟平方和: Q L Q_L QL
两个变量都有误差的一元线性回归
- λ \lambda λ衡量了误差偏向的方向
- 问题: 如何通过先验信息测出 λ = σ x 2 σ y 2 \lambda=\frac{\sigma_x^2}{\sigma_y^2} λ=σy2σx2?
一元非线性
- 化非线性为线性问题的求解
典型的化解方法
y = α e β x y = α x β y = x α x + β y = α + β log x y = 1 α + β e − x \begin{aligned} y&=\alpha e^{\beta x}\\ y&=\alpha x^\beta\\ y&=\frac{x}{\alpha x+\beta}\\ y&=\alpha+\beta\log x\\ y&=\frac{1}{\alpha+\beta e^{-x}}\\ \end{aligned} yyyyy=αeβx=αxβ=αx+βx=α+βlogx=α+βe−x1
具体步骤
- 根据散点图确认非线性回归方程模式
- 把非线性回归方程转换为线性回归方程
- 依据线性回归方程进行求解
- 再转换为非线性回归方程
- 观察数据是否符合某个曲线, 若符合则可以套用公式试试效果
- 以下是常见的曲线
- 在实际情况下，可能有多条曲线符合。这时需要将所有曲线都尝试一遍，然后做显著性校验，选取显著性校验最好的曲线作为结果。
多元线性
y ^ = b 0 + b 1 x 1 + b 2 x 2 + . . . + b M x M 由 最小二乘法 : Q = ∑ t = 1 M ( y t − y ^ t ) = ∑ t = 1 M ( y t − b 0 − b 1 x t 1 − b 2 x t 2 − . . . − b M x t M ) 2 = 最小 { ∂ Q ∂ b 0 = − 2 ∑ t = 1 M ( y t − b 0 − b 1 x t 1 − b 2 x t 2 − . . . − b M x t M ) = 0 ∂ Q ∂ b i = − 2 ∑ t = 1 M ( y t − b 0 − b 1 x t 1 − b 2 x t 2 − . . . − b M x t M ) = 0 i = 1 , 2...... M \begin{aligned} \hat y &=b_0+b_1x_1+b_2x_2+...+b_Mx_M\\ 由&最小二乘法:\\ Q&=\sum_{t=1}^M(y_t-\hat y_t)=\sum_{t=1}^M(y_t-b_0-b_1x_{t1}-b_2x_{t2}-...-b_Mx_{tM})^2=最小\\ &\begin{cases} \frac{\partial Q}{\partial b_0}=-2\sum_{t=1}^M(y_t-b_0-b_1x_{t1}-b_2x_{t2}-...-b_Mx_{tM})=0\\ \frac{\partial Q}{\partial b_{i}}=-2\sum_{t=1}^M(y_t-b_0-b_1x_{t1}-b_2x_{t2}-...-b_Mx_{tM})=0\\ i=1,2......M \end{cases} \end{aligned} y^由Q=b0+b1x1+b2x2+...+bMxM最小二乘法:=t=1∑M(yt−y^t)=t=1∑M(yt−b0−b1xt1−b2xt2−...−bMxtM)2=最小⎩ ⎨ ⎧∂b0∂Q=−2∑t=1M(yt−b0−b1xt1−b2xt2−...−bMxtM)=0∂bi∂Q=−2∑t=1M(yt−b0−b1xt1−b2xt2−...−bMxtM)=0i=1,2......M
矩阵形式:
( X T X ) b = X T Y b = A − 1 B = ( X T X ) − 1 X T Y \begin{aligned} (X^TX)b&=X^TY\\ b=A^{-1}&B=(X^TX)^{-1}X^TY\\ \end{aligned} (XTX)bb=A−1=XTYB=(XTX)−1XTY
另一种方法
y ^ = μ 0 + b 1 ( x 1 − x ‾ 1 ) + b 2 ( x 2 − x ‾ 2 ) + . . . + b M ( x M − x ‾ M ) A b = B 其 中 : μ = b 1 x ‾ 1 + b 2 x ‾ 2 + . . . + b M x ‾ M = y ‾ \begin{aligned} \hat y&=\mu_0+b_1(x_1-\overline x_1)+b_2(x_2-\overline x_2)+...+b_M(x_M-\overline x_M)\\ \qquad &\qquad \qquad \qquad \qquad Ab=B\\ 其&中:\mu=b_1\overline x_1+b_2\overline x_2+...+b_M\overline x_M=\overline { y}\\ \end{aligned} y^其=μ0+b1(x1−x1)+b2(x2−x2)+...+bM(xM−xM)Ab=B中:μ=b1x1+b2x2+...+bMxM=y
-
要求的系数 b b b比上一种方法少一个，矩阵维数由 M + 1 → M M+1\to M M+1→M
-
计算量减少
F F F检验
实例
参考资料
【名校公开课-误差理论与数据处理-钱政 | 北京航空航天大学】
)
 、removeEventListener()）)
)
