一元线性回归

变量间的关系

　变量与变量之间的关系分为确定性关系和相关性关系。
　确定性关系是指当自变量给定一个值的时候，就能计算出应变量的值。例如物体下落高度h与下落时间t的关系：$h=\dfrac{1}{2}gt^2$。
　相关性关系是指变量之间的关系不确定，表现为具有随机性的一种“趋势”。对自变量X的同一个值，取得的因变量Y的值可能不同，而且是随机的。但对应X在一定范围内的不同值，可以观测到Y随X的变化呈现出一定的趋势。$E(Y)=\mu(x)$（这句话说得真是妙。以前因果关系这样的逻辑深深地刻在脑海里，总觉得所有事情都是由A=>B。这种即随机，又趋势的这种关系从未曾理解过）
　
　相关性关系的例子生活中是有很多的。身高和体重没有确定的函数关系，但从统计意义上讲身高高的，体重大。

概念与模型

　一元线性回归研究一个变量对另外一个变量的影响。
　解释变量x
　响应变量Y
　Y的变化除了X的影响外，还有其他随机因素的影响，记为$\varepsilon$
　对从总体(x,Y)中抽取的一个样本：$(x_1,Y_1),(x_2,Y_2),....(x_n,Y_n)$。字母大小写区别了是解释变量，还是响应变量。
　$Y_i=\beta_0+\beta_1x_i+\varepsilon_i$,i=1,2..n
　$\varepsilon_i$~$N(0,\sigma^2)$，且相互独立
　$\beta_0,\beta_1$是回归系数，未知；$\sigma^2$未知
　y关于x的一元线性回归：$\hat y=\hat \beta_0+\hat\beta_1x_i$
　样本值$(x_1,y_1),(x_2,y_2)...(x_n,y_n)$

回归系数估计

　$\beta_0,\beta_1$的估计采用最小二乘法。
　$Q(\beta_0,\beta_1)=\sum_{i=1}^{n}(y_i-(\beta_0+\beta_ix_i))^2$，能够使得$Q(\beta_0,\beta_1)$最小的$\beta_0,\beta_1$的值就是估计的$\hat\beta_0,\hat\beta_1$。
　求导，导数为0，得到$\hat\beta_0,\hat\beta_1$。整理方程组得到：
　$\hat\beta_0=\overline y -\overline x \hat\beta_1$
　$\hat\beta_1=s_{xy}/s_{xx}$
　其中$\overline x=\dfrac{1}{n}\sum_{i=1}^{n}x_i$，$\overline y=\dfrac{1}{n}\sum_{i=1}^{n}y_i$，$s_{xx}=\sum_{i=1}^{n}(x_i-\overline x)^2$，$s_{xy}=\sum_{i=1}^{n}(x_i-\overline x)(y_i-\overline y)$，$s_{yy}=\sum_{i=1}^{n}(y_i-\overline y)^2$
　说明：最小二乘法事先并不需要知道Y与x之间一定有线性关系。可以通过专业知识，或者根据实际观测的数据用假设检验方法来判断。

$\sigma^2$估计

　$e_i=y_i-\hat y_i$，$e_i$是$\varepsilon_i$的估计。
　$\sigma^2=D(\varepsilon_i)=E(\varepsilon_i)^2$
　用残差平方和$\sum_{i=1}^{n}(y_i-\hat y_i)^2$估计$\sigma^2$
　可以证明$E(\sum_{i=1}^{n}(y_i-\hat y_i)^2)=(n-2)\sigma^2$，因此$S^2=\dfrac{1}{n-2}\sum_{i=1}^{n}(y_i-\hat y_i)^2$是$\sigma^2$的无偏估计。

线性假设的显著性检验

$H_0$假设

　$H_0:\beta_1=0$
　$H_1:\beta_1 \ne 0$
　如果接受$H_0$，x与Y没有线性关系，回归方程无意义；如果拒绝$H_0$，说明回归效果显著。
　x与Y没有回归效果不显著的原因可能有：1 影响Y的因素除了x还有别的因素且不能忽略；2E(Y)与x的关系不是线性关系，而是其他关系；3Y与x没关系。　

回归方程检验

回归系数检验

回归系数的置信区间

　$(\hat \beta_1\pm t_{\alpha/2}(n-2)\dfrac{s}{\sqrt{s_{xx}}})$

一元线性回归方程的应用–预测

　$\hat y_0=\hat\beta_0+\hat \beta_1x_0$ 在$x=x_0$点预测$y_0$。