数学期望

　数学期望用来反映平均情况。

定义

　设离散型随机变量X的分布律为$P(X=x_k)=p_k,\;k=1,2,3...$，若级数$\sum_{k=1}^{+\infty} x_kp_k$是收敛的，则称级数$\sum_{k=1}^{+\infty} x_kp_k$的值为随机变量X的数学期望。记为E(X)。

$$E(X)=\sum_{k=1}^{+\infty} x_kp_k$$
　 $p_k$可以理解为加权平均中的权值。数学期望又称为 均值。
　设连续型随机变量X的概率密度函数为f(x),如果积分 $\int_{-\infty}^{+\infty}xf(x)dx$绝对收敛，则称 $\int_{-\infty}^{+\infty}xf(x)dx$为随机变量X的数学期望。 $$E(X)=\int_{-\infty}^{+\infty}xf(x)dx$$

常见随机变量分布的数学期望

　如果X~B(p)，E(X)=p
　如果X~B(n,p)，E(X)=np
　如果X~P($\lambda$)，E(X)=$\lambda$
　如果X~Geom(p)，E(X)=$1 \over p$
　
　如果X~U(a,b)，E(X)=${(a+b) \over 2}$
　如果X~E($\lambda$)，E(X)=$1 \over \lambda$
　如果X~N($\mu$,$\sigma^2$)，E(X)=$\mu$
　

随机变量函数的数学期望

　懒人定理：设Y是随机变量X的函数：$Y=g(x)$，
　X是离散型随机变量，X的分布律为$P(X=x_k)=p_k,\;k=1,2,3...$，若$\sum_{k=1}^{+\infty} g(x_k)p_k$收敛，则$E(Y)=E(g(X))=\sum_{k=1}^{+\infty} g(x_k)p_k$
　X是连续型随机变量，X的概率密度函数是f(x)，若$\int_{-\infty}^{+\infty}g(x)f(x)dx$绝对收敛，则$E(Y)=E(g(X))=\int_{-\infty}^{+\infty}g(x)f(x)dx$。
　因为有了定理，就不需要先求出g(X)的分布律或者概率密度函数，再计算期望，所以称为懒人定理。
　二元随机变量函数的期望定理：设Z是随机变量X，Y的函数：Z=h(X,Y)，
　若二元离散型随机变量(X,Y)的分布律为：$P(x_i,y_j)=p_{ij},\; i,j=1,2,3...$，则有$E(Z)=E(h(X,Y))=\sum_{i=1}^{+\infty}\sum_{j=1}^{+\infty} h(x_i,y_j)p_{ij}$。
　若二元连续型随机变量(X,Y)的概率密度函数为：f(x,y)，则有$E(Z)=E(h(X,Y))=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty} h(x,y)f(x,y)dxdy$
　特别地，

$$E(X)=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty} xf(x,y)dxdy$$
　 $$E(Y)=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty} yf(x,y)dxdy$$
　

数学期望的性质

1. c是常数，E(c)=c。
2. X是一个随机变量，c是常数，则E(cX)=cE(X)。
3. 设X,Y是两个随机变量，则有E(X+Y)=E(X)+E(Y)。可以拓展到任意有限个随机变量的线性组合： $$E(c_0+\sum_{i=1}^n c_iX_i)=c_0+\sum_{i=1}^n c_iE(X_i)$$
4. 设X,Y是相互独立的随机变量，则E(XY)=E(X)E(Y)。可以拓展到任意有限个随机变量乘积的情况： $$E(\prod_{i=1}^nX_i)=\prod_{i=1}^nE(X_i)$$ ，其中$X_i,\;i=1,2,3...$相互独立。

方差

　方差是用来反映波动性的。

定义

　X是一个随机变量，如果$E\{(X-E(X))^2\}$是存在的，则称$E\{(X-E(X))^2\}$是X的方差。记为D(X)或者Var(X)。$\sqrt{D(X)}$记为$\sigma \left(x\right)$，称为X的标准差或者均方差。
　D(X)和$\sigma \left(x\right)$刻画了X取值的波动性，是衡量X取值分散程度的数字特征。如果D(X)较小，则X取值比较集中。

计算公式

　$D(X)=E(X^2)-E(X)^2$

常见随机变量分布的方差

　如果X~B(p)，D(X)=p(1-p)
　如果X~B(n,p)，D(X)=np(1-p)
　如果X~P($\lambda$)，D(X)=$\lambda$
　如果X~Geom(p)，D(X)=$1-p \over p^2$
　
　如果X~U(a,b)，D(X)=${(b-a)^2 \over 12}$
　如果X~E($\lambda$)，D(X)=$1 \over \lambda ^2$
　如果X~N($\mu$,$\sigma^2$)，E(X)=$\sigma ^2$　

方差的性质

1 设c是常数，则D(c)=0。
2 设X是随机变量，c是常数，则$D(cX)=c^2D(X)$。
3 设X,Y是两个随机变量，$D(X+Y)=D(X)+D(Y)+2tail$，tail=E{(X-E(X))(Y-E(Y))}。特别地，如果X,Y相互独立，则有$D(X+Y)=D(X)+D(Y)$。推广到任意有限个独立随机变量线性组合：

$$D(c_0+\sum_{i=1}^{n}c_iX_i)=\sum_{i=1}^n c_i^2D(X_i)$$ ，其中 $X_i,i=1,2,3...n$相互独立。
4 D(X)=0的充要条件是P(X=c)=1，且c=E(X)。

n个正态分布

　n个独立的正态随机变量的线性组合仍然服从正态分布。若$X_i$~$N(\mu_i,\sigma_i ^2),i=1,2,...n$且相互独立，则它们的线性组合$c_0+c_1X_1+c_2X_2+...+c_nX_n$~$N(c_o+c_1\mu_1+c_2\mu_2+...+c_n\mu_n,c_1^2\sigma_1^2+c_2^2\sigma_2^2+...+c_n^2\sigma_n^2)$，其中$c_1,c_2...c_n$是不全为0 的常数。

标准化变量

　设随机变量X具有数学期望$E(X)=\mu$，方差$D(X)=\sigma^2$，记$X^*=\dfrac{X-\mu}{\sigma}$。称$X^*$是X的标准化变量。
　

协方差与相关系数

来源

　方差定义中，当X，Y不独立时候的tail就是协方差。用来描述两个变量的相关程度。

定义

　数值E{[X-E(X)][Y-E(Y)]}为随机变量X,Y的协方差，记为Cov(X,Y)，即

$$Cov(X,Y)=E{[X-E(X)][Y-E(Y)]}$$
　 $$D(X+Y)=D(X)+D(Y)+2Cov(X,Y)$$
　Cov(X,Y)反映了X,Y的相关性。
　　当Cov(X,Y)>0，X,Y是正相关。
　　当Cov(X,Y)<0，X,Y是负相关。
　　当Cov(X,Y)=0，X,Y不相关。
　

计算公式

　$Cov(X,Y)=E(XY)-E(X)E(Y)$

协方差的性质

1 $Cov(X,Y)=Cov(Y,X)$
2 $Cov(X,X)=D(X)$
3 $Cov(aX,bY)=abCov(X,Y)$
4 $Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$

相关系数

来源

　协方差是有量纲的数字特征，为了消除量纲的影响，引入相关系数。

定义

　数值$\rho_{XY}=\dfrac{Cov(X,Y)}{\sqrt{D(X)D(Y)}}$称为随机变量X与Y的相关系数。若记标准化变量$X^*=\dfrac{X-E(X)}{\sqrt{D(X)}}$，$Y^*=\dfrac{Y-E(Y)}{\sqrt{D(Y)}}$，则$\rho_{XY}=X^*Y^*$。
　相关系数是衡量X,Y两个随机变量的线性相关关系的。$\left| \rho_{XY}\right|$绝对值越大，则X,Y的线性相关性越好。当$\left| \rho_{XY}\right|=1$，表明X,Y以概率1存在线性关系；当$\left| \rho_{XY}\right|=0$，表明X,Y之间没有线性关系，称为不相关。

相关系数的性质

1 $\left| \rho_{XY}\right| \le 1$
2 $\left| \rho_{XY}\right| = 1 \Leftrightarrow$存在常数a，b使得$P(Y=aX+bY)=1$。特别地，$\rho_{XY}=1$，$b>0$；$\rho_{XY}=-1$，$b<0$。

不相关与独立

　不相关是指没有线性关系。独立是指没有任何关系。两个随机变量除了线性关系还可能存在平方关系、平方根关系等其他关系。
　独立=>不相关。反之，则不可以。
　判断两个随机变量是否独立的依据是：$f(X,Y)=f_X(x)f_Y(y)$。
　判断两个随机变量是否线性相关的依据是：Cov(X,Y)=0 或者E(XY)=E(X)E(Y)。
　如果(X,Y)服从二元正态分布$N(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2,\rho)$，则$\rho_{XY}=\rho$。X，Y相互独立的充要条件是$\rho=0$。所以对于二元正态变量，相互独立等价于不相关。
　

多元正态分布的性质

矩

　设X为一个随机变量，如果$E(X^k)，k=1,2...$存在，则称之为X的k阶(原点)矩。
　设X为一个随机变量，如果$E[(X-E(X))^k)]，k=1,2...$存在，则称之为X的k阶中心矩。
　期望E(X)就是X的1阶原点矩。D(X)是X的2阶中心矩。
　设X,Y是两个随机变量，如果$E\{X^kY^l\}，k,l=1,2...$存在，则称之为X与Y的k+l阶混合原点矩。
　设X,Y是两个随机变量，如果$E[(X-E(X))^k(Y-E(Y))^l]，k,l=1,2...$存在，则称之为X与Y的k+l阶混合中心矩。
　协方差Cov(X,Y)就是1+1阶混合中心矩。

n元随机变量的期望向量和协方差矩阵

　设n元随机变量$X=(X_1,X_2,...X_n)^T,n\ge 1$，若其每一分量的数学期望都存在，则称$E(X)=(E(X_1),E(X_2),...E(X_n))^T,n \ge 1$为n元随机变量X的数学期望(向量)。
　

n元正态随机变量

四条性质

1 任意子向量$(X_{i_1},X_{i_2},...X_{i_k})^T$服从k元正态分布。
2 任意线性组合$l_0+l_1X_1+L_2X_2...+l_nX_n，其中l_1,l_2...不全为0$，服从一元正态分布。
　如果$X=(X_1,X_2,X_3)^T$为三元正态随机变量，则$Z_1=3X_1-X_2$，或者$Z_2=2X_1+4X_2+5$，$Z_1,Z_2$都是一元正态 变量。只是在计算$Z_1,Z_2$的参数时候与相互独立的三元正态随机变量不同。会利用相关系统计算协方差的值。
　
3 若$Y_1,Y_2,...Y_k$均为$X_i$的线性函数， 则$(Y_1,Y_2,...Y_k)^T$也服从k元正态分布。这是正态变量线性变换不变性。
4 若$X=(X_1,X_2,...X_n)^T,n\ge 1$，服从n元正态分布，则$X_1,X_2...X_n$相互独立。X的协方差矩阵为对角矩阵。