协方差矩阵
- 协方差矩阵
(从随机变量讲起)
随机变量x:表示随机试验各种结果的 实值 单值函数,就是说随机变量x是一个函数映射,其取值为标量。
随机变量有离散型和连续型,离散型:抛10次硬币,硬币正面朝上的次数。连续型:某一地区一天内每一时刻的温度。
随机变量的性质由其统计量表示,常用的统计量有随机变量的:均值与方差
离散型随机变量x,取值序列{x1,x2,....,xn}\{x_1,x_2,....,x_n\}{x1,x2,....,xn}的均值为:
μ=1n∑i=1nxi\mu=\frac{1}{n}\sum_{i=1}^nx_iμ=n1i=1∑nxi
均值可以 量化 这个随机变量值 大小。
离散型随机变量x,取值序列{x1,x2,....,xn}\{x_1,x_2,....,x_n\}{x1,x2,....,xn}的方差为:
σ=1n∑i=1n(xi−μ)2\sigma=\frac{1}{n}\sum_{i=1}^{n}(x_i-\mu)^2σ=n1i=1∑n(xi−μ)2
方差表明取值序列的 离散程度。
当分析两个随机变量x,y之间关系的时候,协方差 的概念 由此引出:
两个随机变量取值序列{x1,x2,....,xn}\{x_1,x_2,....,x_n\}{x1,x2,....,xn},{y1,y2,....,yn}\{y_1,y_2,....,y_n\}{y1,y2,....,yn}之间的协方差:
cov(x,y)=1n∑i=1n(xi−μx)(yi−μy)cov(x,y)=\frac{1}{n}\sum_{i=1}^n(x_i-\mu_x)(y_i-\mu_y)cov(x,y)=n1i=1∑n(xi−μx)(yi−μy)
协方差矩阵
我们在实际中,经常会遇到协方差矩阵,给定一个n个d∗1d*1d∗1维的(列)向量数据{x1,x2,...,xn}\{\bm{x_1},\bm{x_2},...,\bm{x_n}\}{x1,x2,...,xn},这组数据的协方矩阵为:
Σ=1n∑i=1n(xi−μ)(xi−μ)T\Sigma=\frac{1}{n}\sum_{i=1}^n(\bm{x_i}-\bm{\mu})(\bm{x_i}-\bm{\mu})^TΣ=n1i=1∑n(xi−μ)(xi−μ)T
其中:μ=1n∑xi\bm{\mu}=\frac{1}{n}\sum\bm{x_i}μ=n1∑xi
以上协方差矩阵Σ\SigmaΣ实际是记录 以向量x\bm{x}x各个(d个)维度为随机变量 的d个随机变量之间的协方差。
xij\bm{x}_i^jxij下标表示第iii个向量数据,上标表示第iii个向量的第jjj个分量,则Σ\SigmaΣ是一个d∗dd*dd∗d的矩阵:
Σ=1n∑[xi1−μ1xi2−μ2...xid−μd]∗[xi1−μ1,xi2−μ2,...,xid−μd]\Sigma=\frac{1}{n}\sum \left[ \begin{matrix} \bm{x_i^1}-\bm{\mu^1}\\ \bm{x_i^2}-\bm{\mu^2}\\ ...\\ \bm{x_i^d}-\bm{\mu^d} \end{matrix} \right] * \left[ \begin{matrix} \bm{x_i^1}-\bm{\mu^1} ,& \bm{x_i^2}-\bm{\mu^2},& ...,& \bm{x_i^d}-\bm{\mu^d} \end{matrix} \right] Σ=n1∑⎣⎢⎢⎡xi1−μ1xi2−μ2...xid−μd⎦⎥⎥⎤∗[xi1−μ1,xi2−μ2,...,xid−μd]
=1n∑[(xi1−μ1)(xi1−μ1),(xi1−μ1)(xi2−μ2),...,(xi1−μ1)(xid−μd)(xi2−μ2)(xi1−μ1),(xi2−μ2)(xi2−μ2),...,(xi2−μ2)(xid−μd)...(xid−μd)(xi1−μ1),(xid−μd)(xi2−μ2),...,(xid−μd)(xid−μd)]=\frac{1}{n}\sum \left[ \begin{matrix} ( \bm{x_i^1}-\bm{\mu^1})( \bm{x_i^1}-\bm{\mu^1}) ,&( \bm{x_i^1}-\bm{\mu^1})(\bm{x_i^2}-\bm{\mu^2}),&...,&( \bm{x_i^1}-\bm{\mu^1})(\bm{x_i^d}-\bm{\mu^d})\\ ( \bm{x_i^2}-\bm{\mu^2})( \bm{x_i^1}-\bm{\mu^1}) ,&( \bm{x_i^2}-\bm{\mu^2})(\bm{x_i^2}-\bm{\mu^2}),&...,&( \bm{x_i^2}-\bm{\mu^2})(\bm{x_i^d}-\bm{\mu^d})\\ ...\\ ( \bm{x_i^d}-\bm{\mu^d})( \bm{x_i^1}-\bm{\mu^1}) ,& ( \bm{x_i^d}-\bm{\mu^d})(\bm{x_i^2}-\bm{\mu^2}),&...,& ( \bm{x_i^d}-\bm{\mu^d})(\bm{x_i^d}-\bm{\mu^d})\\ \end{matrix} \right] =n1∑⎣⎢⎢⎡(xi1−μ1)(xi1−μ1),(xi2−μ2)(xi1−μ1),...(xid−μd)(xi1−μ1),(xi1−μ1)(xi2−μ2),(xi2−μ2)(xi2−μ2),(xid−μd)(xi2−μ2),...,...,...,(xi1−μ1)(xid−μd)(xi2−μ2)(xid−μd)(xid−μd)(xid−μd)⎦⎥⎥⎤
在PCA 算法中就需要对样本协方差矩阵进行特征值分解。