学点数学(4)-协方差矩阵

协方差矩阵

  • 协方差矩阵

(从随机变量讲起)
随机变量x:表示随机试验各种结果的 实值 单值函数,就是说随机变量x是一个函数映射,其取值为标量。

随机变量有离散型和连续型,离散型:抛10次硬币,硬币正面朝上的次数。连续型:某一地区一天内每一时刻的温度。

随机变量的性质由其统计量表示,常用的统计量有随机变量的:均值方差

离散型随机变量x,取值序列{x1,x2,....,xn}\{x_1,x_2,....,x_n\}{x1,x2,....,xn}的均值为:
μ=1n∑i=1nxi\mu=\frac{1}{n}\sum_{i=1}^nx_iμ=n1i=1nxi
均值可以 量化 这个随机变量值 大小。

离散型随机变量x,取值序列{x1,x2,....,xn}\{x_1,x_2,....,x_n\}{x1,x2,....,xn}的方差为:
σ=1n∑i=1n(xi−μ)2\sigma=\frac{1}{n}\sum_{i=1}^{n}(x_i-\mu)^2σ=n1i=1n(xiμ)2
方差表明取值序列的 离散程度

当分析两个随机变量x,y之间关系的时候,协方差 的概念 由此引出:
两个随机变量取值序列{x1,x2,....,xn}\{x_1,x_2,....,x_n\}{x1,x2,....,xn},{y1,y2,....,yn}\{y_1,y_2,....,y_n\}{y1,y2,....,yn}之间的协方差:
cov(x,y)=1n∑i=1n(xi−μx)(yi−μy)cov(x,y)=\frac{1}{n}\sum_{i=1}^n(x_i-\mu_x)(y_i-\mu_y)cov(x,y)=n1i=1n(xiμx)(yiμy)

协方差矩阵

我们在实际中,经常会遇到协方差矩阵,给定一个n个d∗1d*1d1维的(列)向量数据{x1,x2,...,xn}\{\bm{x_1},\bm{x_2},...,\bm{x_n}\}{x1,x2,...,xn},这组数据的协方矩阵为:
Σ=1n∑i=1n(xi−μ)(xi−μ)T\Sigma=\frac{1}{n}\sum_{i=1}^n(\bm{x_i}-\bm{\mu})(\bm{x_i}-\bm{\mu})^TΣ=n1i=1nxiμ(xiμ)T
其中:μ=1n∑xi\bm{\mu}=\frac{1}{n}\sum\bm{x_i}μ=n1xi

以上协方差矩阵Σ\SigmaΣ实际是记录 以向量x\bm{x}x各个(d个)维度为随机变量 的d个随机变量之间的协方差。

xij\bm{x}_i^jxij下标表示第iii个向量数据,上标表示第iii个向量的第jjj个分量,则Σ\SigmaΣ是一个d∗dd*ddd的矩阵:
Σ=1n∑[xi1−μ1xi2−μ2...xid−μd]∗[xi1−μ1,xi2−μ2,...,xid−μd]\Sigma=\frac{1}{n}\sum \left[ \begin{matrix} \bm{x_i^1}-\bm{\mu^1}\\ \bm{x_i^2}-\bm{\mu^2}\\ ...\\ \bm{x_i^d}-\bm{\mu^d} \end{matrix} \right] * \left[ \begin{matrix} \bm{x_i^1}-\bm{\mu^1} ,& \bm{x_i^2}-\bm{\mu^2},& ...,& \bm{x_i^d}-\bm{\mu^d} \end{matrix} \right] Σ=n1xi1μ1xi2μ2...xidμd[xi1μ1,xi2μ2,...,xidμd]

=1n∑[(xi1−μ1)(xi1−μ1),(xi1−μ1)(xi2−μ2),...,(xi1−μ1)(xid−μd)(xi2−μ2)(xi1−μ1),(xi2−μ2)(xi2−μ2),...,(xi2−μ2)(xid−μd)...(xid−μd)(xi1−μ1),(xid−μd)(xi2−μ2),...,(xid−μd)(xid−μd)]=\frac{1}{n}\sum \left[ \begin{matrix} ( \bm{x_i^1}-\bm{\mu^1})( \bm{x_i^1}-\bm{\mu^1}) ,&( \bm{x_i^1}-\bm{\mu^1})(\bm{x_i^2}-\bm{\mu^2}),&...,&( \bm{x_i^1}-\bm{\mu^1})(\bm{x_i^d}-\bm{\mu^d})\\ ( \bm{x_i^2}-\bm{\mu^2})( \bm{x_i^1}-\bm{\mu^1}) ,&( \bm{x_i^2}-\bm{\mu^2})(\bm{x_i^2}-\bm{\mu^2}),&...,&( \bm{x_i^2}-\bm{\mu^2})(\bm{x_i^d}-\bm{\mu^d})\\ ...\\ ( \bm{x_i^d}-\bm{\mu^d})( \bm{x_i^1}-\bm{\mu^1}) ,& ( \bm{x_i^d}-\bm{\mu^d})(\bm{x_i^2}-\bm{\mu^2}),&...,& ( \bm{x_i^d}-\bm{\mu^d})(\bm{x_i^d}-\bm{\mu^d})\\ \end{matrix} \right] =n1(xi1μ1)(xi1μ1),(xi2μ2)(xi1μ1),...(xidμd)(xi1μ1),(xi1μ1)(xi2μ2),(xi2μ2)(xi2μ2),(xidμd)(xi2μ2),...,...,...,(xi1μ1)(xidμd)(xi2μ2)(xidμd)(xidμd)(xidμd)

在PCA 算法中就需要对样本协方差矩阵进行特征值分解。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/445072.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

RedLock

概念 Redis 官方站这篇文章提出了一种权威的基于 Redis 实现分布式锁的方式名叫 Redlock,此种方式比原先的单节点的方法更安全。它可以保证以下特性: 安全特性:互斥访问,即永远只有一个 client 能拿到锁避免死锁:最终…

GCC中常用的优化的参数

-pipe 的作用: 使用管道代替编译中临时文件, -pipe 加速编译 gcc -pipe foo.c -o foo 加速 在将源代码变成可执行文件的过程中,需要经过许多中间步骤,包含预处理、编译、汇编和连接。这些过程实际上是由不同的程序负责完成的。大多数情况下 GCC 可以为 …

Linux与时间相关的结构体及相关用法

1. Linux下与时间有关的结构体 struct timeval { int tv_sec; int tv_usec; }; 其中tv_sec是由凌晨开始算起的秒数,tv_usec则是微秒(10E-6 second)。 struct timezone { …

算法(3)-数据结构-数组和字符串

leetcode-explore-learn-数据结构-数据结构-数组和字符串1. 一维数组1.0 概况1.1 寻找数组的中心索引1.2 搜索插入位置1.3 合并区间1.4 至少是其他数字两倍大的最大数1.5 加一2. 二维数组2.1旋转矩阵本系列博文为leetcode-explore-learn子栏目学习笔记,如有不详之处…

redis的入门/原理/实战大总结

入门 Redis是一款基于键值对的NoSQL数据库,它的值支持多种数据结构: 字符串(strings)、哈希(hashes)、列表(lists)、集合(sets)、有序集合(sorted sets)等。 • Redis将所有的数据都存放在内存中,所以它的读写性能十分惊人,用作数…

创建与打开IPC通道的POSIX和SYSTEM V方法

先说POSIX的吧: mq_open,sem_open,shm_open着三个函数用于创建或者打开一个IPC通道。 由此可见,消息队列的读写权限是任意的,然而信号灯就没有,…

算法(4)-leetcode-explore-learn-数据结构-数组2

leetcode-explore-learn-数据结构-数组21.简述2.例题2.1 二维数组的对角线遍历2.2 螺旋遍历2.3 杨辉三角本系列博文为leetcode-explore-learn子栏目学习笔记,如有不详之处,请参考leetcode官网:https://leetcode-cn.com/explore/learn/card/ar…

软件测试基础知识

第一章 1.1 软件测试背景知识和发展史 互联网公司职位架构:产品 运营 技术 市场 行政软件测试:使用人工或自动化手段,来运行或测试某个系统的过程,其目的在于检验它是否满足规定的需求或弄清预期结果与实际结果之间的差别&#…

key_t IPC键和ftok函数详解和剖析

统建立IPC通讯(如消息队列、共享内存时)必须指定一个ID值。通常情况下,该id值通过ftok函数得到。 ftok原型如下: key_t ftok( char * fname, int id ) fname就时你指定的文件名(该文件必须是存在而且可以访问的),id是子…

算法(5)-leetcode-explore-learn-数据结构-字符串

leetcode-explore-learn-数据结构-数组3-字符串1.简述2.例题2.1 二进制求和2.2实现strStr()2.3最长公共前缀本系列博文为leetcode-explore-learn子栏目学习笔记,如有不详之处,请参考leetcode官网:https://leetcode-cn.com/explore/learn/card…

ipcs命令查看管道,消息队列,共享内存

修改消息队列大小: root:用户: /etc/sysctl.conf kernel.msgmnb 4203520 #kernel.msgmnb 3520 kernel.msgmni 2878 保存后需要执行 sysctl -p ,然后重建所有消息队列 ipcs -q : 显示所有的消息队列 ipcs -qt : 显示消息队列的创建时…

Jmeter-基础篇

常用压力测试工具对比 1、loadrunner 性能稳定,压测结果及细粒度大,可以自定义脚本进行压测,但是太过于重大,功能比较繁多 2、apache ab(单接口压测最方便) 模拟多线程并发请求,ab命令对发出负载的计算机…

消息队列接口API(posix 接口和 system v接口)

消息队列 posix API消息队列(也叫做报文队列)能够克服早期unix通信机制的一些缺点。信号这种通信方式更像\"即时\"的通信方式,它要求接受信号的进程在某个时间范围内对信号做出反应,因此该信号最多在接受信号进程的生命…

算法(6)-leetcode-explore-learn-数据结构-数组字符串的双指针技巧

leetcode-explore-learn-数据结构-数组4-双指针技巧1.双指针技巧--适用情形11.1概述1.2 例题1.2.1 反转字符串1.2.2数组拆分1.2.3 两数之和22双指针技巧-适用情形22.1概述2.2例题2.2.1 移除元素2.2.2 最大连续1的个数2.2.3长度最小的子数组本系列博文为leetcode-explore-learn子…

POSIX和SYSTEM的消息队列应该注意的问题

首先看看POSIX的代码&#xff1a; 1.posix_mq_server.c #include <mqueue.h> #include <sys/stat.h> #include <string.h> #include <stdio.h> #define MQ_FILE "/mq_test" #define BUF_LEN 128 int main() { mqd_t mqd; char b…

算法(7)-leetcode-explore-learn-数据结构-数组-小结

leetcode-explore-learn-数据结构-数组5-小结1.概述2.例题2.1旋转数组2.2 杨辉三角22.3翻转字符串里的单词2.4反转字符串中的单词32.5 删除排序数组中的重复项2.6 移动零本系列博文为leetcode-explore-learn子栏目学习笔记&#xff0c;如有不详之处&#xff0c;请参考leetcode官…

fcntl函数详解

功能描述&#xff1a;根据文件描述词来操作文件的特性。 #include <unistd.h> #include <fcntl.h> int fcntl(int fd, int cmd); int fcntl(int fd, int cmd, long arg); int fcntl(int fd, int cmd, struct flock *lock); [描述] fcntl()针对(文件)描述符提供控…

使用nohup让程序永远后台运行

使用nohup让程序永远后台运行 Unix/Linux下一般比如想让某个程序在后台运行&#xff0c;很多都是使用 & 在程序结尾来让程序自动运行。比如我们要运行mysql在后台&#xff1a; /usr/local/mysql/bin/mysqld_safe --usermysql &但是加入我们很多程序并不象mysqld一样做…

算法(8)-leetcode-explore-learn-数据结构-链表

leetcode-explore-learn-数据结构-链表11.概述1.1 链表插入操作1.2 链表删除操作2.设计链表本系列博文为leetcode-explore-learn子栏目学习笔记&#xff0c;如有不详之处&#xff0c;请参考leetcode官网&#xff1a;https://leetcode-cn.com/explore/learn/card/linked-list/所…

Mysql索引优化实例讲解

MYSQL描述&#xff1a;一个文章库&#xff0c;里面有两个表&#xff1a;category和article。category里面有10条分类数据。article里面有20万条。article里面有一个"article_category"字段是与category里的"category_id"字段相对应的。article表里面已经把…