机器学习知识总结系列-机器学习中的数学-矩阵(1-3-2)

  • 矩阵
    SVD
    矩阵的乘法
    状态转移矩阵
    状态转移矩阵
  • 特征值和特征向量
    对称阵
    正交阵
    正定阵
    数据白化
  • 矩阵求导
    向量对向量求导
    标量对向量求导
    标量对矩阵求导

一.矩阵

1.1 SVD

奇异值分解(Singular Value Decomposition),假设A是一个m×n阶矩阵,则存在一个分解使得
Σ对角线上的元素称为矩阵A的奇异值;
U的第i列称为A的关于σi的左奇异向量;
V的第i列称为A的关于σi的右奇异向量。

通常将奇异值由大而小排列。如此Σ便能由M唯一确定了。(虽然U和V仍然不能确定)。而且奇异值的减少特别的快,在很多情况下,前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上了。也就是说,我们也可以用前r大的奇异值来近似描述矩阵,那么SVD就起到一个特征选择的作用或者是降维的作用。

具体描述参考:http://blog.csdn.net/zhongkejingwang/article/details/43053513

1.2 代数余子式

在一个n阶行列式A中,把(i,j)元素aij所在的第i 行和第j列划去后,留下的n-1阶方阵的行列式叫做元素aij的余子式,记作Mij

注意:行列式是数值,因此余子式和代数余子式也是数值;余子式可能也可能是负数。

 

1.3 伴随矩阵

注意:位于第j行i列

 

1.4  方阵的逆

当方阵的行列式不为0时,有:

如果不是方正,请参考矩阵的广义逆

 

1.5 范德蒙行列式


1.6 矩阵的乘法

为阶的矩阵,为阶的矩阵,那么,是阶的矩阵,其中


1.7 矩阵和向量的乘法
  • 为阶的矩阵,为阶的矩阵,则 为的列向量,记
  • 由于维列向量和n维空间的点一一对应,上式实际给出了从维空间的点到维空间的的线性变换。
    • 旋转、平移
1.8 状态转移矩阵

数学解释:
设一个初始概率分布(只是一个向量)
- 第代中处于第个阶层的概率为:



原理:全概率公式: 
参考马尔科夫过程:https://blog.csdn.net/u010459100/article/details/51657955

1.9.矩阵的秩

  • 在的矩阵A中,任取行列,不改变这个元素在中的次序,得到阶方阵,称为矩阵的k阶子式。
  • 设在矩阵A中有一个不等于的阶子式,且所有阶子式全等于(如果存在的话),那么称为矩阵的最高阶非零子式,称为矩阵的秩,记作
    • 如果一个矩阵那么可以说这个矩阵式满秩的
    • 的可逆矩阵,秩为n
      矩阵的秩等于它的行列向量组的秩


1.91 秩和线性方程组的解的关系

这里写图片描述

对于n元线性方程组Ax = b:
  • 无解的充要条件是
  • 唯一解的充要条件是
  • Ax= 0的只有零解的充要条件是
  • 无穷解的充要条件是
  • Ax= b有解的充要条件是
  • Ax= 0的非零解的充要条件是


1.10向量组

向量b能由向量组线性表示的充
要条件是矩阵的秩等于矩阵
的秩。

因为有解的条件是秩相等。

=

  • 若向量组A与向量组B能相互线性表示,则称两个向量组等价。

1.11系数矩阵

参考:https://blog.csdn.net/IOThouzhuo/article/details/50836787

二.特征值和特征向量

2.1正交阵

  • 若阶矩阵A满足,称A为正交矩阵,简称正交阵。
    • 是正交阵的充要条件:A的列(行)向量都是单位向量,且两两正交。
  • 是正交阵,X为向量,则Ax称作正交变换。
    • 正交变换不改变向量长度。

2.2特征值和特征向量

A是n阶矩阵,若数和n维非0列向量满足,那么,数称为A的特征向值,x称为A的对应于特征值的特征向量。
  • 根据定义,立刻得到,令关于的多项式为0,方程的根为的特征值;将根带入方程组,求得到的非零解,即对应的特征向量。
  • 阶矩阵的特征值为,则

      • 矩阵A的主行列式的元素和,称作矩阵A的迹 

推论:

不同特征值对应的特征向量,线性无关。
实对称阵的特征值也是实数。
实对称阵不同的特征值的特征向量正交

2.3 合同变换

设A为n阶对称阵,则必有正交阵P,使得

 

2.4.正定阵

对于阶方阵,若任意阶向量,都有,则称是正定阵。

  • 由一阶推广而来:
  • 若条件变成,则称作半正定矩阵。

正定阵的判定:
- 对称阵A为正定阵;
- A的特征值都为正;
- A的顺序主子式大于0;


2.5 漂白/白化whitening
暂定

三. 矩阵求导

参考:https://blog.csdn.net/IOThouzhuo/article/details/50836787

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/445262.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

阿里Java编程规约(注释)提炼

【强制】类、类属性、类方法的注释必须使用 Javadoc 规范,使用/**内容*/格式,不得使用 // xxx 方式。 说明:在 IDE 编辑窗口中,Javadoc 方式会提示相关注释,生成 Javadoc 可以正确输出相应注释;在 IDE 中…

Python面试题-交换两个数字的三种方法

Python实现两个数字交换解法1解法2解法3a6 b100 解法1 使用其他变量,最通用的方法 ca ab bc 解法2 不使用其他变量,利算法节省内存空间 aab ba-b aa-b 解法3 python 专有 a,b(b,a) #等号右边是一个元组 或者可以写为: a,bb,a print(a,b)

面试中海量数据处理总结

教你如何迅速秒杀掉:99%的海量数据处理面试题 前言 一般而言,标题含有“秒杀”,“99%”,“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌,但进一步来讲,如果读者读罢此文,却无任何收获&…

redis——旧版复制

Redis 的复制功能分为同步(sync)和命令传播(command propagate)两个操作: 同步操作用于将从服务器的数据库状态更新至主服务器当前所处的数据库状态。命令传播操作用于在主服务器的数据库状态被修改, 导致…

Linux(3)-网-ifconfig,ping,ssh

终端命令网-ping,ssh1. ifconfig -a2. ping3. ssh3.1安装3.2 连接3.3 配置登入别名防火墙端口号,todo1. ifconfig -a 查看IP地址, 还可以用于配置网口。 ifconfig -a 2. ping ping命令: 检测到IP地址的连接是否正常。命令开始后由本机发送数据包a&…

redis——相关问题汇总

什么是redis? Redis 本质上是一个 Key-Value 类型的内存数据库, 整个数据库加载在内存当中进行操作, 定期通过异步操作把数据库数据 flush 到硬盘上进行保存。 因为是纯内存操作, Redis 的性能非常出色, 每秒可以处理…

一文搞定面试中的二叉树问题

一文搞定面试中的二叉树问题 版权所有,转载请注明出处,谢谢! http://blog.csdn.net/walkinginthewind/article/details/7518888 树是一种比较重要的数据结构,尤其是二叉树。二叉树是一种特殊的树,在二叉树中每个节点…

无数踩坑系列(1)--Brightness Controller

Brightness Controller1.尝试找回系统自带亮度调节条1.1 配置grub文件,无效1.2 使用命令调节屏幕亮度,无效2.安装应用程序Brightness Controller2.1许多博文都写出了如下方案,无效:2.2 github 手动安装https://github.com/LordAmi…

springboot2——MyBatis入门

原生缺陷: 数据库dao层操作缺陷: ①jdbc的增删改查代码的冗余过大,查询的时候需要遍历。 ②Sql语句和数据库相关参数和代码的耦合性过高。 解决:使用Mybatis 业务层缺陷: ①业务层和数据…

面试--Linux命令总结

显示目录和文件的命令 Ls:用于查看所有文件夹的命令。 Dir:用于显示指定文件夹和目录的命令 Tree: 以树状图列出目录内容 Du:显示目录或文件大小 修改目录,文件权限和属主及数组命令 Chmod:用于改变指定…

Linux(4)-资源-du,top,free,gnome

Linux终端命令1.磁盘资源1.1 df -hl1.2 du1.3 统计文件数量2.缓存资源2.1 top2.2 free -m3.Gnome3.1系统监视器-gnome-system-monitor3.2 截屏--screenshot查看文件系统资源的一些命令1.磁盘资源 1.1 df -hl 查看分区磁盘使情况 硬盘空间不够时,跑程序会报错&…

redis——Java整合

redis官网 微软写的windows下的redis 我们下载第一个 额案后基本一路默认就行了 安装后&#xff0c;服务自动启动&#xff0c;以后也不用自动启动。 出现这个表示我们连接上了。 redis命令参考链接 Spring整合Redis 引入依赖 - spring-boot-starter-data-redis <depend…

无限踩坑系列(4)-远程登入服务器

远程操作服务器1.远程上传/下载命令&#xff08;文件夹/文件&#xff09;2.文本编辑vim3.一直保持服务器登入状态4.虚拟终端screenssh远程登入服务器&#xff0c;没有图形界面&#xff0c;只能在终端中操作文件与文件夹。本文总结了远程登入服务器过程中用到的一些命令。1.远程…

程序员不成熟的若干个特征

做我们这个项目也是一样&#xff0c;很多人来做这个生意&#xff0c;开始没有什么成绩&#xff0c;就想着要放弃&#xff0c;有的人一个月放弃&#xff0c;有的人三个月放弃&#xff0c;有的人半年放弃&#xff0c;有的人一年放 弃&#xff0c;我不明白人们为什么轻易放弃这个趋…

一文理解KMP算法

一文理解KMP算法 作者&#xff1a;July 时间&#xff1a;最初写于2011年12月&#xff0c;2014年7月21日晚10点 全部删除重写成此文&#xff0c;随后的半个多月不断反复改进。后收录于新书《编程之法&#xff1a;面试和算法心得》第4.4节中。 1. 引言 本KMP原文最初写于2年多前的…

小猫的java基础知识点汇总(下)

1、线程和进程有什么区别&#xff1f; 进程是操作系统资源分配的基本单位&#xff0c;而线程是任务调度和执行的基本单位 线程是进程的子集&#xff0c;一个进程可以有很多线程&#xff0c;每条线程并行执行不同的任务。 不同的进程使用不同的内存空间&#xff0c;而所有的线…

无数踩坑系列(3)-配置pytorch

配置pytorch环境1. 命令一键式安装2.源码安装问题1问题2问题3问题43.克隆一个已有环境&#xff0c;带pytorch4.GPU驱动版本不对在实际开发中&#xff0c;想要在自己的机子上跑别人的代码&#xff1b;或者&#xff0c;在新的机子上跑自己的代码&#xff0c;总是面临着环境配置的…

小猫的java基础知识点汇总(上)

1、一个".java"源文件中是否可以包括多个类&#xff08;不是内部类&#xff09;&#xff1f;有什么限制&#xff1f; 可以有多个类&#xff0c;但只能有一个public的类&#xff0c;并且public的类名必须与文件名相一致。 2、short s1 1; s1 s11; 有没有错&#xff…

机器学习算法分类总结

机器学习方法分类总结 这篇文章只是一个类似于知识概括的文章&#xff0c;主要作用是帮忙梳理&#xff1a; 1) 分类 贝叶斯模型&#xff08;Bayesian Mode&#xff09; - 朴素贝叶斯算法&#xff08;Naive Bayesian Mode&#xff09; - 平均单依赖估计&#xff08;AveragedO…

无限踩坑系列(5)-MySQLdb

MySQLdb在Python2.x 时使用的是MySQLdbpython3中这个库已经不再使用了&#xff0c;所有的功能都由pymysql或mysqlclient替代。所以 想在python3中配MySQLdb真是一个深的不能再深的坑了。下面记录了愚蠢的填坑过程&#xff0c;仅做有类似错误的参考。参考文档&#xff1a;https:…