- 矩阵
SVD矩阵的乘法状态转移矩阵
状态转移矩阵 - 特征值和特征向量
对称阵
正交阵
正定阵数据白化 - 矩阵求导
向量对向量求导
标量对向量求导
标量对矩阵求导
一.矩阵
1.1 SVD
奇异值分解（Singular Value Decomposition），假设A是一个m×n阶矩阵，则存在一个分解使得
Σ对角线上的元素称为矩阵A的奇异值；
U的第i列称为A的关于σi的左奇异向量；
V的第i列称为A的关于σi的右奇异向量。
通常将奇异值由大而小排列。如此Σ便能由M唯一确定了。（虽然U和V仍然不能确定）。而且奇异值的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上了。也就是说，我们也可以用前r大的奇异值来近似描述矩阵，那么SVD就起到一个特征选择的作用或者是降维的作用。
具体描述参考：http://blog.csdn.net/zhongkejingwang/article/details/43053513
1.2 代数余子式
在一个n阶行列式A中,把(i,j)元素aij所在的第i 行和第j列划去后，留下的n-1阶方阵的行列式叫做元素aij的余子式，记作Mij
注意：行列式是数值，因此余子式和代数余子式也是数值；余子式可能也可能是负数。
1.3 伴随矩阵
注意：
位于
第j行i列
1.4 方阵的逆
当方阵的行列式不为0时，有：
如果不是方正，请参考矩阵的广义逆
1.5 范德蒙行列式
1.6 矩阵的乘法
为阶的矩阵，为阶的矩阵，那么，是阶的矩阵，其中
1.7 矩阵和向量的乘法
- 为阶的矩阵，为阶的矩阵，则 为的列向量，记
- 由于维列向量和n维空间的点一一对应，上式实际给出了从维空间的点到维空间的的线性变换。
- 旋转、平移
1.8 状态转移矩阵
数学解释：
设一个初始概率分布（只是一个向量）
- 第代中处于第个阶层的概率为：
原理：全概率公式：参考马尔科夫过程：https://blog.csdn.net/u010459100/article/details/51657955
1.9.矩阵的秩
- 在的矩阵A中，任取行列，不改变这个元素在中的次序，得到阶方阵，称为矩阵的k阶子式。
- 设在矩阵A中有一个
不等于的阶子式，且所有阶子式全等于（如果存在的话），那么称为矩阵的最高阶非零子式，称为矩阵的秩，记作
- 如果一个矩阵那么可以说这个矩阵式满秩的
- 的可逆矩阵，秩为n
矩阵的秩等于它的行列向量组的秩
1.91 秩和线性方程组的解的关系
对于n元线性方程组Ax = b：
- 无解的充要条件是
- 唯一解的充要条件是
- Ax= 0的只有零解的充要条件是
- 无穷解的充要条件是
- Ax= b有解的充要条件是
- Ax= 0的非零解的充要条件是
1.10向量组
向量b能由向量组线性表示的充
要条件是矩阵的秩等于矩阵
的秩。
因为有解的条件是秩相等。
=
- 若向量组A与向量组B能相互线性表示，则称两个向量组等价。
1.11系数矩阵
参考：https://blog.csdn.net/IOThouzhuo/article/details/50836787二.特征值和特征向量2.1正交阵
- 若阶矩阵A满足,称A为正交矩阵，简称正交阵。
- 是正交阵的充要条件：A的列（行）向量都是单位向量，且两两正交。
- 是正交阵，X为向量，则Ax称作正交变换。
- 正交变换不改变向量长度。
2.2特征值和特征向量
A是n阶矩阵，若数和n维非0列向量满足，那么，数称为A的特征向值，x称为A的对应于特征值的特征向量。
- 根据定义，立刻得到，令关于的多项式为0，方程的根为的特征值；将根带入方程组，求得到的非零解，即对应的特征向量。
- 设阶矩阵的特征值为,则
- 矩阵A的主行列式的元素和，称作矩阵A的迹
推论：
不同特征值对应的特征向量，线性无关。
实对称阵的特征值也是实数。
实对称阵不同的特征值的特征向量正交
2.3 合同变换
设A为n阶对称阵，则必有正交阵P，使得
2.4.正定阵
对于阶方阵，若任意阶向量，都有，则称是正定阵。
- 由一阶推广而来：
- 若条件变成，则称作半正定矩阵。
正定阵的判定：
- 对称阵A为正定阵；
- A的特征值都为正；
- A的顺序主子式大于0；
2.5 漂白/白化whitening
暂定
三. 矩阵求导
