基础知识的的复习：

线性代数——深度学习花书第二章 - 知乎 

矩阵分解

• 特征值分解。

• PCA(Principal Component Analysis)分解，作用：降维、压缩。

• SVD(Singular Value Decomposition)分解，也叫奇异值分解。

矩阵分解的主要应用是：降维、聚类分析、数据预处理、低维度特征学习、特征学习、推荐系统、大数据分析等。

特征值分解

如果一个向量v是矩阵A的特征向量，将一定可以表示成下面的形式：

其中，λ是特征向量v对应的特征值，一个矩阵的一组特征向量是一组正交向量。

对于矩阵A，有一组特征向量v，将这组向量进行正交化单位化，就能得到一组正交单位向量。特征值分解，就是将矩阵A分解为如下式：