PCA(Principal Component Analysis)，即主成分分析，一种常用于数据降维分析的方法。要理解PCA的原理，首先需要理解矩阵变换的意义。

矩阵变换，有两种意义：1，在当前坐标系下的向量，经过矩阵M变换后，结果为被变换的向量在当前坐标系下的新向量。

2，保持向量不变，矩阵M对当前坐标系进行变换，结果为当前向量在新坐标系下的向量表示。该新坐标系即矩阵M，变换后的向量是在新坐标系下各坐标轴上的投影。

以二维空间样本为例，有如下一批样本：

我们需要将该二维样本数据转换到一维空间中，只分析一维空间样本数据。如果我们直接在当前坐标系下分析该样本，把所有样本投影到X或者Y轴的任意一个一维空间上，样本数据都会有较大的损失。如果我们能够找到一个变换矩阵M，使得当前坐标系旋转到下图X' Y'位置：

此时，所有样本数据在X'坐标轴上的投影达到最大，分散的最开。因此直观上X' Y'坐标系就是我们需要寻找的最优变换M。

如何得到这个变换矩阵M？假设我们有如上图一组样本数据A=(x，y)，经过矩阵M变换后，样本数据在M坐标系下的投影变成了B=(x'，y')。下面分析如何得到M：

(1)首先我们对样本做一次归一化处理(每个样本数据减去相应的样本均值)。这么处理的好处主要是方便后续计算样本方差和协方差。处理后的样本分布如下图所示：

(2)所以我们的目标是使得变换后的单个样本数据B在X' Y'上的投影最分散和最大化，也就是使得B=(x', y')中 |x'|或者|y'|最大，而 x'y' 趋近于0。进一步，所有样本数据，使得

或者  

最大化，而

趋近于0。

对样本数据A=(x，y)来说，令C=

，对变换后的样本数据B=(x'，y')来说，令D=

。那么，C和D的矩阵表示如下：

C=(

)    D=(

)

可以看到C和D的主对角线上的元素就是(x，y)和(x'，y')的方差。而非主对角线上元素就是(x，y)和(x'，y')的协方差。这个C和D被称为C和D的协方差矩阵。

现在我们的目标是找到变换矩阵M，使得协方差矩阵D对角化。

(3)那么C，D和M是什么关系呢？

上式表明我们的目标变成：寻找一个变换矩阵M，使得MC

是一个对角矩阵。

又已知C是一个对称矩阵，由对称矩阵的性质可知，一定存在一组C的特征向量作为行组成的特征矩阵E，使得

=F，其中F是对角矩阵。

结论：这与我们的目标一致，我们要寻找的PCA变换矩阵M就是E，也就是原始样本数据A的协方差矩阵C的特征向量作为行组成的特征矩阵。

那么，下面我们总结一下PCA的步骤：

(1)样本数据归一化处理

(2)对归一化后的样本数据求出协方差矩阵C

(3)对协方差矩阵C求出其特征向量和特征值

(4)以特征值大小按行排列相应的特征向量，舍弃特征值较小的特征向量行，组成的矩阵就是需要找寻的降维后的变换矩阵M。