目录

前言

几个高频面试题目

主成分分析(PCA)与独立成分分析(ICA)

1. 技术背景

2. 主成分分析

3. 独立成分分析

算法原理

数据降维

PCA 涉及的主要问题

PCA 的优化目标

主成分分析（PCA）的基本思想

数学模型

协方差和散度矩阵 

PCA的推导：基于最小投影距离

​编辑​编辑 PCA的推导：基于最大投影方差

算法步骤 

算法流程

SPSSPRO

1、作用

2、输入输出描述

3、案例示例

4、案例数据

5、案例操作

6、输出结果分析

7、注意事项

8、模型理论

代码实现

MATLAB

python

R语言

---

前言

PCA的主要目标是将特征维度变小，同时尽量减少信息损失。就是对一个样本矩阵，一是换特征，找一组新的特征来重新表示；二是减少特征，新特征的数目要远小于原特征的数目。
 

通过PCA将n维原始特征映射到维（k<n）上，称这k维特征为主成分。需要强调的是，不是简单地从n 维特征中去除其余n- k维特征，而是重新构造出全新的k维正交特征，且新生成的k维数据尽可能多地包含原来n维数据的信息。例如，使用PCA将20个相关的特征转化为5个无关的新特征，并且尽可能保留原始数据集的信息。

怎么找到新的维度呢？实质是数据间的方差够大，通俗地说，就是能够使数据到了新的维度基变换下，坐标点足够分散，数据间各有区分。

上图所示的左图中有5个离散点，降低维度，就是需要把点映射成一条线。将其映射到右图中黑色虚线上则样本变化最大，且坐标点更分散，这条黑色虚线就是第一主成分的投影方向。

PCA是一种线性降维方法，即通过某个投影矩阵将高维空间中的原始样本点线性投影到低维空间，以达到降维的目的，线性投影就是通过矩阵变换的方式把数据映射到最合适的方向。

降维的几何