一. 特征选择

特征选择的目的是从原有特征中找出主要特征，原始特征可能包含冗余或无关变量（或称特征、属性、指标等）

• 手工

• 过滤

   按照发散性或者相关性对各个特征进行评分，设定阈值或者待选择阈值的个数，从而选择特征；常用方法：
  

1. 方差选择法

先计算各个特征属性的方差值，然后根据阈值，获取方差大于阈值的特征

2. 相关系数法

先计算各个特征属性对于目标值的相关系数以及阈值K，然后获取 K个相关系数最大的特征属性

如果y是连续值，一般用相关系数
如果y是离散值，一般用卡方检验

F值：特征和目标变量之间的关系是否显著，是一个统计指标F值越大，表示特征和目标变量之间的相关性越强相关系数：特征和目标变量之间线性关系的强度和方向,可以是正相关、负相关或无关取值范围为[-1,1]:绝对值越大，表示相关性越强，符号表示相关性的方向F值与相关系数比较：
F值反映特征和目标变量之间的关系是否显著
相关系数反映特征和目标变量之间的线性关系的强度和方向在特征选择中，通常使用：
F值作为评价函数，选择与目标变量相关性较强的特征
相关系数作为评价指标，评价每个特征与目标变量之间的关系

3. 卡方检验

统计样本的实际观测值与理论推断值之间的偏离程度

	如果卡方值越大，二者偏差程度越大如果卡方值越小，二者偏差越小若两个值完全相等时，卡方值就为0，表明理论值完全符合

PS：针对分类变量

二. 特征降维

特征选择与特征降维是两种不同的处理方式：

	特征选择：原始的4条特征中保留2条特征降维：原始的4条特征综合后得到全新的2条

1. LDA(线性判别分析法)

LDA的全称是Linear Discriminant Analysis，将带上标签的数据（点），通过投影的方法，投影到维度更低的空间中，让映投影后的样本具有最好的分类性能，即“投影后类内方差最小，类间方差最大

LDA是有监督学习算法

LDA算法的整体思想：求一个旋转向量$\vec{w}$，将数据$\vec{x}$投影到一维
$$y={\vec{w}}^T\cdot \vec{x}$$

投影后，存在一个阈值$y_0$：
当$y\ge y_0$，属于$C_1$类
当$y<y_0$，属于$C_2$类

假设$C_1$类有$N_1$个点，$C_2$类有$N_2$个点，那么投影前的类内均值为：
$$\{\begin{array}{l}{\vec{m}}_1=\frac{1}{N_1}{\sum }_{i=1}^{N_1}{\vec{x}}_i\\ \\ {\vec{m}}_2=\frac{1}{N_2}{\sum }_{i=1}^{N_2}{\vec{x}}_i\end{array}$$

投影后的类内均值和松弛度分别为：
$$\{\begin{array}{l}{m}_1={\vec{w}}^T\cdot {\vec{m}}_1\\ \\ m_2={\vec{w}}^{\mathrm{T}}\cdot {\vec{m}}_2\end{array}$$

$$\{\begin{array}{l}{s}_1^2={\sum }_{i=1}^{N_1}{\left(y_i-m_1\right)}^2\\ \\ s_2^2={\sum }_{i=1}^{N_2}{\left(y_i-m_2\right)}^2\end{array}$$

松弛度：松弛度是样本松散程度的度量。值越大，越分散

对于松散度$s^2$除以N就是方差

此时，目标函数可以定义为：
$$J(\vec{w})=\frac{{\left(m_2-m_1\right)}^2}{s_1^2+s_2^2}$$
当$m_2-m_1$值越大，则说明两个类别距离较远

当$s_1^2+s_2^2$值越小，说明两个类对各自均值相对集中

公式推导：
 
${\left(m_2-m_1\right)}^2$
 
$={\left({\vec{w}}^T\cdot {\vec{m}}_2-{\vec{w}}^T\cdot {\vec{m}}_1\right)}^2$
 
$={\left({\vec{w}}^T\cdot \left({\vec{m}}_2-{\vec{m}}_1\right)\right)}^2$
 
$={\left({\left({\vec{m}}_2-{\vec{m}}_1\right)}^T\cdot \vec{w}\right)}^2$
 
$={\left({\left({\vec{m}}_2-{\vec{m}}_1\right)}^T\cdot \vec{w}\right)}^T\left({\left({\vec{m}}_2-{\vec{m}}_1\right)}^T\cdot \vec{w}\right)$
 
$=\left({\vec{w}}^T\cdot \left({\vec{m}}_2-{\vec{m}}_1\right)\right)\left({\left({\vec{m}}_2-{\vec{m}}_1\right)}^T\cdot \vec{w}\right)$
 
$={\vec{w}}^T\cdot \left({\vec{m}}_2-{\vec{m}}_1\right)\cdot {\left({\vec{m}}_2-{\vec{m}}_1\right)}^T\cdot \vec{w}$
 
 
令$S_b=({\vec{m}}_2-{\vec{m}}_1)\cdot ({\vec{m}}_2-{\vec{m}}_1{)}^T$
 
得到：${\left(m_2-m_1\right)}^2={\vec{w}}^T\cdot S_b\cdot \vec{w}$
 
同理，得到：$s_1^2+s_2^2={\vec{w}}^T\cdot S_w\cdot \vec{w}$
 
其中$S_b、S_w$均已知

因此：
$$J(\vec{w})=\frac{{\vec{w}}^T\cdot S_b\cdot \vec{w}}{{\vec{w}}^T\cdot S_w\cdot \vec{w}}$$

求导公式推导：
 
$\frac{\partial J(\vec{w})}{\partial \vec{w}}$
 
$={\left(\frac{{\vec{w}}^T\cdot S_b\cdot \vec{w}}{{\vec{w}}^T\cdot S_w\cdot \vec{w}}\right)}^{\prime }$
 
$=\frac{{\left({\vec{w}}^T\cdot S_b\cdot \vec{w}\right)}^{\prime }\left({\vec{w}}^T\cdot S_b\cdot \vec{w}\right)-{\left({\vec{w}}^T\cdot S_w\cdot \vec{w}\right)}^{\prime }\left({\vec{w}}^T\cdot S_w\cdot \vec{w}\right)}{{\left({\vec{w}}^T\cdot S_w\cdot \vec{w}\right)}^2}$
 
$=\frac{2S_b\vec{w}\left({\vec{w}}^T\cdot S_b\cdot \vec{w}\right)-2S_w\vec{w}\left({\vec{w}}^T\cdot S_w\cdot \vec{w}\right)}{{\left({\vec{w}}^T\cdot S_W\cdot \vec{w}\right)}^2}$

令导数为0，得到：
$$S_b\vec{w}\left({\vec{w}}^T\cdot S_b\cdot \vec{w}\right)=S_w\vec{w}\left({\vec{w}}^T\cdot S_w\cdot \vec{w}\right)$$
因为${\vec{w}}^T\cdot S_w\cdot \vec{w}$ 和 ${\vec{w}}^T\cdot S_b\cdot \vec{w}$ 是标量，所以上式的含义是: $S_b\vec{w}$ 与 $S_w\vec{w}$ 同方向
即：$S_b\vec{w}=\lambda S_w\vec{w}$

因为$S_b=({\vec{m}}_2-{\vec{m}}_1)\cdot ({\vec{m}}_2-{\vec{m}}_1{)}^T$
 
这里证明$S_b$为对称矩阵，则：
 
$S_b^T$
$=[({\vec{m}}_2-{\vec{m}}_1)\cdot ({\vec{m}}_2-{\vec{m}}_1{)}^T{]}^T$
 
$=({\vec{m}}_2-{\vec{m}}_1{)}^T\cdot ({\vec{m}}_2-{\vec{m}}_1)$
 
$=S_b$
 
同理，也可以证明$S_w$为对称矩阵

对于$S_b\vec{w}=({\vec{m}}_2-{\vec{m}}_1)\cdot ({\vec{m}}_2-{\vec{m}}_1{)}^T\vec{w}$
因为$({\vec{m}}_2-{\vec{m}}_1{)}^T\vec{w}$ 是标量，所以上式的含义是: $S_b\vec{w}$ 与 ${\vec{m}}_2-{\vec{m}}_1$ 同方向
即：$S_b\vec{w}=\lambda ({\vec{m}}_2-{\vec{m}}_1)$

也就是说$\vec{w}=S_w^{-1}\lambda ({\vec{m}}_2-{\vec{m}}_1)$

这里对于$w$的求解，最终变为求解每个类的均值和方差

2. PCA(主成分析法)

让映射后的样本具有更大的发散性，PCA是无监督的学习算法

主成分分析(PCA)的思路是：
将多个具有相关性的特征综合为少数几个有代表性的特征，它们既能够代表原始特征的绝大多数信息，组合后的特征又不相关；
通过减少特征的数量(即降维)达到了降低问题复杂性，又尽可能少地减少数据的特征损失的目的

简单说：找出数据里最主要的方面，用数据里最主要的方面来代替原始数据

简化版本的PCA降维的思路是：

• 寻找样本的主方向,将所有的m个样本投影到某直线L上，得到 m 个位于直线L上的点；计算这m个投影点的方差，我们认为方差最大的直线方向是主方向

比如：图中绿线所在的方向

	解释是样本点在这个直线上的投影能尽可能的分开，因为重叠就有信息消失

假设存在一个数据集(只有特征值)

此时，我们的任务是：

	要找到一个投影直线L，使得所有的数据投影到该直线上的方差最大

---

在开始公式推导前，我们先来放几条概念

• 首先，什么是基？
  坐标(3,2)之所以为(3,2)是因为我们确定了一个坐标系，换句话说就是确定了空间中的一组基，即(1,0)和(0,1)
  

  如果基坐标发生变化，对应得(3,2)坐标也相应发生变化：
  以下图蓝色坐标系为例子：
  首先，这组基可以是 $\left(\frac{1}{\sqrt{2}},\frac{1}{\sqrt{2}}\right)$ 和 $\left(-\frac{1}{\sqrt{2}},\frac{1}{\sqrt{2}}\right)$
  然后我们计算出(3,2)映射到新坐标系下的值：
  $$\left(\begin{array}{cc}1/\sqrt{2}& 1/\sqrt{2}\\ -1/\sqrt{2}& 1/\sqrt{2}\end{array}\right)\left(\begin{array}{l}3\\ 2\end{array}\right)=\left(\begin{array}{c}5/\sqrt{2}\\ -1/\sqrt{2}\end{array}\right)$$
  因此，蓝色的坐标系中，红色的向量坐标为 $(5/\sqrt{2},-1/\sqrt{2})$
  

对基的概念有一定了解之后，我们来进一步阐述PCA的具体操作思路：

	找到一组基（主成分）使得所有的数据变换为这组基上的坐标表示之后，方差值尽可能的大

而PCA找到的主成分应尽量保证无关联性，即：组基互不相关；那么对于寻找一组互不相关的基，PCA的实际做法是：

	先选择一个方向基，让数据投影到这个基上的方差最大然后在第一个方向基正交的方向上选择第二个方向基，使得数据投影到这个基上的方差最大随后在第一二个方向基都正交的方向上选择第三个方向基...依次选择下去，就可以保证方向基之间是互相正交的，也可以保证方差最大了

• 方差：表示的一个变量之间数据之间的波动程度
  $${\sigma }^2=\frac{1}{m}\sum (x-\mu {)}^2$$

• 协方差：表示的两个变量之间的相关程度
  $$COv(a,b)=\frac{1}{m-1}\sum _{i=1}^m(a_i-{\mu }_a)(b_i-{\mu }_b)$$

  假设存在大量样本点，对每个样本点进行均值化处理，即均值为0，可以得到：
  $$COv(a,b)=\frac{1}{m}\sum _{i=1}^m{a}_i{b}_i$$

  如果想让两个基没有相关性，就要保证他们的协方差为0.

下面，我们开始推导：

假设存在矩阵
$$X=\left[\begin{array}{cccc}{a}_1& a_2& ...& a_n\\ & & & \\ b_1& b_2& ...& b_n\end{array}\right]$$
那么，对矩阵内积可以得到(即：协方差矩阵公式)
$$\frac{1}{m}X{X}^T=\left[\begin{array}{cc}\frac{1}{m}{\sum }_{i=1}^m{a}_i^2& \frac{1}{m}{\sum }_{i=1}^m{a}_i{b}_i\\ & \\ \frac{1}{m}{\sum }_{i=1}^m{a}_i{b}_i& \frac{1}{m}{\sum }_{i=1}^m{b}_i^2\end{array}\right]=\left[\begin{array}{cc}Cov(a,a)& Cov(a,b)\\ & \\ Cov(a,b)& Cov(b,b)\end{array}\right]$$

上述公式我们可以看到：

	主对角线为两个特征的方差副对角线为两个特征之间的协方差同时，矩阵为对称矩阵

此时，我们的目标就变成了：

	特征之间的协方差为0：可以通过协方差矩阵相似对角化实现方差尽量最大：协方差矩阵对角化之后，把对角线上的元素从大到小排列

这里我们先来推导原矩阵与基变换后矩阵协方差矩阵的关系：
$$D=\frac{1}{m}Y{Y}^T=\frac{1}{m}(PX)(PX{)}^T=\frac{1}{m}PX{X}^T{P}^T=P(\frac{1}{m}X{X}^T)P^T=PC{P}^T$$

公式解释：
X：原始数据矩阵
C：原始数据矩阵对应的协方差矩阵为，即$\frac{1}{m}X{X}^T$
P：一组基矩阵(按行组成)
Y：X对P做基变换后的数据
D：Y 的协方差矩阵

$$PC{P}^T=\Lambda =\left(\begin{array}{cccc}{\lambda }_1& & & \\ & {\lambda }_2& & \\ & & ...& \\ & & & {\lambda }_n\end{array}\right)$$

因此，我们要找的 P 是能让原始协方差矩阵对角化的 P

• 协方差矩阵对角化：
  通过变换让协方差矩阵变成除对角线外的其它元素为0， 并且对角线上的元素按从大到小的顺序排列
• 实对称矩阵： 一个n行m列的实对称矩阵一定可以找到n个单位的正交特征向量$E=(e_1,e_2,...,e_n)$
  $$EC{E}^T=\Lambda =\left(\begin{array}{cccc}{\lambda }_1& & & \\ & {\lambda }_2& & \\ & & ...& \\ & & & {\lambda }_n\end{array}\right)$$

其中$\Lambda$为对角矩阵，其对角元素为各特征向量对应的特征值

至此我们找到了让原始协方差矩阵对角化的 P，即$P=E^T$
只要把特征值从大到小，对应的特征向量从上到下排列，则用前K行组成的矩阵乘以原始矩阵X， 就得到了我们需要的降维后的数据矩阵Y

---

而对于变量间协方差为 0 且变量内方差尽可能大的问题，可以转化为最优化问题利用拉格朗日乘子法来给予推导

样本点$x_i$在基$\mathrm{w}$下的坐标为: $\left(x_i,w\right)=x_i^{T}w$，于是我们有方差:
 
$D(x)$
 
$=\frac{1}{m}{\sum }_{i=1}^m{\left(x_i^{T}w\right)}^2$
 
$=\frac{1}{m}{\sum }_{i=1}^m{\left(x_i^{T}w\right)}^T\left(x_i^{T}w\right)$
 
$=\frac{1}{m}{\sum }_{i=1}^m{w}^T{x}_i{x}_i^{T}w$
 
$=w^T\left(\frac{1}{m}{\sum }_{i=1}^m{x}_i{x}_i^T\right)w$

我们看到 $\frac{1}{m}{\sum }_{i=1}^m{x}_i{x}_i^T$ 就是原样本的协方差，我们另这个矩阵为 $\Lambda$ ，于是我们有:

$$\{\begin{array}{r}\max \left\{w^T\Lambda w\right\}\\ \text{ s.t. }{w}^{T}w=1\end{array}$$

求约束条件下的极值问题, 我们直接用拉格朗日公式:

$$\mathbf{L}(\mathbf{w})={\mathbf{w}}^{\mathrm{T}}\Lambda \mathbf{w}-\lambda \left({\mathbf{w}}^{\mathrm{T}}\mathbf{w}-1\right)$$

对其求$\mathbf{w}$ 的导数：

$$\frac{\mathrm{d}\mathbf{L}(\mathbf{w})}{\mathrm{d}\mathbf{w}}=\Lambda \mathbf{w}-\lambda \mathbf{w}$$

令其为 0 , 得到
$$\Lambda \mathbf{w}=\lambda \mathbf{w}$$

此时，方差为：
$$D(x)=w^T\Lambda w=\lambda w^{T}w=\lambda$$

至此，对于PCA要找到一个投影直线L，使得所有的数据投影到该直线上的方差最大：

• x投影后的方差就是协方差矩阵的特征值
• 投影后的最大方差就是协方差矩阵最大的特征值
• 最佳投影方向就是最大特征值所对应的特征向量
• 次佳就是第二大特征值对应的特征向量以此类推

---

感谢阅读🌼
如果喜欢这篇文章，记得点赞👍和转发🔄哦！
有任何想法或问题，欢迎留言交流💬，我们下次见！
本文相关代码存放位置
    【特征工程操作练习2】

祝愉快🌟！

---