1. 投影矩阵

1.1 投影矩阵P

根据上节知识，我们知道当我们在解$AX=b$的时候，发现当向量b不在矩阵A的列空间的时候，我们希望的是通过投影，将向量b投影到矩阵A的列空间中，这样，我们可以求得一个近似的解，得到如下公式
$$A^{T}A\hat{X}=A^{T}b\text{\hspace{1em}(1)}$$

• 我们假设$A^{T}A可逆，$可得到解为：
  $$\hat{X}=(A^{T}A{)}^{-1}{A}^{T}b\text{\hspace{1em}(2)}$$
• 那么可以得到向量b在矩阵A的列空间向量p表示如下：
  $$p=A(A^{T}A{)}^{-1}{A}^{T}b\text{\hspace{1em}(3)}$$
• 由上可以看出，我们将矩阵$P=A(A^{T}A{)}^{-1}{A}^T$代入可得：
  $$p=Pb\text{\hspace{1em}(4)}$$
• 我们发现，向量b为不在矩阵A的列空间中的向量,p为向量b通过投影矩阵P转换后的向量。并且向量p是在矩阵A的列空间中。

1.2 投影向量

对于任意向量b来说，我们可以通过正交分解，将向量b分解到两个垂直的向量空间中，我们考虑两个极端的情况下

• 假设向量b在矩阵A的列空间中，那么向量b通过投影矩阵P的转换，还是得到其本身
  $$Pb=b\text{\hspace{1em}(5)}$$
• 假设向量b在垂直于矩阵A的列空间中，那么向量b通过投影矩阵P的转换，得到的将是零向量
  $$Pb=0\text{\hspace{1em}(6)}$$
  那么我们思考下，什么向量空间是垂直于矩阵A的列空间的呢？我们之前学过矩阵A的四个子空间，分别是

1. Row(A) —> 矩阵A的行空间；2.Colum(A) —> 矩阵A的列空间
2. N(A) —> 矩阵A的零解空间；4. $N(A^T)$ —> 矩阵$A^T$的零解空间
   我们可以将$A^T$按列向量拆解得到如下
   $$A^T=\left[\begin{array}{c}{a}_1^T\\ \\ a_2^T\\ \\ ⋮\\ \\ a_n^T\end{array}\right];\left[\begin{array}{c}{a}_1^T\\ \\ a_2^T\\ \\ ⋮\\ \\ a_n^T\end{array}\right]\left[\begin{array}{cccc}{y}_1& y_2& \dots & y_n\end{array}\right]=0\text{\hspace{1em}(7)}$$

• 由上述可以看出，$A^T$的零解空间是垂直于矩阵A的列空间的，所以我们可以将任意向量b 通过正交分解为一部分投影在列空间的向量p，另一部分投影在$A^T$的零解空间中的e
  
  $$\begin{gathered} p=Pb \\ e=(I-P)b\text{\hspace{1em}(8)} \end{gathered}$$