1. 矩阵分解

目前我们有很多重要的矩阵分解，每个分解对应于多个前提条件，分解方法，分解后的形状会中如下：

2. $S=Q\Lambda Q^T$

当S为对称矩阵的时候，可以将S分解：$S=Q\Lambda Q^T$,展开可得：
$$\begin{array}{c}S={\lambda }_1{q}_1{q}_1^T+{\lambda }_2{q}_2{q}_2^T+\cdots {\lambda }_n{q}_n{q}_n^T\end{array}$$

• 两边乘以$q_i$可得：
  $$\begin{array}{c}S{q}_i={\lambda }_1{q}_1{q}_1^T{q}_i+{\lambda }_2{q}_2{q}_2^T+\cdots +{\lambda }_i{q}_i{q}_i^T{q}_i+\cdots +{\lambda }_n{q}_n{q}_n^T{q}_i;q_i^T{q}_i=1,q_j^T{q}_i=0,i\ne j\end{array}$$
  $$\begin{array}{c}S{q}_i={\lambda }_i{q}_i\to {\lambda }_i=q_i^{T}S{q}_i\end{array}$$

3. $A=U\Sigma V^T$

奇异值分解可以对任何实数矩阵有效，这里面核心的有两点：

• 1. 通过$A{A}^T$来算 ${\sigma }^2$时，我们需要对A的 $\sigma$的正负号进行验证.
• 2. 我们需要了解U,V正交单位特征向量与A的四个子空间的关系：真神奇！！！
     

4. A = LU 分解

假设我们有矩阵A，我们希望对其进行LU分解如下：
$$\begin{array}{c}A=LU\to \left[\begin{array}{cc}2& 3\\ & \\ 4& 7\end{array}\right]=\left[\begin{array}{cc}1& 0\\ & \\ 2& 1\end{array}\right]\left[\begin{array}{cc}2& 3\\ & \\ 0& 1\end{array}\right]\end{array}$$

• 矩阵A分解为两个秩为1的矩阵相加：
  $$\begin{array}{c}\left[\begin{array}{cc}2& 3\\ & \\ 4& 7\end{array}\right]=\left[\begin{array}{cc}2& 3\\ & \\ 4& 6\end{array}\right]+\left[\begin{array}{cc}0& 0\\ & \\ 0& 1\end{array}\right]=\left[\begin{array}{c}1\\ \\ 2\end{array}\right]\left[\begin{array}{cc}2& 3\end{array}\right]+\left[\begin{array}{c}0\\ \\ 1\end{array}\right]\left[\begin{array}{cc}0& 1\end{array}\right]\end{array}$$

5. 矩阵的四个子空间

我们知道，对于一个m 行 n 列的矩阵A来说，根据列和行来说，分成4个空间，

• $C(A)$列空间(columns space)，维度为$R^m$
• $C(A^T)$行空间(rows space)，维度为$R^n$
• $N(A)$零空间(rows space)，维度为$R^n$
• $N(A^T)$左零空间(rows space)，维度为$R^m$
  四个子空间的相互关系如下：