1. 四个子空间的相互关系

对于m行n列的矩阵A来说，矩阵A的行空间的秩等于矩阵A的列空间的秩
$$Rank(A)=Rank(A^T)=r\text{\hspace{1em}(1)}$$
$$AX=0;A^{T}X=0\text{\hspace{1em}(2)}$$

• 可以得矩阵A的零空间的秩为：
  $$Rank(N(A))=n-r\text{\hspace{1em}(3)}$$
• 可以得矩阵$A^T$的零空间的秩为：
  $$Rank(N(A^T))=m-r\text{\hspace{1em}(4)}$$
  
• 对于$Ax=0$，可以看出如下：
  $$\left[\begin{array}{c}{a}_1\\ \\ a_2\\ \\ ⋮\\ \\ a_m\end{array}\right]x=0\Rightarrow \left[\begin{array}{c}{a}_{1}x\\ \\ a_{2}x\\ \\ ⋮\\ \\ a_{m}x\end{array}\right]=0\text{\hspace{1em}(5)}$$
  所以A的行空间向量与AX=0的零解空间垂直；
• 对于$A^{T}y=0$，可以看出如下：
  $$\left[\begin{array}{c}{b}_1\\ \\ b_2\\ \\ ⋮\\ \\ b_n\end{array}\right]y=0\Rightarrow \left[\begin{array}{c}{b}_{1}y\\ \\ b_{2}y\\ \\ ⋮\\ \\ b_{m}y\end{array}\right]=0\text{\hspace{1em}(6)}$$
  所以A的列空间向量与$A^{T}y=0$的零解空间垂直；

2. 正交向量

假设我们两个向量x,y 用图形表示如下：

• 计算不同向量：
  $$x^2=x^{T}x;y^2=y^{T}y;(x+y{)}^2=(x+y{)}^T(x+y)=x^{T}x+x^{T}y+y^{T}x+y^{T}y;\text{\hspace{1em}(7)}$$
  $$x^2+y^2-(x+y{)}^2=x^{T}x+y^{T}y-x^{T}x-y^{T}y-x^{T}y-y^{T}x\text{\hspace{1em}(8)}$$
• 当向量垂直时，由勾股定理可得$x^2+y^2-(x+y{)}^2=0$:
  $$x^2+y^2-(x+y{)}^2=x^{T}x+y^{T}y-x^{T}x-y^{T}y-x^{T}y-y^{T}x=0\text{\hspace{1em}(9)}$$
• $x^{T}y=y^{T}x$
  $$-x^{T}y-y^{T}x=-2x^{T}y=0\Rightarrow x^{T}y=0\text{\hspace{1em}(10)}$$
  所以当向量x和向量y垂直时，可以得到如下结果：
  $$x^{T}y=y^{T}x=0\text{\hspace{1em}(11)}$$

假设矩阵A表示如下：
$$A=\left[\begin{array}{ccc}1& 2& 5\\ & & \\ 2& 4& 10\end{array}\right]\left[\begin{array}{c}{x}_1\\ \\ x_2\\ \\ x_3\end{array}\right];m=2,n=3,r=1;r(N(A))=n-r=3-1=2\text{\hspace{1em}(12)}$$

• 子空间S正交与子空间T表明，在子空间中的任意向量$s_1$正交于在子空间中的任意向量$t_1$

3. 无解方程求解

如何求解无解方程的解，假如Ax=b无解，那么我们想在这个条件下求出最优的解？比如说当矩阵A里面有很多坏数据的时候，我们无法通过正常途径求解方程，所以我们要求出最优解。