定义

奇异值分解就是把一个矩阵分解成正交矩阵乘以对角矩阵乘以正交矩阵的形式,即 即 $A=U\Sigma V^T$

求法

$A{A}^T=U\Sigma V^{T}V\Sigma U^T=U{\Sigma }^2{U}^T$,这个是很明显的特征值分解形式
$A^{T}A=V\Sigma U^{T}U\Sigma V^T=V{\Sigma }^2{V}^T$
所以很明显$U$是$A{A}^T$特征向量的堆叠,$V$是$A^{T}A$特征向量的堆叠

推导

上面那个成立隐含了一个条件是$A{A}^T$和$A^{T}A$有相同的特征值,如果他们特征值不一样,那么SVD也无从说起
$A^{T}A$是对称矩阵,所以UV都是正交矩阵,所以$v_1和v_2$正交,并且我们规定它们都是单位向量(ps.特征向量可以任意缩放)
$(A{v}_1{)}^{T}A{v}_2=u_1^T{A}^{T}A{v}_2=v_1^T{\lambda }_{2}v=0$
所以$Au$之间也是正交的
所以有$|A{v}_i{|}^2=(A{v}_i{)}^{T}Av=v_i^T{A}^{T}A{v}_i=\lambda$
所以$|A{v}_i|=\sqrt{{\lambda }_i}$
这就可以构造出

$\frac{A{v}_i}{|A{v}_i|}=\frac{1}{\sqrt{\lambda }}A{v}_i$

$A{A}^T\frac{1}{\sqrt{{\lambda }_i}}A{v}_i=A\frac{1}{\sqrt{{\lambda }_i}}{A}^{T}A{v}_i=A\frac{1}{\sqrt{{\lambda }_i}}{\lambda }_i{v}_i={\lambda }_i\frac{1}{\sqrt{{\lambda }_i}}A{v}_i$

把$\frac{1}{\sqrt{{\lambda }_i}}A{v}_i$当做整体看作$u_i$,就会有
$A{A}^T{u}_i={\lambda }_i{u}_i$
这说明$A{A}^T和A^{T}A$的特征值是一样的,而且他们特征向量的关系是$u_i=\frac{1}{\sqrt{{\lambda }_i}}A{v}_i$

奇异值分解的两种形式

SVD其实有两种形式
一种形式是U是m×r,V是n×r, $\Sigma$是r×r,这里面是r是矩阵的秩,他把一些0元素给去掉了
另一种形式是u是m×m,v是n×n, $\Sigma$是m*n,这里面的$\Sigma$就需要在原本的r×r矩阵右下角填补一些0元素了
第一种形式是特征向量的堆叠,因为秩为r,所以特征向量只有r个
第二种形式补了零,这时候的$UV$都是正交矩阵,可以看做旋转矩阵,这时候SVD就有几何意义,它在对角矩阵处补0,而对于$UV$矩阵它其实补的是$A{A}^{T}x=0$的解,一方面这些向量也可以认为是特征值为0的对应的特征向量,另一方面他们和之前的特征向量垂直,让$UV$可以保持正交矩阵的优良特性

SVD的几何意义

因为$A=U\Sigma V^T$,它从几何角度来看$Ax$是一种形变,先转换到V空间,再拉伸,再转到U空间,这里面的$\Sigma$中对角的零元素表明它在变换中对某个维度置零0,这是不可恢复的,变换不可逆意味着矩阵没有逆矩阵.所以可逆矩阵中间会是完整的对角矩阵,而不可逆矩阵中间才会有零元素.
另外对角没有零不代表是可逆矩阵,只有方阵对角才是可逆.
其实非方阵也不是完全不可逆,有左逆和右逆矩阵.
如果$UV$维度不一样,U维度大于V,那么$xA$可逆,它先升维再拉伸再降维,完全没问题,但是反过来$Ax$就不可逆了
相反的U维度小于V,那么$Ax$可逆,$xA$不可逆
当然对角有零也可以强行反推,这时候会损失一些数据,这种逆也叫伪逆
不管是有损伪逆还是左逆右逆,都可以用SVD表达即
$A^{+}=V{\Sigma }^{-1}{U}^T$,这就是对SVD几何变换的逆转