奇异值分解(2)——奇异值分解的性质

之前一篇博客证明了奇异值分解,这篇博客将证明一些比较重要的性质。

首先回顾下奇异值分解

设$A$是一个$m\times n$矩阵, 则存在$m$阶正交矩阵$U$和$n$阶正交矩阵$V$, 满足

其中$\text{r = rank A},\sum\in R^{m\times n}​$. 习惯上,设 $\sigma_1\ge\sigma_2\ge…\ge\sigma_r>0​$,称$\sigma_1,…,\sigma_r​$为奇异值(singular value).

$U,V$与四个基本子空间的关系

这里来讨论$U,V$与$A$的四个基本子空间的关系。

对$A=U\sum V^T$两边右乘$V$可得$AV=U\sum V^TV=U\sum$,考虑左右两个矩阵的每一列可得

任取$y \in C(A)$,存在$x\in R^n$,使得$y=Ax$,因为$x\in R^ n,V$为$n$阶正交矩阵,所以存在$z\in R^n$,使得$x= Vz$,所以

从而任意$y \in C(A)$可以由$(u_1,…,u_r)$线性表出,由于$(u_1,…,u_r)$线性无关,所以$(u_1,…,u_r)$为$C(A)$的一组基。

接着对$A=U\sum V^T$取转置可得$A^T=V\sum^T U^T$,两边右乘$U$可得$A^TU=V\sum^T$,考虑左右两个矩阵的每一列可得

任取$x\in N(A^T),x\in R^m​$,$A^Tx=0​$,因为$U​$为$m​$阶正交矩阵,所以存在$z\in R^m​$,使得$x=Uz​$,带入$A^Tx=0​$可得

因为$(v_1,…,v_r)$线性无关,且$\sigma_1\ge\sigma_2\ge…\ge\sigma_r>0$,所以$z_i=0,(i=1,…,r)$,从而$x$可以表示为

从而任意$x\in N(A^T)$可以由$(u_{r+1},…,u_m)$线性表出,由于$(u_{r+1},…,u_m)$线性无关,所以$(u_{r+1},…,u_m)$为$N(A^T)$的一组基。

由对称性可知$(v_1,…,v_r)$为$C(A^T)$的一组基,$(v_{r+1},…,v_n)$为$N(A)$的一组基。

奇异值分解的约化形式

有时候会看到奇异值分解的另一种形式:

这种形式为奇异值分解的约化形式。

将我们之前的奇异值分解$A=U\sum V^T$按照列向量展开

现在做一个新的记号

那么