奇异值分解(2)——奇异值分解的性质
之前一篇博客证明了奇异值分解,这篇博客将证明一些比较重要的性质。
首先回顾下奇异值分解
设$A$是一个$m\times n$矩阵, 则存在$m$阶正交矩阵$U$和$n$阶正交矩阵$V$, 满足
其中$\text{r = rank A},\sum\in R^{m\times n}$. 习惯上,设 $\sigma_1\ge\sigma_2\ge…\ge\sigma_r>0$,称$\sigma_1,…,\sigma_r$为奇异值(singular value).
$U,V$与四个基本子空间的关系
这里来讨论$U,V$与$A$的四个基本子空间的关系。
对$A=U\sum V^T$两边右乘$V$可得$AV=U\sum V^TV=U\sum$,考虑左右两个矩阵的每一列可得
任取$y \in C(A)$,存在$x\in R^n$,使得$y=Ax$,因为$x\in R^ n,V$为$n$阶正交矩阵,所以存在$z\in R^n$,使得$x= Vz$,所以
从而任意$y \in C(A)$可以由$(u_1,…,u_r)$线性表出,由于$(u_1,…,u_r)$线性无关,所以$(u_1,…,u_r)$为$C(A)$的一组基。
接着对$A=U\sum V^T$取转置可得$A^T=V\sum^T U^T$,两边右乘$U$可得$A^TU=V\sum^T$,考虑左右两个矩阵的每一列可得
任取$x\in N(A^T),x\in R^m$,$A^Tx=0$,因为$U$为$m$阶正交矩阵,所以存在$z\in R^m$,使得$x=Uz$,带入$A^Tx=0$可得
因为$(v_1,…,v_r)$线性无关,且$\sigma_1\ge\sigma_2\ge…\ge\sigma_r>0$,所以$z_i=0,(i=1,…,r)$,从而$x$可以表示为
从而任意$x\in N(A^T)$可以由$(u_{r+1},…,u_m)$线性表出,由于$(u_{r+1},…,u_m)$线性无关,所以$(u_{r+1},…,u_m)$为$N(A^T)$的一组基。
由对称性可知$(v_1,…,v_r)$为$C(A^T)$的一组基,$(v_{r+1},…,v_n)$为$N(A)$的一组基。
奇异值分解的约化形式
有时候会看到奇异值分解的另一种形式:
这种形式为奇异值分解的约化形式。
将我们之前的奇异值分解$A=U\sum V^T$按照列向量展开
现在做一个新的记号
那么