课程主页:https://ocw.mit.edu/courses/mathematics/18-065-matrix-methods-in-data-analysis-signal-processing-and-machine-learning-spring-2018/index.htm

这一讲的主题是Singular Value Decomposition (SVD)。

基本概念和性质

对于$A\in \mathbb R^{m\times n}$,奇异值分解的形式为

其中

由上述分解可得

另一方面,我们有

所以不难看出$v_i$为$A^TA$的特征向量,$u_i$为$AA^T$的特征向量。

证明

由半正定对称矩阵的正交分解可得

其中

下面先证明$\Lambda_1 ,\Lambda_2$的正对角元相同:

由(1)可得

左乘$A$得到

所以$\lambda_{1i}$是$AA^T$的特征值,对应的特征向量为$Av_i$;同理可得$\lambda_{2i}$是$A^TA$的特征值,对应的特征向量为$A u_i$。因此$\Lambda_1 ,\Lambda_2$的正对角元相同,不妨记为

注意到由之前讨论可得

以及

都是$AA^T $的非零特征值对应的特征向量,所以我们有

取模可得

所以可以取

因此

另一方面,由之前讨论可得

将$U$重新记为

那么将上述结论写成矩阵形式可得

因此得到奇异值分解。

理解

奇异值分解告诉我们每个线性变换$A$可以表达为正交变换$V^T$,伸缩变换$\Sigma$和正交变换$U$的复合。

习题

1

由$S$为对称矩阵可得

其中

那么

首先有

6

因为

所以

求解

得到

因此

求$AA^T$的特征向量得到

所以