18.065 Lecture 2

课程主页：https://ocw.mit.edu/courses/mathematics/18-065-matrix-methods-in-data-analysis-signal-processing-and-machine-learning-spring-2018/index.htm

这一讲的主题是Multiplying and Factoring Matrices 。

矩阵分解

考虑如下几种矩阵分解：

$A: LU\to $高斯消元法
$A:QR\to$Gram-Schmidt
对称矩阵$S:Q\Lambda Q^T=\left[
\begin{matrix}
q_1 &\ldots & q_n
\end{matrix}
\right]
\left[
\begin{matrix}
\lambda_1 & & \\
& \ddots & \\
&& \lambda_n
\end{matrix}
\right] \left[
\begin{matrix}
q_1^T\\ \vdots \\ q_n^T
\end{matrix}
\right],\lambda_i \in \mathbb R\to $对称矩阵的正交分解
$A=X\Lambda X^{-1}\to $相似矩阵分解
$A=U\Sigma V^T\to $SVD分解

这部分重点回顾对称矩阵的分解：

$Q\Lambda Q^T=(Q\Lambda)Q^T=秩为1的矩阵之和=\sum_{i=1}^n \lambda_i q_i q_i^T$

$A\in \mathbb R^{m\times n},\text{rank}(A)= r$的四个基本子空间

回顾线性代数中的优美结论：

以一个具体例子结束这讲：

$A= \left[ \begin{matrix} 1 & 2 & 4\\ 2 & 4 & 8 \end{matrix} \right],x_1 =\left[ \begin{matrix} 0 \\ -2 \\ 1 \end{matrix} \right],x_2 =\left[ \begin{matrix} 4\\ 0\\ -1 \end{matrix} \right]$

那么

$\begin{aligned} Ax_1 =Ax_2=0 \end{aligned}$

显然$x_1,x_2$线性无关，在这个例子中，我们有

$\begin{aligned} m& =2 \\ n&= 3\\ r&=1\\ n-r& =2 \end{aligned}$

习题

2

可以计算$ab^T$，并且

$ab^T\in \mathbb R^{m\times p}$

其中

$(ab^T)_{ij}=a_ib_j$

类似的，我们有

$aa^T\in \mathbb R^{m\times m}$

其中

$(aa^T)_{ij}=a_ia_j$

6

不难看出我们有

$\begin{aligned} a_1 b_1^* &= \left[ \begin{matrix} a_1 & 0 & 0 \end{matrix} \right]\in \mathbb R^{3\times 3} \\ a_2 b_2^* &= \left[ \begin{matrix} 0 &a_2 & 0 \end{matrix} \right]\in \mathbb R^{3\times 3} \\ a_3b_3^* &= \left[ \begin{matrix} 0 & 0&a_3 \end{matrix} \right]\in \mathbb R^{3\times 3} \end{aligned}$

所以

$AI=\sum_{i=1}^3 a_i b_i^* = \left[ \begin{matrix} a_1 & a_2&a_3 \end{matrix} \right] =A$