EE263 Lecture 16 Symmetric matrices, quadratic forms, matrix norm and SVD

课程主页：https://see.stanford.edu/Course/EE263

这次回顾第十六讲，这一讲继续介绍了对称矩阵的一些性质。

二次型

如下形式的函数$f : \mathbb{R}^{n} \rightarrow \mathbb{R}$

$$f(x)=x^{T} A x=\sum_{i, j=1}^{n} A_{i j} x_{i} x_{j}$$

被称为二次型。

在二次型中，我们可以假设$A=A^T$，因为

$$x^{T} A x=x^{T}\left(\left(A+A^{T}\right) / 2\right) x$$

（$\left(A+A^{T}\right) / 2$被称为$A$的对称部分）

唯一性：如果对任意$x \in \mathbb{R}^{n}$，$x^{T} A x=x^{T} B x$，并且$A=A^{T}, B=B^{T}$，那么$A=B$

证明：取$x=e_i$可得

$$\begin{aligned} e_i^T Ae_i &= a_{ii}\\ e_i^TBe_i &= b_{ii}\\ a_{ii} &= b_{ii} \end{aligned}$$

取$x=e_i +e_j$得到

$$\begin{aligned} (e_i+e_j)^T A(e_i+e_j) &= a_{ii}+a_{jj} +a_{ij}+a_{ji}=a_{ii}+a_{jj}+2a_{ij} \\ (e_i+e_j)^T B(e_i+e_j) &= b_{ii}+b_{jj} +b_{ij}+b_{ji}=b_{ii}+b_{jj}+2b_{ij} \\ a_{ij} &= b_{ij} \end{aligned}$$

例子

• $|B x|^{2}=x^{T} B^{T} B x$
• $\sum_{i=1}^{n-1}\left(x_{i+1}-x_{i}\right)^{2}$
• $|F x|^{2}-|G x|^{2}$

二次型定义的集合：

• $\{x | f(x)=a\}$被称为二次曲面
• $\{x | f(x) \leq a\}$被称为二次区域

二次型的不等式

假设$A=A^{T}, A=Q \Lambda Q^{T}$，并且特征值满足$\lambda_{1} \geq \cdots \geq \lambda_{n}$，那么

$$\begin{aligned} x^{T} A x &=x^{T} Q \Lambda Q^{T} x \\ &=\left(Q^{T} x\right)^{T} \Lambda\left(Q^{T} x\right) \\ &=\sum_{i=1}^{n} \lambda_{i}\left(q_{i}^{T} x\right)^{2} \\ & \leq \lambda_{1} \sum_{i=1}^{n}\left(q_{i}^{T} x\right)^{2} \\ &=\lambda_{1}\|x\|^{2} \end{aligned}$$

即，我们有

$$x^{T} A x \leq \lambda_{1} x^{T} x$$

同理可得$x^{T} A x \geq \lambda_{n}|x|^{2}$，所以我们有

$$\lambda_{n} x^{T} x \leq x^{T} A x \leq \lambda_{1} x^{T} x$$

有时$\lambda_1$被称为$\lambda_{\max}$，$\lambda_n $被称为$\lambda_{\min }$

注意到

$$q_{1}^{T} A q_{1}=\lambda_{1}\left\|q_{1}\right\|^{2}, \qquad q_{n}^{T} A q_{n}=\lambda_{n}\left\|q_{n}\right\|^{2}$$

所以不等式是紧的。

正定型和半正定型

假设$A=A^{T} \in \mathbb{R}^{n \times n}$

我们称$A$为半正定矩阵，如果对所有$x$，我们有$x^TAx\ge 0$

• 表示为$A\ge 0$（有时表示为$A \succeq 0$）
• $A\ge 0$当且仅当$\lambda_{\min }(A) \ge 0$，即所有的特征值非负
• 这和$A_{ij}\ge 0$不同

我们称$A$是正定矩阵，如果对所有$x\neq 0$，我们有$x^TAx> 0$

• 表示为$A> 0$
• $A> 0$当且仅当$\lambda_{\min }(A) > 0$

矩阵不等式

• 我们称$A$是半负定，如果$-A\ge 0$
• 我们称$A$是负定，如果$-A>0$
• 否则，我们称$A$不定

矩阵不等式：如果$B=B^{T} \in \mathbb{R}^{n}$，我们称$A\ge B$，如果$A-B\ge 0$；$A0$，以此类推

例如：

• $A\ge 0$意味着$A$是正定矩阵
• $A>B$意味着对所有$x\neq 0 $，$x^{T} A x>x^{T} B x$

常用的性质：

• $A\ge B,C\ge D \Rightarrow A+C\ge B+D$
• $B\le 0 \Rightarrow A+B \leq A$
• $A\ge 0, \alpha \ge 0, \alpha A\ge 0$
• $A^2\ge 0$
• $A>0\Rightarrow A^{-1} >0$

矩阵不等式只是半序，即可能有

$$A \not\ge B, \quad B \not\ge A$$

椭球

如果$A=A^{T}>0$，集合

$$\mathcal{E}=\left\{x | x^{T} A x \leq 1\right\}$$

是$\mathbb R^n$中的椭球，中心为原点，图像如下：

半轴由$s_{i}=\lambda_{i}^{-1 / 2} q_{i}$给出，即：

• 特征向量决定半轴的方向
• 特征值决定半轴的长度

注意到：

• 在方向$q_1$，$x^TAx $很大，因此在$q_1$方向椭圆很瘦
• 在方向$q_n$，$x^TAx $很小，因此在$q_n $方向椭圆很胖
• $\sqrt{\lambda_{\max } / \lambda_{\min }}$给出最大偏心率

给定$B>0,\tilde{\mathcal{E}}=\left\{x | x^{T} B x \leq 1\right\}$，那么

$$\mathcal{E} \subseteq \tilde{\mathcal{E}} \Longleftrightarrow A \geq B$$

矩阵在方向上的增益

假设$A \in \mathbb{R}^{m \times n}$（不需要是方阵或对称）

对于$x\in \mathbb R^n$，$|A x| /|x|$给出了$A$在方向$x$的放大因子

显然，随着输入$x$的变换，增益会变化

于是产生如下问题：

• $A$的最大增益是多少（以及对应的方向）？
• $A$的最小增益是多少（以及对应的方向）？
• $A$的增益随着方向的变换如何改变？

矩阵范数

最大收益

$$\max _{x \neq 0} \frac{\|A x\|}{\|x\|}$$

被称为$A$的矩阵范数或谱范数，用$|A|$表示，由之前的结论可得

$$\max _{x \neq 0} \frac{\|A x\|^{2}}{\|x\|^{2}}=\max _{x \neq 0} \frac{x^{T} A^{T} A x}{\|x\|^{2}}=\lambda_{\max }\left(A^{T} A\right)$$

所以我们有

$$\|A\|=\sqrt{\lambda_{\max }\left(A^{T} A\right)}$$

类似的，最小增益为

$$\min _{x \neq 0}\|A x\| /\|x\|=\sqrt{\lambda_{\min }\left(A^{T} A\right)}$$

注意到

• $A^{T} A \in \mathbb{R}^{n \times n}$对称，并且$A^TA\ge 0$，所以$\lambda_{\min }, \lambda_{\max } \geq 0$
• 最大收益方向为$x=q_1$，$A^TA$和$\lambda_{\max}$对应的特征项向量
• 最小收益方向为$x=q_n$，$A^TA$和$\lambda_{\min }$对应的特征项向量

矩阵范数的性质

• 和向量范数兼容：$a \in \mathbb{R}^{n \times 1}$的矩阵范数为

  $$\sqrt{\lambda_{\max }\left(a^{T} a\right)}=\sqrt{a^{T} a}$$

• 对任意$x$，$|A x| \leq|A||x|$

• 缩放：$|a A|=|a||A|$

• 三角不等式：$|A+B| \leq|A|+|B|$

• definiteness：$|A|=0 \quad \Leftrightarrow \quad A=0$

• 范数的乘积：$|A B| \leq|A||B|$