EE263 Lecture 16 Symmetric matrices, quadratic forms, matrix norm and SVD

距离上次更新已经 2104 天了，文章内容可能已经过时。

课程主页：https://see.stanford.edu/Course/EE263

这次回顾第十六讲，这一讲继续介绍了对称矩阵的一些性质。

二次型

如下形式的函数$f:{\mathbb{R}}^n\to \mathbb{R}$

$$f(x)=x^{T}Ax=\sum _{i,j=1}^n{A}_{ij}{x}_i{x}_j$$

被称为二次型。

在二次型中，我们可以假设$A=A^T$，因为

$$x^{T}Ax=x^T\left((A+A^T)/2\right)x$$

（$(A+A^T)/2$被称为$A$的对称部分）

唯一性：如果对任意$x\in {\mathbb{R}}^n$，$x^{T}Ax=x^{T}Bx$，并且$A=A^T,B=B^T$，那么$A=B$

证明：取$x=e_i$可得

$$\begin{array}{rl}{e}_i^{T}A{e}_i& =a_{ii}\\ e_i^{T}B{e}_i& =b_{ii}\\ a_{ii}& =b_{ii}\end{array}$$

取$x=e_i+e_j$得到

$$\begin{array}{rl}(e_i+e_j{)}^{T}A(e_i+e_j)& =a_{ii}+a_{jj}+a_{ij}+a_{ji}=a_{ii}+a_{jj}+2a_{ij}\\ (e_i+e_j{)}^{T}B(e_i+e_j)& =b_{ii}+b_{jj}+b_{ij}+b_{ji}=b_{ii}+b_{jj}+2b_{ij}\\ a_{ij}& =b_{ij}\end{array}$$

例子

• $|Bx{|}^2=x^T{B}^{T}Bx$
• $\sum _{i=1}^{n-1}{(x_{i+1}-x_i)}^2$
• $|Fx{|}^2-|Gx{|}^2$

二次型定义的集合：

• $\{x|f(x)=a\}$被称为二次曲面
• $\{x|f(x)\le a\}$被称为二次区域

二次型的不等式

假设$A=A^T,A=Q\mathrm{\Lambda }{Q}^T$，并且特征值满足${\lambda }_1\ge \cdots \ge {\lambda }_n$，那么

$$\begin{array}{rl}{x}^{T}Ax& =x^{T}Q\mathrm{\Lambda }{Q}^{T}x\\ & ={\left(Q^{T}x\right)}^T\mathrm{\Lambda }\left(Q^{T}x\right)\\ & =\sum _{i=1}^n{\lambda }_i{\left(q_i^{T}x\right)}^2\\ & \le {\lambda }_1\sum _{i=1}^n{\left(q_i^{T}x\right)}^2\\ & ={\lambda }_1\Vert x{\Vert }^2\end{array}$$

即，我们有

$$x^{T}Ax\le {\lambda }_1{x}^{T}x$$

同理可得$x^{T}Ax\ge {\lambda }_n|x{|}^2$，所以我们有

$${\lambda }_n{x}^{T}x\le x^{T}Ax\le {\lambda }_1{x}^{T}x$$

有时${\lambda }_1$被称为${\lambda }_{max}$，${\lambda }_n$被称为${\lambda }_{min}$

注意到

$$q_1^{T}A{q}_1={\lambda }_1{\Vert q_1\Vert }^2,q_n^{T}A{q}_n={\lambda }_n{\Vert q_n\Vert }^2$$

所以不等式是紧的。

正定型和半正定型

假设$A=A^T\in {\mathbb{R}}^{n\times n}$

我们称$A$为半正定矩阵，如果对所有$x$，我们有$x^{T}Ax\ge 0$

• 表示为$A\ge 0$（有时表示为$A⪰0$）
• $A\ge 0$当且仅当${\lambda }_{min}(A)\ge 0$，即所有的特征值非负
• 这和$A_{ij}\ge 0$不同

我们称$A$是正定矩阵，如果对所有$x\ne 0$，我们有$x^{T}Ax>0$

• 表示为$A>0$
• $A>0$当且仅当${\lambda }_{min}(A)>0$

矩阵不等式

• 我们称$A$是半负定，如果$-A\ge 0$
• 我们称$A$是负定，如果$-A>0$
• 否则，我们称$A$不定

矩阵不等式：如果$B=B^T\in {\mathbb{R}}^n$，我们称$A\ge B$，如果$A-B\ge 0$；$A0$，以此类推

例如：

• $A\ge 0$意味着$A$是正定矩阵
• $A>B$意味着对所有$x\ne 0$，$x^{T}Ax>x^{T}Bx$

常用的性质：

• $A\ge B,C\ge D\Rightarrow A+C\ge B+D$
• $B\le 0\Rightarrow A+B\le A$
• $A\ge 0,\alpha \ge 0,\alpha A\ge 0$
• $A^2\ge 0$
• $A>0\Rightarrow A^{-1}>0$

矩阵不等式只是半序，即可能有

$$A\ngeqq B,B\ngeqq A$$

椭球

如果$A=A^T>0$，集合

$$\mathcal{E}=\{x|x^{T}Ax\le 1\}$$

是${\mathbb{R}}^n$中的椭球，中心为原点，图像如下：

半轴由$s_i={\lambda }_i^{-1/2}{q}_i$给出，即：

• 特征向量决定半轴的方向
• 特征值决定半轴的长度

注意到：

• 在方向$q_1$，$x^{T}Ax$很大，因此在$q_1$方向椭圆很瘦
• 在方向$q_n$，$x^{T}Ax$很小，因此在$q_n$方向椭圆很胖
• $\sqrt{{\lambda }_{max}/{\lambda }_{min}}$给出最大偏心率

给定$B>0,\tilde{\mathcal{E}}=\{x|x^{T}Bx\le 1\}$，那么

$$\mathcal{E}\subseteq \tilde{\mathcal{E}}⟺A\ge B$$

矩阵在方向上的增益

假设$A\in {\mathbb{R}}^{m\times n}$（不需要是方阵或对称）

对于$x\in {\mathbb{R}}^n$，$|Ax|/|x|$给出了$A$在方向$x$的放大因子

显然，随着输入$x$的变换，增益会变化

于是产生如下问题：

• $A$的最大增益是多少（以及对应的方向）？
• $A$的最小增益是多少（以及对应的方向）？
• $A$的增益随着方向的变换如何改变？

矩阵范数

最大收益

$$\underset{x\ne 0}{max}\frac{\Vert Ax\Vert }{\Vert x\Vert }$$

被称为$A$的矩阵范数或谱范数，用$|A|$表示，由之前的结论可得

$$\underset{x\ne 0}{max}\frac{\Vert Ax{\Vert }^2}{\Vert x{\Vert }^2}=\underset{x\ne 0}{max}\frac{x^T{A}^{T}Ax}{\Vert x{\Vert }^2}={\lambda }_{max}\left(A^{T}A\right)$$

所以我们有

$$\Vert A\Vert =\sqrt{{\lambda }_{max}\left(A^{T}A\right)}$$

类似的，最小增益为

$$\underset{x\ne 0}{min}\Vert Ax\Vert /\Vert x\Vert =\sqrt{{\lambda }_{min}\left(A^{T}A\right)}$$

注意到

• $A^{T}A\in {\mathbb{R}}^{n\times n}$对称，并且$A^{T}A\ge 0$，所以${\lambda }_{min},{\lambda }_{max}\ge 0$
• 最大收益方向为$x=q_1$，$A^{T}A$和${\lambda }_{max}$对应的特征项向量
• 最小收益方向为$x=q_n$，$A^{T}A$和${\lambda }_{min}$对应的特征项向量

矩阵范数的性质

• 和向量范数兼容：$a\in {\mathbb{R}}^{n\times 1}$的矩阵范数为

  $$\sqrt{{\lambda }_{max}\left(a^{T}a\right)}=\sqrt{a^{T}a}$$

• 对任意$x$，$|Ax|\le |A||x|$

• 缩放：$|aA|=|a||A|$

• 三角不等式：$|A+B|\le |A|+|B|$

• definiteness：$|A|=0\iff A=0$

• 范数的乘积：$|AB|\le |A||B|$