EE263 Lecture 16 Symmetric matrices, quadratic forms, matrix norm and SVD

课程主页:https://see.stanford.edu/Course/EE263

这次回顾第十六讲,这一讲继续介绍了对称矩阵的一些性质。

二次型

如下形式的函数$f : \mathbb{R}^{n} \rightarrow \mathbb{R}$

被称为二次型。

在二次型中,我们可以假设$A=A^T$,因为

($\left(A+A^{T}\right) / 2$被称为$A$的对称部分)

唯一性:如果对任意$x \in \mathbb{R}^{n}$,$x^{T} A x=x^{T} B x$,并且$A=A^{T}, B=B^{T}$,那么$A=B$

证明:取$x=e_i$可得

取$x=e_i +e_j$得到

例子

  • $|B x|^{2}=x^{T} B^{T} B x$
  • $\sum_{i=1}^{n-1}\left(x_{i+1}-x_{i}\right)^{2}$
  • $|F x|^{2}-|G x|^{2}$

二次型定义的集合:

  • $\{x | f(x)=a\}$被称为二次曲面
  • $\{x | f(x) \leq a\}$被称为二次区域

二次型的不等式

假设$A=A^{T}, A=Q \Lambda Q^{T}$,并且特征值满足$\lambda_{1} \geq \cdots \geq \lambda_{n}$,那么

即,我们有

同理可得$x^{T} A x \geq \lambda_{n}|x|^{2}$,所以我们有

有时$\lambda_1$被称为$\lambda_{\max}$,$\lambda_n $被称为$\lambda_{\min }$

注意到

所以不等式是紧的。

正定型和半正定型

假设$A=A^{T} \in \mathbb{R}^{n \times n}$

我们称$A$为半正定矩阵,如果对所有$x$,我们有$x^TAx\ge 0$

  • 表示为$A\ge 0$(有时表示为$A \succeq 0$)
  • $A\ge 0$当且仅当$\lambda_{\min }(A) \ge 0$,即所有的特征值非负
  • 这和$A_{ij}\ge 0$不同

我们称$A$是正定矩阵,如果对所有$x\neq 0$,我们有$x^TAx> 0$

  • 表示为$A> 0$
  • $A> 0$当且仅当$\lambda_{\min }(A) > 0$

矩阵不等式

  • 我们称$A$是半负定,如果$-A\ge 0$
  • 我们称$A$是负定,如果$-A>0$
  • 否则,我们称$A$不定

矩阵不等式:如果$B=B^{T} \in \mathbb{R}^{n}$,我们称$A\ge B$,如果$A-B\ge 0$;$A0$,以此类推

例如:

  • $A\ge 0$意味着$A$是正定矩阵
  • $A>B$意味着对所有$x\neq 0 $,$x^{T} A x>x^{T} B x$

常用的性质:

  • $A\ge B,C\ge D \Rightarrow A+C\ge B+D$
  • $B\le 0 \Rightarrow A+B \leq A$
  • $A\ge 0, \alpha \ge 0, \alpha A\ge 0$
  • $A^2\ge 0$
  • $A>0\Rightarrow A^{-1} >0$

矩阵不等式只是半序,即可能有

椭球

如果$A=A^{T}>0$,集合

是$\mathbb R^n$中的椭球,中心为原点,图像如下:

半轴由$s_{i}=\lambda_{i}^{-1 / 2} q_{i}$给出,即:

  • 特征向量决定半轴的方向
  • 特征值决定半轴的长度

注意到:

  • 在方向$q_1$,$x^TAx $很大,因此在$q_1$方向椭圆很瘦
  • 在方向$q_n$,$x^TAx $很小,因此在$q_n $方向椭圆很胖
  • $\sqrt{\lambda_{\max } / \lambda_{\min }}$给出最大偏心率

给定$B>0,\tilde{\mathcal{E}}=\left\{x | x^{T} B x \leq 1\right\}$,那么

矩阵在方向上的增益

假设$A \in \mathbb{R}^{m \times n}$(不需要是方阵或对称)

对于$x\in \mathbb R^n$,$|A x| /|x|$给出了$A$在方向$x$的放大因子

显然,随着输入$x$的变换,增益会变化

于是产生如下问题:

  • $A$的最大增益是多少(以及对应的方向)?
  • $A$的最小增益是多少(以及对应的方向)?
  • $A$的增益随着方向的变换如何改变?

矩阵范数

最大收益

被称为$A$的矩阵范数或谱范数,用$|A|$表示,由之前的结论可得

所以我们有

类似的,最小增益为

注意到

  • $A^{T} A \in \mathbb{R}^{n \times n}$对称,并且$A^TA\ge 0$,所以$\lambda_{\min }, \lambda_{\max } \geq 0$
  • 最大收益方向为$x=q_1$,$A^TA$和$\lambda_{\max}$对应的特征项向量
  • 最小收益方向为$x=q_n$,$A^TA$和$\lambda_{\min }$对应的特征项向量

矩阵范数的性质

  • 和向量范数兼容:$a \in \mathbb{R}^{n \times 1}$的矩阵范数为

  • 对任意$x$,$|A x| \leq|A||x|$

  • 缩放:$|a A|=|a||A|$

  • 三角不等式:$|A+B| \leq|A|+|B|$

  • definiteness:$|A|=0 \quad \Leftrightarrow \quad A=0$

  • 范数的乘积:$|A B| \leq|A||B|$

本文标题:EE263 Lecture 16 Symmetric matrices, quadratic forms, matrix norm and SVD

文章作者:Doraemonzzz

发布时间:2019年07月03日 - 17:08:00

最后更新:2019年07月03日 - 18:05:25

原始链接:http://doraemonzzz.com/2019/07/03/EE263 Lecture 16 Symmetric-matrices-quadratic-forms-matrix/

许可协议: 署名-非商业性使用-禁止演绎 4.0 国际 转载请保留原文链接及作者。