18.065 Lecture 5

课程主页：https://ocw.mit.edu/courses/mathematics/18-065-matrix-methods-in-data-analysis-signal-processing-and-machine-learning-spring-2018/index.htm

这一讲的主题是Positive Definite and Semidefinite Matrices。

对称正定矩阵$S$

对称正定矩阵有如下几个等价判别条件：

所有的特征值$\lambda_i >0$
能量$x^T Sx >0, \forall x\neq 0$
$S=A^TA$，其中$A$的列线性无关
主子式的行列式都大于$0$
高斯消元法的主元都大于$0$

例1

$S_1=\left[ \begin{matrix} 3 & 4 \\ 4 & 6 \\ \end{matrix} \right], S_2 =\left[ \begin{matrix} -3 & 4 \\ 4 & -6 \\ \end{matrix} \right]$

对于$S_1$，因为一阶主子式为$3 >0$，二阶主子式为$3\times 6- 4\times 4=2 >0$，所以由判别条件4可得$S_1$为正定矩阵；或者考虑判别条件2：

$\begin{aligned} \left[ \begin{matrix} x\\ y \end{matrix} \right]\left[ \begin{matrix} 3 & 4 \\ 4 & 6 \\ \end{matrix} \right]\left[ \begin{matrix} x & y \end{matrix} \right] &= 3 x^2 + 8xy+6y^2\\ &= 3\left(x+\frac 4 3y \right)^2 + \frac 2 3 y^2\\ &\ge 0 \end{aligned}$

等号成立当且仅当

$x=y=0$

所以由判别条件2可得$S_1$正定。

对于$S_2$，因为一阶主子式$-3<0$，所以不满足条件4，即$S_2$不是正定矩阵。

例2

考虑如下几个命题：

如果$S,T$是正定矩阵，那么$S+T$也是正定矩阵
如果$S$是正定矩阵，那么$S^{-1}$也是正定矩阵
如果$S$是正定矩阵，那么任取正交矩阵$Q$，$Q^TSQ$也是正定矩阵

命题1的证明：

$\forall x\neq 0 $，我们有

$x^T(S+T)x = x^TSx +x^TTx >0$

所以由判别条件2可得$S+T$也是正定矩阵。

命题2的证明：

如果$S$的特征值是$\lambda_i >0$，那么$S^{-1}$的特征是$\frac 1 {\lambda_i}>0$，所以由判别条件1可得$S^{-1}$也是正定矩阵。

命题3的证明：

由$Q$为正交矩阵可得

$Q^TSQ=Q^{-1}SQ$

所以$Q^TSQ$和$S$相似，即特征值相同，因此由判别条件1可得$Q^TS Q$也正定矩阵。

对称半正定矩阵

对称正定矩阵有如下几个等价判别条件：

所有的特征值$\lambda_i \ge 0 $
能量$x^T Sx \ge 0 , \forall x\neq 0$
$S=A^TA$
主子式的行列式都大于等于$0$
高斯消元法的主元都大于等于$0$

例3

$S=\left[ \begin{matrix} 3 & 4 \\ 4 & \frac{16}3 \\ \end{matrix} \right]$

注意

$\det S=0$

所以$S$的一个特征值为$0$；又因为特征值之和等于矩阵的迹，因此另一个特征值为$3+\frac {16}3 =8\frac 1 3$。由判别条件1可得该矩阵为半正定矩阵。

例4

$S=\left[ \begin{matrix} 1 & 1 & 1 \\ 1 & 1 & 1 \\ 1 & 1 & 1 \end{matrix} \right]$

因为该矩阵的秩为$1$，所以有两个零特征值；又因为特征值之和等于矩阵的迹，因此另一个特征值为$3$。由判别条件1可得该矩阵为半正定矩阵。

另一方面，显然有

$S=\left[ \begin{matrix} 1 & 1 & 1 \\ 1 & 1 & 1 \\ 1 & 1 & 1 \end{matrix} \right] =\left[ \begin{matrix} 1 \\ 1 \\ 1 \end{matrix} \right]\left[ \begin{matrix} 1 & 1 & 1 \end{matrix} \right]$

所以由判别条件3可得该矩阵为半正定矩阵。

习题

3

(a)

$S=\left[ \begin{array}{ll}{1} & {b} \\ {b} & {9}\end{array}\right]$

利用主子式的判别条件即可：

$9-b^2 >0 \Rightarrow b\in (-3, 3)$

(b)

$S=\left[ \begin{array}{ll}{2} & {4} \\ {4} & {c}\end{array}\right]$

利用主子式的判别条件即可：

$2c-16>0 \Rightarrow c>8$

(c)

$S=\left[ \begin{array}{ll}{c} & {b} \\ {b} & {c}\end{array}\right]$

利用主子式的判别条件即可：

$\begin{aligned} c& > 0 \\ c^2 -b^2 & >0\Rightarrow |b| <c \end{aligned}$

14

对比后不难发现：

$\begin{aligned} S&=4 \left[ \begin{matrix} 1 \\ -1\\ 2 \end{matrix} \right] \left[ \begin{matrix} 1 & -1 & 2 \end{matrix} \right] \\ &=4 \left[ \begin{matrix} 1 & -1 & 2 \\ -1& 1 & -2\\ 2 & -2 & 4 \end{matrix} \right]\\ &=\left[ \begin{matrix} 4 & -4 & 8 \\ -4& 4 & -8\\ 8 & -8 & 16 \end{matrix} \right] \end{aligned}$

显然

$\text{rank}(S)=1$

因此有两个特征值为$0$，第三个特征值为$24$，并且

$\det(S)=0$

最后计算主元，利用消元法得到

$\begin{aligned} d_1&= 4\\ d_2&=0\\ d_3&=0 \end{aligned}$

15

记第$i$个主子式为$D_i$，那么

$\begin{aligned} D_1 & = 2\\ D_2 &=2\times 5-2\times 2\\ &=6\\ D_3&=2\times 3\times 5\\ &=30 \end{aligned}$

所以

$\begin{aligned} \frac{D_2}{D_1}& =3\\ \frac{D_3}{D_2}& =5 \end{aligned}$

另一方面，做初等行变化可得

$\left[ \begin{array}{lll}{2} & {2} & {0} \\ {2} & {5} & {3} \\ {0} & {3} & {8}\end{array}\right] \to \left[ \begin{array}{lll} {2} & {2} & {0} \\ 0 &3 & 3 \\ {0} & {3} & {8}\end{array}\right] \to \left[ \begin{array}{lll} {2} & {2} & {0} \\ 0 &3 & 3 \\ {0} &0 & 5\end{array}\right]$

所以题目中的结论成立。