18.065 Lecture 3

课程主页：https://ocw.mit.edu/courses/mathematics/18-065-matrix-methods-in-data-analysis-signal-processing-and-machine-learning-spring-2018/index.htm

这一讲的主题是Orthonormal Columns in $Q$ Give $Q^TQ=I$。

正交

我们称向量组$Q= \left[
\begin{matrix}
q_1 &\ldots & q_n
\end{matrix}
\right] $正交，如果

$$Q^TQ=I$$

如果$Q$是方阵，那么同样有

$$QQ^T=I$$

这时候称$Q$是正交矩阵，上述等式的矩阵形式如下：

$$\left[ \begin{matrix} q_1^T\\ \vdots \\ q_n^T\\ \end{matrix} \right]\left[ \begin{matrix} q_1 &\ldots & q_n \end{matrix} \right] = \left[ \begin{matrix} 1 & & \\ & \ddots & \\ & & 1 \end{matrix} \right]$$

正交矩阵保范数不变：

$$\|Q x\|^{2}=(Q x)^{T}(Q x)=x^{T} Q^{T}Qx=x^{T} x=\|x\|^{2}$$

例 1 旋转矩阵和反射矩阵

二阶正交矩阵只有两种情形。

情形1：旋转矩阵

$$Q= \left[ \begin{array}{rr}{\cos \theta} & {-\sin \theta} \\ {\sin \theta} & {\cos \theta}\end{array}\right]$$

情形2：反射矩阵

$$Q=\left[ \begin{array}{cc}{\cos \theta} & {\sin \theta} \\ {\sin \theta} & {-\cos \theta}\end{array}\right]$$

图示如下：

例 2 Householder反射矩阵

取向量$u$满足：

$$u^Tu=1$$

然后令

$$H=I-2uu^T$$

那么

$$\begin{aligned} H^T &= H\\ H^TH& = HH \\ &=(I-2uu^T)(I-2uu^T)\\ &=I-4uu^T+4uu^Tuu^T\\ &=I-4uu^T + 4uu^T\\ &=I \end{aligned}$$

例 3 Hadamard矩阵

$n$阶Hadamard矩阵满足

$$H_nH_n^T=nI_n$$

来看几个具体情形：

$$\begin{aligned} H_{2}&=\left[ \begin{array}{cc}{1} & {1} \\ {1} & {-1}\end{array}\right] \\ H_{4}&=\left[ \begin{array}{cccc}{1} & {1} & {1} & {1} \\ {1} & {-1} & {1} & {-1} \\ {1} & {1} & {-1} & {-1} \\ {1} & {-1} & {-1} & {1}\end{array}\right]\\ &= \left[ \begin{array}{cc}{H_1} & {H_1} \\ {H_1} & {-H_1}\end{array}\right] \end{aligned}$$

例 4 Haar矩阵

Haar矩阵用于小波变换，具体形式如下：

$$\begin{aligned} W_4&=\left[ \begin{array}{cccc}{1} & {1} & {1} & {1} \\ {1} & {1} & {-1} & {-1} \\ {1} & {-1} & {0} & {0} \\ {0} & {0} & {1} & {-1}\end{array}\right]\\ W_8&=\left[ \begin{array}{cccccccc}{1} & {1} & {1} & {1} & {1} & {1} & {1} & {1} \\ {1} & {1} & {1} & {1} & {-1} & {-1} & {-1} & {-1} \\ {1} & {1} & {-1} & {-1} & {0} & {0} & {0} & {0} \\ {0} & {0} & {0} & {0} & {1} & {1} & {-1} & {-1} \\ {1} & {-1} & {0} & {0} & {0} & {0} & {0} & {0} \\ {0} & {0} & {1} & {-1} & {0} & {0} & {0} & {0} \\ {0} & {0} & {0} & {0} & {1} & {-1} & {0} & {0} \\ {0} & {0} & {0} & {0} & {0} & {0} & {1} & {-1}\end{array}\right] \end{aligned}$$

备注：这里的矩阵是老师介绍的转置。

例 5 置换矩阵

置换矩阵也是正交矩阵，考虑如下例子：

$$P=\left[ \begin{array}{llll}{0} & {1} & {0} & {0} \\ {0} & {0} & {1} & {0} \\ {0} & {0} & {0} & {1} \\ {1} & {0} & {0} & {0}\end{array}\right]$$

例 6 离散傅里叶矩阵

离散傅里叶变换矩阵是将离散傅里叶变换以矩阵乘法来表达的一种表示式，这里举一个具体例子：

$$F_4=\frac{1}{2} \left[ \begin{array}{cccc}{1} & {1} & {1} & {1} \\ {1} & {i} & {i^2} & {i^3} \\ {1} & {i^2} & {i^4} & {i^6} \\ {1} & {i^3} & {i^6} & {i^9}\end{array}\right]$$

习题

2

这实际上是两个向量的Gram-Schmidt操作

$$\begin{aligned} u^T w &= u^T\left(v-u\left(u^{\mathrm{T}} v\right)\right)\\ &= u^T v -u^T u \left(u^{\mathrm{T}} v\right)\\ &= u^T v- u^T v\\ &=0 \end{aligned}$$

4

$$(Qx)^T(Qy)=x^T Q^TQy =x^T y$$

6

因为$P$的列正交，所以

$$\begin{aligned} P^TP&=I_4\\ P^{-1}& =P^T \end{aligned}$$