EE263 Lecture 3 Linear algebra review

课程主页：https://see.stanford.edu/Course/EE263

这次回顾第三讲，这一讲继续复习线性代数。

线性化

如果$f:\mathbb R^n \to \mathbb R^m$在$x_0\in \mathbb R^n$可微，那么

$$x \text { near } x_{0} \Longrightarrow f(x) \text { very near } f\left(x_{0}\right)+D f\left(x_{0}\right)\left(x-x_{0}\right)$$

其中

$$D f\left(x_{0}\right)_{i j}=\left.\frac{\partial f_{i}}{\partial x_{j}}\right|_{x_{0}}$$

是导数（雅克比）矩阵。

如果定义$y=f(x), y_{0}=f\left(x_{0}\right), \delta x:=x-x_0,\delta y:=y-y_0$，那么上述近似可以写为

$$\delta y \approx D f\left(x_{0}\right) \delta x$$

通过范围测量导航

来看一个线性化的具体应用，背景是GPS：

• $(x,y)​$是平面中的未知坐标。

• $(p_i,q_i)$是已知的信标坐标。（$i=1,2,3,4$）

• $\rho_i$测量（已知）$(x,y)​$到信标的距离。

• $\rho \in \mathbb R^4$是关于$(x,y)\in \mathbb R^2​$的非线性函数：

  $$\rho_{i}(x, y)=\sqrt{\left(x-p_{i}\right)^{2}+\left(y-q_{i}\right)^{2}}$$

• 在$(x_0,y_0)$处线性化得到：$\delta \rho \approx A \left[ \begin{array}{l}{\delta x} \\ {\delta y}\end{array}\right]$，其中

  $$a_{i 1}=\frac{\left(x_{0}-p_{i}\right)}{\sqrt{\left(x_{0}-p_{i}\right)^{2}+\left(y_{0}- q_{i}\right)^{2}}}, \quad a_{i 2}=\frac{\left(y_{0}-q_{i}\right)}{\sqrt{\left(x_{0}-p_{i}\right)^{2}+\left(y_{0}-q_{i}\right)^{2}}}$$

线性模型的应用

这一部分介绍线性模型的以下几个应用：

1. 估计或反演。
2. 控制或设计。
3. 映射或转换。

估计或反演

$$y=Ax$$

基本含义如下：

• $y_i$是第$i$个测量或传感器读数（已知）。
• $x_j$是第$j$个需要估计或决定的参数。
• $a_{ij}$是第$i$个传感器对第$j$个参数的敏感程度。

一些常见的问题：

• 给定$y$，找到$x$。
• 找到所有产生$y$的$x$。
• 如果不存在$x$使得$y=Ax$，那么找到$x$使得$y\approx Ax$。

控制或设计

$$y=Ax$$

基本含义如下：

• $x$是设计参数或输入的矢量（我们可以选择）。
• $y​$是结果向量。
• $A​$描述输入如何影响输出。

一些常见的问题：

• 找到$x​$，使得$y=y_{\text{des}}​$。
• 找到所有满足$y=y_{\text{des}}$的$x$。
• 在所有满足$y=y_{\text{des}}$的$x$中找到“最小”的一个。

映射或转换

$$y=Ax$$

基本含义如下：

• $x$通过线性函数$y=Ax$映射或转换为$y$。

一些常见的问题：

• 给定$y$，判断是否存在$x$映射到$y$。
• （如果可能）找到一个映射到$y$的$x$。
• 找到所有映射到$y$的$x$。
• 如果只存在一个$x$映射到$y$，找到它。

矩阵乘法作为列的组合

将矩阵$A\in \mathbb R^{m\times n}$写成列的形式：

$$A=\left[ \begin{array}{llll}{a_{1}} & {a_{2}} & {\cdots} & {a_{n}}\end{array}\right]$$

其中$a_j \in \mathbb R^m​$。

那么$y=Ax$可以写成

$$y=x_{1} a_{1}+x_{2} a_{2}+\cdots+x_{n} a_{n}$$

($x_j$是标量，$a_j$是$m$维向量。）

• $y$是$A$的列的线性组合。
• $x$的分量给出组合系数。

一个重要的例子为$x=e_j$，其中$e_j$为第$j$个单位向量：

$$e_{1}=\left[ \begin{array}{c}{1} \\ {0} \\ {\vdots} \\ {0}\end{array}\right], \quad e_{2}=\left[ \begin{array}{c}{0} \\ {1} \\ {\vdots} \\ {0}\end{array}\right], \quad \ldots \quad e_{n}=\left[ \begin{array}{c}{0} \\ {0} \\ {\vdots} \\ {1}\end{array}\right]$$

那么$Ae_j =a_j$，即$A$的第$j$列。

矩阵乘法作为行的内积

将$A$写成行的形式：

$$A=\left[ \begin{array}{c}{\tilde{a}_{1}^{T}} \\ {\tilde{a}_{2}^{T}} \\ {\vdots} \\ {\tilde{a}_{m}^{T}}\end{array}\right]$$

其中$\tilde a_i \in \mathbb R^n​$。

那么$y=Ax$可以写成

$$y=\left[ \begin{array}{c}{\tilde{a}_{1}^{T} x} \\ {\tilde{a}_{2}^{T} x} \\ {\vdots} \\ {\tilde{a}_{m}^{T} x}\end{array}\right]$$

因此$y_{i}=\left\langle\tilde{a}_{i}, x\right\rangle$，即$y_i$是$A$的第$i$行和$x$的内积。

分块表示

$y=Ax$可以用信号流图或方框图表示。

例如$m=n=2​$时，我们表示

$$\left[ \begin{array}{l}{y_{1}} \\ {y_{2}}\end{array}\right]=\left[ \begin{array}{ll}{a_{11}} & {a_{12}} \\ {a_{21}} & {a_{22}}\end{array}\right] \left[ \begin{array}{l}{x_{1}} \\ {x_{2}}\end{array}\right]$$

为

• $a_{ij}$是从第$j$个输入到第$i$个输出的路径上的增益。
• （通过不绘制零增益的路径）显示$A$的稀疏结构。（例如，对角阵，分块上三角矩阵）

考虑另一个例子，分块上三角阵：

$$A=\left[ \begin{array}{cc}{A_{11}} & {A_{12}} \\ {0} & {A_{22}}\end{array}\right]$$

其中$A_{11} \in \mathbb{R}^{m_{1} \times n_{1}}, A_{12} \in \mathbb{R}^{m_{1} \times n_{2}}, A_{21} \in \mathbb{R}^{m_{2} \times n_{1}}, A_{22} \in \mathbb{R}^{m_{2} \times n_{2}}$。

$x,y$的形式如下：

$$x=\left[ \begin{array}{l}{x_{1}} \\ {x_{2}}\end{array}\right], \quad y=\left[ \begin{array}{l}{y_{1}} \\ {y_{2}}\end{array}\right]$$

（$x_{1} \in \mathbb{R}^{n_{1}}, x_{2} \in \mathbb{R}^{n_{2}}, y_{1} \in \mathbb{R}^{m_{1}}, y_{2} \in \mathbb{R}^{m_{2}}$），那么

$$y_{1}=A_{11} x_{1}+A_{12} x_{2}, \quad y_{2}=A_{22} x_{2}$$

即$y_2$不依赖于$x_1$。

分块图表示：

即没有从$x_1$到$y_2$的路径。

矩阵乘法作为组合

对于$A \in \mathbb{R}^{m \times n},B \in \mathbb{R}^{n \times p},C=AB \in \mathbb{R}^{m \times p}​$，其中

$$c_{i j}=\sum_{k=1}^{n} a_{i k} b_{k j}$$

可以给出组合解释：$y=Cz$可以表示为$y=Ax,x=Bz$的组合：

行和列的解释

可以将$C=AB$写为

$$C=\left[c_{1} \cdots c_{p}\right]=A B=\left[A b_{1} \cdots A b_{p}\right]$$

即$C​$的第$i​$列为$A​$作用在$B​$的第$i​$列的结果。

类似的可以写成：

$$C=\left[ \begin{array}{c}{\tilde{c}_{1}^{T}} \\ {\vdots} \\ {\tilde{c}_{m}^{T}}\end{array}\right]=A B=\left[ \begin{array}{c}{\tilde{a}_{1}^{T} B} \\ {\vdots} \\ {\tilde{a}_{m}^{T} B}\end{array}\right]$$

即$C$的第$i$行为$A$的第$i$行作用在$B$上的结果。

内积解释

对于$C=AB$，不难看出我们有

$$c_{i j}=\tilde{a}_{i}^{T} b_{j}=\left\langle\tilde{a}_{i}, b_{j}\right\rangle$$

即$C​$由$A​$的行向量和$B​$的列向量的内积构成。

• $c_{ij}=0$意味着$A$的第$i$行和$B$的第$j$列正交。
• $f_{1}, \dots, f_{n}$的Gram矩阵定义为$G_{ij}=f_i^Tf_j$。
• $G=\left[f_{1} \cdots f_{n}\right]^{T}\left[f_{1} \cdots f_{n}\right]$。

通过路径解释矩阵乘法

通过上图可以看出：

• $a_{ik}b_{kj}$是从输入$j$到输出$i$，经过$k$的增益。
• $c_{ij}​$是从输入$j​$到输出$i​$的所有路径的增益之和。

Lecture 3 线性代数复习

向量空间

基本定义这里从略，考虑如下向量空间的例子：

• $\mathcal V_1=\mathbb R^n$

• $\mathcal V_2 = \{0\}, 0\in \mathbb R^n$

• $\mathcal V_3 =\text{span}(v_1,v_2,\ldots, v_k)$，其中

  $$\operatorname{span}\left(v_{1}, v_{2}, \ldots, v_{k}\right)=\left\{\alpha_{1} v_{1}+\cdots+\alpha_{k} v_{k} | \alpha_{i} \in \mathbb{R}\right\}$$

  以及$v_{1}, \dots, v_{k} \in \mathbb{R}^{n}$。

子空间

• 子空间是一个向量空间的子集，并且其本身也是向量空间。
• 之前的例子$\mathcal V_1, \mathcal V_2,\mathcal V_3​$是$\mathbb R^n​$的子集。

函数的向量空间

• $\mathcal{V}_{4}=\left\{x : \mathbb{R}_{+} \rightarrow \mathbb{R}^{n} | x \text { is differentiable }\right\}$，其中向量加法是函数加法：

  $$(x+z)(t)=x(t)+z(t)$$

  标量乘法定义为：

  $$(\alpha x)(t)=\alpha x(t)$$

  （$\mathcal V_4$中一个点是$\mathbb R^n$中轨迹。）

• $\mathcal{V}_{5}=\left\{x \in \mathcal{V}_{4} | \dot{x}=A x\right\}$（$\mathcal V_5$中的点是线性系统$\dot{x}=A x$的轨迹。）

• $\mathcal V_5$是$\mathcal V_4$的轨迹。

向量组的线性无关

一组向量$\left\{v_{1}, v_{2}, \ldots, v_{k}\right\}​$线性无关，当且仅当

$$\alpha_{1} v_{1}+\alpha_{2} v_{2}+\cdots+\alpha_{k} v_{k}=0 \Longrightarrow \alpha_{1}=\cdots=\alpha_{k}=0$$

还有一些等价条件：

• $\alpha_{1} v_{1}+\alpha_{2} v_{2}+\cdots+\alpha_{k} v_{k}$的系数唯一确定，即

  $$\alpha_{1} v_{1}+\alpha_{2} v_{2}+\cdots+\alpha_{k} v_{k}=\beta_{1} v_{1}+\beta_{2} v_{2}+\cdots+\beta_{k} v_{k}$$

  推出

  $$\alpha_{1}=\beta_{1}, \alpha_{2}=\beta_{2}, \ldots, \alpha_{k}=\beta_{k}$$

• 没有$v_i$可以表示为其他向量$v_{1}, \dots, v_{i-1}, v_{i+1}, \dots, v_{k}$的线性组合

基和维度

一组向量$\left\{v_{1}, v_{2}, \ldots, v_{k}\right\}$是向量空间$\mathcal V$的基，如果

• $\mathcal{V}=\operatorname{span}\left(v_{1}, v_{2}, \ldots, v_{k}\right)$
• $\left\{v_{1}, v_{2}, \ldots, v_{k}\right\}$线性无关

等价的，每个$v\in \mathcal V$可以唯一的表示为

$$v=\alpha_{1} v_{1}+\cdots+\alpha_{k} v_{k}$$

事实上，给定向量空间$\mathcal V$，其任意基的向量个数相同，任意基中向量的个数称为$\mathcal V$的维数，表示为$\operatorname{dim} \mathcal{V}$。

（我们定义$\operatorname{dim}\{0\}=0$以及$\operatorname{dim} \mathcal{V}=\infty$如果不存在基）