EE263 Lecture 3 Linear algebra review

课程主页:https://see.stanford.edu/Course/EE263

这次回顾第三讲,这一讲继续复习线性代数。

线性化

如果$f:\mathbb R^n \to \mathbb R^m$在$x_0\in \mathbb R^n$可微,那么

其中

是导数(雅克比)矩阵。

如果定义$y=f(x), y_{0}=f\left(x_{0}\right), \delta x:=x-x_0,\delta y:=y-y_0$,那么上述近似可以写为

通过范围测量导航

来看一个线性化的具体应用,背景是GPS:

  • $(x,y)​$是平面中的未知坐标。

  • $(p_i,q_i)$是已知的信标坐标。($i=1,2,3,4$)

  • $\rho_i$测量(已知)$(x,y)​$到信标的距离。

  • $\rho \in \mathbb R^4$是关于$(x,y)\in \mathbb R^2​$的非线性函数:

  • 在$(x_0,y_0)$处线性化得到:$\delta \rho \approx A \left[ \begin{array}{l}{\delta x} \ {\delta y}\end{array}\right]$,其中

线性模型的应用

这一部分介绍线性模型的以下几个应用:

  1. 估计或反演。
  2. 控制或设计。
  3. 映射或转换。

估计或反演

基本含义如下:

  • $y_i$是第$i$个测量或传感器读数(已知)。
  • $x_j$是第$j$个需要估计或决定的参数。
  • $a_{ij}$是第$i$个传感器对第$j$个参数的敏感程度。

一些常见的问题:

  • 给定$y$,找到$x$。
  • 找到所有产生$y$的$x$。
  • 如果不存在$x$使得$y=Ax$,那么找到$x$使得$y\approx Ax$。

控制或设计

基本含义如下:

  • $x$是设计参数或输入的矢量(我们可以选择)。
  • $y​$是结果向量。
  • $A​$描述输入如何影响输出。

一些常见的问题:

  • 找到$x​$,使得$y=y_{\text{des}}​$。
  • 找到所有满足$y=y_{\text{des}}$的$x$。
  • 在所有满足$y=y_{\text{des}}$的$x$中找到“最小”的一个。

映射或转换

基本含义如下:

  • $x$通过线性函数$y=Ax$映射或转换为$y$。

一些常见的问题:

  • 给定$y$,判断是否存在$x$映射到$y$。
  • (如果可能)找到一个映射到$y$的$x$。
  • 找到所有映射到$y$的$x$。
  • 如果只存在一个$x$映射到$y$,找到它。

矩阵乘法作为列的组合

将矩阵$A\in \mathbb R^{m\times n}$写成列的形式:

其中$a_j \in \mathbb R^m​$。

那么$y=Ax$可以写成

($x_j$是标量,$a_j$是$m$维向量。)

  • $y$是$A$的列的线性组合。
  • $x$的分量给出组合系数。

一个重要的例子为$x=e_j$,其中$e_j$为第$j$个单位向量:

那么$Ae_j =a_j$,即$A$的第$j$列。

矩阵乘法作为行的内积

将$A$写成行的形式:

其中$\tilde a_i \in \mathbb R^n​$。

那么$y=Ax$可以写成

因此$y_{i}=\left\langle\tilde{a}_{i}, x\right\rangle$,即$y_i$是$A$的第$i$行和$x$的内积。

分块表示

$y=Ax$可以用信号流图或方框图表示。

例如$m=n=2​$时,我们表示

  • $a_{ij}$是从第$j$个输入到第$i$个输出的路径上的增益。
  • (通过不绘制零增益的路径)显示$A$的稀疏结构。(例如,对角阵,分块上三角矩阵)

考虑另一个例子,分块上三角阵:

其中$A_{11} \in \mathbb{R}^{m_{1} \times n_{1}}, A_{12} \in \mathbb{R}^{m_{1} \times n_{2}}, A_{21} \in \mathbb{R}^{m_{2} \times n_{1}}, A_{22} \in \mathbb{R}^{m_{2} \times n_{2}}$。

$x,y$的形式如下:

($x_{1} \in \mathbb{R}^{n_{1}}, x_{2} \in \mathbb{R}^{n_{2}}, y_{1} \in \mathbb{R}^{m_{1}}, y_{2} \in \mathbb{R}^{m_{2}}$),那么

即$y_2$不依赖于$x_1$。

分块图表示:

即没有从$x_1$到$y_2$的路径。

矩阵乘法作为组合

对于$A \in \mathbb{R}^{m \times n},B \in \mathbb{R}^{n \times p},C=AB \in \mathbb{R}^{m \times p}​$,其中

可以给出组合解释:$y=Cz$可以表示为$y=Ax,x=Bz$的组合:

行和列的解释

可以将$C=AB$写为

即$C​$的第$i​$列为$A​$作用在$B​$的第$i​$列的结果。

类似的可以写成:

即$C$的第$i$行为$A$的第$i$行作用在$B$上的结果。

内积解释

对于$C=AB$,不难看出我们有

即$C​$由$A​$的行向量和$B​$的列向量的内积构成。

  • $c_{ij}=0$意味着$A$的第$i$行和$B$的第$j$列正交。
  • $f_{1}, \dots, f_{n}$的Gram矩阵定义为$G_{ij}=f_i^Tf_j$。
  • $G=\left[f_{1} \cdots f_{n}\right]^{T}\left[f_{1} \cdots f_{n}\right]$。

通过路径解释矩阵乘法

通过上图可以看出:

  • $a_{ik}b_{kj}$是从输入$j$到输出$i$,经过$k$的增益。
  • $c_{ij}​$是从输入$j​$到输出$i​$的所有路径的增益之和。

Lecture 3 线性代数复习

向量空间

基本定义这里从略,考虑如下向量空间的例子:

  • $\mathcal V_1=\mathbb R^n$

  • $\mathcal V_2 = \{0\}, 0\in \mathbb R^n$

  • $\mathcal V_3 =\text{span}(v_1,v_2,\ldots, v_k)$,其中

    以及$v_{1}, \dots, v_{k} \in \mathbb{R}^{n}$。

子空间

  • 子空间是一个向量空间的子集,并且其本身也是向量空间。
  • 之前的例子$\mathcal V_1, \mathcal V_2,\mathcal V_3​$是$\mathbb R^n​$的子集。

函数的向量空间

  • $\mathcal{V}_{4}=\left\{x : \mathbb{R}_{+} \rightarrow \mathbb{R}^{n} | x \text { is differentiable }\right\}$,其中向量加法是函数加法:

    标量乘法定义为:

    ($\mathcal V_4$中一个点是$\mathbb R^n$中轨迹。)

  • $\mathcal{V}_{5}=\left\{x \in \mathcal{V}_{4} | \dot{x}=A x\right\}$($\mathcal V_5$中的点是线性系统$\dot{x}=A x$的轨迹。)

  • $\mathcal V_5$是$\mathcal V_4$的轨迹。

向量组的线性无关

一组向量$\left\{v_{1}, v_{2}, \ldots, v_{k}\right\}​$线性无关,当且仅当

还有一些等价条件:

  • $\alpha_{1} v_{1}+\alpha_{2} v_{2}+\cdots+\alpha_{k} v_{k}$的系数唯一确定,即

    推出

  • 没有$v_i$可以表示为其他向量$v_{1}, \dots, v_{i-1}, v_{i+1}, \dots, v_{k}$的线性组合

基和维度

一组向量$\left\{v_{1}, v_{2}, \ldots, v_{k}\right\}$是向量空间$\mathcal V$的基,如果

  • $\mathcal{V}=\operatorname{span}\left(v_{1}, v_{2}, \ldots, v_{k}\right)$
  • $\left\{v_{1}, v_{2}, \ldots, v_{k}\right\}$线性无关

等价的,每个$v\in \mathcal V$可以唯一的表示为

事实上,给定向量空间$\mathcal V$,其任意基的向量个数相同,任意基中向量的个数称为$\mathcal V$的维数,表示为$\operatorname{dim} \mathcal{V}$。

(我们定义$\operatorname{dim}\{0\}=0$以及$\operatorname{dim} \mathcal{V}=\infty$如果不存在基)

本文标题:EE263 Lecture 3 Linear algebra review

文章作者:Doraemonzzz

发布时间:2019年05月19日 - 19:48:00

最后更新:2019年05月19日 - 19:59:22

原始链接:http://doraemonzzz.com/2019/05/19/EE263 Lecture 3 Linear algebra review/

许可协议: 署名-非商业性使用-禁止演绎 4.0 国际 转载请保留原文链接及作者。