EE263 Lecture 9 Autonomous linear dynamical systems

课程主页:https://see.stanford.edu/Course/EE263

这次回顾第九讲,这一讲结束了欠定方程,介绍了线性自治动力系统。

首先回顾之前的问题。

考虑

其中$A\in \mathbb R^{m\times n}$是胖矩阵($m<n$),即

  • 未知数的数量多于方程数量
  • $x$是未指定的,即,许多$x$的选择导致相同的$y$

我们假设$A$满秩(秩为$m$)。

最小范数解

考虑如下优化问题:

该问题的解为

下面验证这点。(注意因为$A$行满秩,所以$AA^T$可逆)

假设$Ax=y$,所以$A\left(x-x_{ \text{ln}}\right)=0$,以及

即$\left(x-x_{\text{ln}}\right) \perp x_{\text{ln}}$,所以

即$x_{\text{ln}}$是范数最小的解。

考虑其几何意义:

$x_{\text{ln}}$有如下性质:

  • 正交条件:$x_{\ln } \perp \mathcal{N}(A)$
  • 投影解释:$x_{\text{ln}} $是$0$在解集$\{x | A x=y\}$上的投影

接着考虑如下性质:

  • $A^{\dagger}=A^{T}\left(A A^{T}\right)^{-1}​$被称为满秩,胖矩阵$A​$的伪逆
  • $A^{T}\left(A A^{T}\right)^{-1}$是$A$的右逆
  • $I-A^{T}\left(A A^{T}\right)^{-1} A​$给出到$\mathcal N(A)​$的投影矩阵

对比满秩,瘦矩阵$A$:

  • $A^{\dagger}=\left(A^{T} A\right)^{-1} A^{T}$
  • $\left(A^{T} A\right)^{-1} A^{T}$是$A$的左逆
  • $A\left(A^{T} A\right)^{-1} A^{T}$给出到$\mathcal R(A)$的投影

通过$QR$分解求解最小范数解

找到$A^T​$的$QR​$分解,即,$A^T=QR​$,并且

  • $Q \in \mathbb{R}^{n \times m}, Q^{T} Q=I_{m}​$
  • $R \in \mathbb{R}^{m \times m}$是上三角,非奇异矩阵

那么

  • $x_{\ln }=A^{T}\left(A A^{T}\right)^{-1} y=Q R^{-T} y$
  • $\left|x_{\ln }\right|=\left|R^{-T} y\right|$

通过拉格朗日乘子推导最小范数解

  • 我们的优化问题如下

  • 引入拉格朗日乘子:

  • 最优条件为

  • 由第一个条件,$x=-A^{T} \lambda / 2$

  • 带入第二个条件得到$\lambda=-2\left(A A^{T}\right)^{-1} y$

  • 因此$x=A^{T}\left(A A^{T}\right)^{-1} y$

和正规化最小二乘的关系

  • 假设$A \in \mathbb{R}^{m \times n}$是满秩,胖矩阵

  • 定义$J_{1}=|A x-y|^{2}, J_{2}=|x|^{2}$

  • 最小范数解在$J_1 =0$的条件下最小化$J_2$

  • 最小化加权目标函数$J_{1}+\mu J_{2}=|A x-y|^{2}+\mu|x|^{2}$的解为

  • 当$\mu \to 0$时,$x_{\mu} \rightarrow x_{\ln }$,即正规化的解收敛于最小范数解

  • 矩阵形式为,随着$\mu \to 0$,

    (对于满秩,胖矩阵$A​$)

这里说明下最后一个事实,利用$A^T$的$QR​$分解:

所以

另一方面

所以结论成立。

带有等式约束的一般范数最小化问题

考虑变量为$x$的如下问题

  • 上述问题包含了最小二乘问题和最小范数问题

  • 上述问题等价于

  • 拉格朗日乘子为

  • 最优条件为

  • 写成分块矩阵形式为

  • 如果分块矩阵可逆,那么我们有

如果$A^TA$可逆,我们可以推导一个显式解:

  • 从第一个分块,我们得到

  • 代入$Cx=d$得到

    所以

  • 求解$x$得到

Lecture 9 线性自治动力系统

线性自治动力系统

连续时间的自治LDS有如下形式

  • $x(t) \in \mathbb{R}^{n}$被称为状态
  • $n$为状态维度或状态数量
  • $A​$为动力矩阵

利用上述等式可以画出向量场,来看两个例子:

框图

$\dot{x}=A x$的框图如下:

  • $1/s$代表$n​$个并行的积分器

如果$A$有特殊结构,例如分块上三角形式:

那么框图如下

这里$x_1$不影响$x_2$。

线性电路

电路方程如下:

这里的状态为

所以系统为

本文标题:EE263 Lecture 9 Autonomous linear dynamical systems

文章作者:Doraemonzzz

发布时间:2019年06月07日 - 09:24:00

最后更新:2019年06月07日 - 09:34:27

原始链接:http://doraemonzzz.com/2019/06/07/EE263 Lecture 9 Autonomous linear dynamical systems/

许可协议: 署名-非商业性使用-禁止演绎 4.0 国际 转载请保留原文链接及作者。