EE263 Lecture 9 Autonomous linear dynamical systems
课程主页：https://see.stanford.edu/Course/EE263
这次回顾第九讲，这一讲结束了欠定方程，介绍了线性自治动力系统。
首先回顾之前的问题。
考虑
其中$A\in \mathbb R^{m\times n}$是胖矩阵（$m<n$），即
- 未知数的数量多于方程数量
- $x$是未指定的，即，许多$x$的选择导致相同的$y$
我们假设$A$满秩（秩为$m$）。
最小范数解
考虑如下优化问题：
该问题的解为
下面验证这点。（注意因为$A$行满秩，所以$AA^T$可逆）
假设$Ax=y$，所以$A\left(x-x_{ \text{ln}}\right)=0$，以及
即$\left(x-x_{\text{ln}}\right) \perp x_{\text{ln}}$，所以
即$x_{\text{ln}}$是范数最小的解。
考虑其几何意义：
$x_{\text{ln}}$有如下性质：
- 正交条件：$x_{\ln } \perp \mathcal{N}(A)$
- 投影解释：$x_{\text{ln}} $是$0$在解集$\{x | A x=y\}$上的投影
接着考虑如下性质：
- $A^{\dagger}=A^{T}\left(A A^{T}\right)^{-1}$被称为满秩，胖矩阵$A$的伪逆
- $A^{T}\left(A A^{T}\right)^{-1}$是$A$的右逆
- $I-A^{T}\left(A A^{T}\right)^{-1} A$给出到$\mathcal N(A)$的投影矩阵
对比满秩，瘦矩阵$A$：
- $A^{\dagger}=\left(A^{T} A\right)^{-1} A^{T}$
- $\left(A^{T} A\right)^{-1} A^{T}$是$A$的左逆
- $A\left(A^{T} A\right)^{-1} A^{T}$给出到$\mathcal R(A)$的投影
通过$QR$分解求解最小范数解
找到$A^T$的$QR$分解，即，$A^T=QR$，并且
- $Q \in \mathbb{R}^{n \times m}, Q^{T} Q=I_{m}$
- $R \in \mathbb{R}^{m \times m}$是上三角，非奇异矩阵
那么
- $x_{\ln }=A^{T}\left(A A^{T}\right)^{-1} y=Q R^{-T} y$
- $\left|x_{\ln }\right|=\left|R^{-T} y\right|$
通过拉格朗日乘子推导最小范数解
我们的优化问题如下
引入拉格朗日乘子：
最优条件为
由第一个条件，$x=-A^{T} \lambda / 2$
带入第二个条件得到$\lambda=-2\left(A A^{T}\right)^{-1} y$
因此$x=A^{T}\left(A A^{T}\right)^{-1} y$
和正规化最小二乘的关系
假设$A \in \mathbb{R}^{m \times n}$是满秩，胖矩阵
定义$J_{1}=|A x-y|^{2}, J_{2}=|x|^{2}$
最小范数解在$J_1 =0$的条件下最小化$J_2$
最小化加权目标函数$J_{1}+\mu J_{2}=|A x-y|^{2}+\mu|x|^{2}$的解为
当$\mu \to 0$时，$x_{\mu} \rightarrow x_{\ln }$，即正规化的解收敛于最小范数解
矩阵形式为，随着$\mu \to 0$，
（对于满秩，胖矩阵$A$）
这里说明下最后一个事实，利用$A^T$的$QR$分解：
所以
另一方面
所以结论成立。
带有等式约束的一般范数最小化问题
考虑变量为$x$的如下问题
上述问题包含了最小二乘问题和最小范数问题
上述问题等价于
拉格朗日乘子为
最优条件为
写成分块矩阵形式为
如果分块矩阵可逆，那么我们有
如果$A^TA$可逆，我们可以推导一个显式解：
从第一个分块，我们得到
代入$Cx=d$得到
所以
求解$x$得到
Lecture 9 线性自治动力系统
线性自治动力系统
连续时间的自治LDS有如下形式
- $x(t) \in \mathbb{R}^{n}$被称为状态
- $n$为状态维度或状态数量
- $A$为动力矩阵
利用上述等式可以画出向量场，来看两个例子：
框图
$\dot{x}=A x$的框图如下：
- $1/s$代表$n$个并行的积分器
如果$A$有特殊结构，例如分块上三角形式：
那么框图如下
这里$x_1$不影响$x_2$。
线性电路
电路方程如下：
这里的状态为
所以系统为