Doraemonzzz

课程主页：https://see.stanford.edu/Course/EE261 这次回顾第三讲，这一讲讨论傅里叶级数成立的条件。 周期非$1$的情形我们之前讨论的都是周期为$1$的情形，那么一般情形如何处理？如果$f(t)$周期为$T$，那么 g(t)=f(T t)周期为$1$。假设 g(t)=\sum_{n=-N}^{N} c_{n} e^{2 \pi i n t}或者不考虑收敛性，即 g(t)=\sum_{n=-\infty}^{\infty} c_{n} e^{2 \pi i n t}令$s=Tt$，那么$g(t)= f(s)$，因此 f(s)=g(t)=\sum_{n=-\infty}^{\infty} c_{n} e^{2 \pi i n t}=\sum_{n=-\infty}^{\infty} c_{n} e^{2 \pi i n s / T}所以现在的简谐波为$e^{2 \pi i n s / T}$。那么系数现在如何计算呢？注意到 \hat{g}(n)=\int_{0}^{1} e^{-2 \pi i n t} g(t) d t令$s=Tt$，积分变为 ...

课程主页：https://see.stanford.edu/Course/EE263 这次回顾第十讲，这一讲结束了线性自治动力系统部分的内容。 化学反应 化学反应涉及$n$种化学物质；$x_i$是化学物质$i$的浓度 反应动力学的线性模型为 \frac{d x_{i}}{d t}=a_{i 1} x_{1}+\cdots+a_{i n} x_{n} 上述模型是一些反应的良好模型； $A$通常很稀疏 来看一个具体例子，考虑$A \stackrel{k_{1}}{\longrightarrow} B \stackrel{k_{2}}{\longrightarrow} C$的反应，对应线性系统为 \dot{x}=\left[\begin{array}{ccc}{-k_{1}} & {0} & {0} \\ {k_{1}} & {-k_{2}} & {0} \\ {0} & {k_{2}} & {0}\end{array}\right] x对于$k_{1}=k_{2}=1$，初值$x(0)=(1,0,0)$，作图得到 注意到动力矩阵的每一列和为$0$，我们计算如下量： \beg ...

课程主页：https://see.stanford.edu/Course/EE263 这次回顾第九讲，这一讲结束了欠定方程，介绍了线性自治动力系统。 首先回顾之前的问题。 考虑 y=Ax其中$A\in \mathbb R^{m\times n}$是胖矩阵（$m<n$），即 未知数的数量多于方程数量 $x$是未指定的，即，许多$x$的选择导致相同的$y$ 我们假设$A$满秩（秩为$m$）。 最小范数解考虑如下优化问题： \begin{array}{ll}{\text { minimize }} & {\|x\|} \\ {\text { subject to }} & {A x=y}\end{array}该问题的解为 x_{\ln }=A^{T}\left(A A^{T}\right)^{-1} y下面验证这点。（注意因为$A$行满秩，所以$AA^T$可逆） 假设$Ax=y$，所以$A\left(x-x_{ \text{ln}}\right)=0$，以及 \begin{aligned} \left(x-x_{\ln }\right)^{T} x_{\ln } &=\l ...

课程主页：https://see.stanford.edu/Course/EE261 这次回顾Problem Set 1。 Problem 1(a)记 S=\sum_{n=p}^{q} w^{n}那么 wS=\sum_{n=p}^{q} w^{n+1}= \sum_{n=p+1}^{q+1} w^{n}相减得到 \begin{aligned} (1-w)S&= \sum_{n=p}^{q} w^{n}- \sum_{n=p+1}^{q+1} w^{n}=w^p-w^{q+1}\\ S&=\frac{w^{p}-w^{q+1} }{1-w} \end{aligned}接着讨论级数收敛的问题。 如果$p=-\infty,q< \infty​$，那么当$|w|>1​$时，级数收敛，并且 S=\frac{-w^{q+1} }{1-w}=\frac{w^{q+1} }{w-1}如果$q=\infty,p>-\infty​$，那么当$|w| <1​$时，级数收敛，并且 S=\frac{w^p}{1-w}如果$q=\infty,p= -\infty$，那么由之前讨 ...

课程主页：https://see.stanford.edu/Course/EE261 最近开始学习EE261——The Fourier Transform and its Applications，课程详细介绍了傅里叶变换及其应用。 这次回顾第一讲和第二讲，主要内容为傅里叶变换以及傅里叶序列。 内容回顾傅里叶变化的起源来自于周期性现象的研究，简单来说，周期性现象可以简单分为时间周期性以及空间周期性。 周期函数的定义我们称函数$f(t)$的周期为$T>0$，如果对所有$t$， f(t+T)=f(t)显然周期的整数倍仍然为周期，即 f(t+n T)=f(t), \quad n=0, \pm 1, \pm 2, \ldots为了讨论方便，假设函数的周期为$1$（很容易拓展到一般情形）。 傅里叶序列课程对于傅里叶分析的讨论是从傅里叶序列开始，首先考虑最简单的情形： \sum_{n=1}^{N} A_{n} \sin \left(2 \pi n t+\phi_{n}\right)显然这种情形不够一般化，增加常数项以及$\cos $项，得到： \frac{a_{0}}{2}+\su ...

这次回顾第二，第三讲，主要内容为条件概率，贝叶斯公式和独立性。 课程主页：https://ocw.mit.edu/resources/res-6-012-introduction-to-probability-spring-2018/index.htm edx版本：https://www.edx.org/course/probability-the-science-of-uncertainty-and-data-0 Part 1：课程回顾条件概率设事件$B$满足$\mathbf P(B)>0$，给定$B$之下，事件$A$的条件概率为 \mathrm{P}(A | B)=\frac{\mathrm{P}(A \cap B)}{\mathrm{P}(B)}条件概率满足普通概率的性质： $\mathbf{P}(A | B) \geq 0$ $\mathbf P(\Omega | B)=\frac{\mathbf P(\Omega \cap B)}{\mathbf P(B)}=\frac{\mathbf P(B)}{\mathbf P(B)}=1$ $\mathbf P(B | B ...

课程主页：https://see.stanford.edu/Course/EE263 这次回顾EE263作业4。 5.2(a) 因为 \begin{aligned} \langle u,v \rangle &=u^* v\\ &=(\Re u -i\Im u )^T(\Re v +i\Im v )\\ &=(\Re u)^T\Re v +(\Im u)^T\Im v +((\Re u)^T\Im v -(\Re v)^T\Im u)i\\ \langle\tilde{u}, \tilde{v}\rangle &=\left[ \begin{array}{l}{\Re u} \\ {\Im u}\end{array}\right]^T \left[ \begin{array}{l}{\Re v} \\ {\Im v}\end{array}\right]\\ &=(\Re u)^T\Re v+(\Im u)^T\Im v \end{aligned}所以 \langle\tilde{u}, \tilde{v}\rangle =\Re \langle u,v \rangle ...

课程主页：https://ocw.mit.edu/courses/mathematics/18-065-matrix-methods-in-data-analysis-signal-processing-and-machine-learning-spring-2018/index.htm 这一讲的主题是Singular Value Decomposition (SVD)。 基本概念和性质对于$A\in \mathbb R^{m\times n}$，奇异值分解的形式为 A=U\Sigma V^T其中 \begin{aligned} U&\in \mathbb R^{m\times m},U^TU=UU^T=I_m\\ \Sigma &= \left[ \begin{matrix} \sigma_1 && & \\ & \ddots && \\ &&\sigma_r& \\ &&&0 \end{matrix} \right] \in \mathbb R^{m\times n},\sigma_1 \ge \ldots \ge \sigma_r ...

课程主页：https://ocw.mit.edu/courses/mathematics/18-065-matrix-methods-in-data-analysis-signal-processing-and-machine-learning-spring-2018/index.htm 这一讲的主题是Positive Definite and Semidefinite Matrices。 对称正定矩阵$S$对称正定矩阵有如下几个等价判别条件： 所有的特征值$\lambda_i >0$ 能量$x^T Sx >0, \forall x\neq 0$ $S=A^TA$，其中$A$的列线性无关 主子式的行列式都大于$0$ 高斯消元法的主元都大于$0$ 例1 S_1=\left[ \begin{matrix} 3 & 4 \\ 4 & 6 \\ \end{matrix} \right], S_2 =\left[ \begin{matrix} -3 & 4 \\ 4 & -6 \\ \end{matrix} \right]对于$S ...

课程主页：https://see.stanford.edu/Course/EE263 这次回顾第八讲，这一讲结束正规化最小二乘法和牛顿高斯法，介绍了欠定方程。 加权目标此时我们的目标函数为 J_{1}+\mu J_{2}=\|A x-y\|^{2}+\mu\|F x-g\|^{2} 参数$\mu \ge 0$给出了$J_1,J_2$的相对权重 加权和为常数的点，即$J_1 +\mu J_2=\alpha$，对应了$(J_2,J_1)$图上斜率为$-\mu​$的直线 从上图中不难看出$x^{(2)}$最小化加权和 将$\mu$从$0$变化到$+\infty$，可以扫过整个最优权衡曲线 最小化加权目标可以将加权和表达为常规的最小二乘目标函数： \begin{aligned} \|A x-y\|^{2}+\mu\|F x-g\|^{2} &=\left\| \left[ \begin{array}{c}{A} \\ {\sqrt{\mu} F}\end{array}\right] x-\left[ \begin{array}{c}{y} \\ {\sqrt{\mu} g}\e ...

课程主页：https://see.stanford.edu/Course/EE263 这次回顾第七讲，这一讲结束最小二乘应用的内容，然后介绍了正规化最小二乘法和牛顿高斯法。 Growing sets of regressors考虑一族最小二乘问题，对于$p=1, \ldots, n​$ \text{minimize}\quad\left\|\sum_{i=1}^{p} x_{i} a_{i}-y\right\|（其中$a_{1}, \dots, a_{p}$被称为回归量） 用$a_{1}, \dots, a_{p}​$的线性组合近似$y​$ 将$y$投影到$\operatorname{span}\left\{a_{1}, \dots, a_{p}\right\}$ 利用$a_{1}, \dots, a_{p}$对$y$做回归 随着$p$增加，回归效果变好，所以最优残差减少 $p\le n​$的解由下式给出 x_{1 \mathrm{s}}^{(p)}=\left(A_{p}^{T} A_{p}\right)^{-1} A_{p}^{T} y=R_{p}^{-1} Q_{p}^ ...

MIT的概率公开课是非常好的学习资料，之前看过视频，但是没坚持学完，最近edx正好开新一版，借此机会把这门课看完，顺便记录一些笔记。 这次回顾第一讲，主要内容为概率的公理体系。 课程主页：https://ocw.mit.edu/resources/res-6-012-introduction-to-probability-spring-2018/index.htm edx版本：https://www.edx.org/course/probability-the-science-of-uncertainty-and-data-0 Part 1：课程回顾概率论公理体系建立概率，首先需要确定样本空间，其次是指定事件（样本空间的子集），概率是赋予事件的值，要满足如下几个公理： 非负性： \mathbf{P}(A) \geq 0 规范性： \mathbf{P}(\Omega)=1 （有限可加性）：如果$A \cap B=\varnothing$，那么 \mathbf{P}(A \cup B)=\mathbf{P}(A)+\mathbf{P}(B) （可列可加性）：如果$A_{1}, A ...