EE261 Problem Set 1
课程主页:https://see.stanford.edu/Course/EE261
这次回顾Problem Set 1。
Problem 1(a)记
S=\sum_{n=p}^{q} w^{n}那么
wS=\sum_{n=p}^{q} w^{n+1}= \sum_{n=p+1}^{q+1} w^{n}相减得到
\begin{aligned}
(1-w)S&= \sum_{n=p}^{q} w^{n}- \sum_{n=p+1}^{q+1} w^{n}=w^p-w^{q+1}\\
S&=\frac{w^{p}-w^{q+1} }{1-w}
\end{aligned}接着讨论级数收敛的问题。
如果$p=-\infty,q< \infty$,那么当$|w|>1$时,级数收敛,并且
S=\frac{-w^{q+1} }{1-w}=\frac{w^{q+1} }{w-1}如果$q=\infty,p>-\infty$,那么当$|w| <1$时,级数收敛,并且
S=\frac{w^p}{1-w}如果$q=\infty,p= -\infty$,那么由之前讨 ...
EE261 Lecture 1 and Lecture 2
课程主页:https://see.stanford.edu/Course/EE261
最近开始学习EE261——The Fourier Transform and its Applications,课程详细介绍了傅里叶变换及其应用。
这次回顾第一讲和第二讲,主要内容为傅里叶变换以及傅里叶序列。
内容回顾傅里叶变化的起源来自于周期性现象的研究,简单来说,周期性现象可以简单分为时间周期性以及空间周期性。
周期函数的定义我们称函数$f(t)$的周期为$T>0$,如果对所有$t$,
f(t+T)=f(t)显然周期的整数倍仍然为周期,即
f(t+n T)=f(t), \quad n=0, \pm 1, \pm 2, \ldots为了讨论方便,假设函数的周期为$1$(很容易拓展到一般情形)。
傅里叶序列课程对于傅里叶分析的讨论是从傅里叶序列开始,首先考虑最简单的情形:
\sum_{n=1}^{N} A_{n} \sin \left(2 \pi n t+\phi_{n}\right)显然这种情形不够一般化,增加常数项以及$\cos $项,得到:
\frac{a_{0}}{2}+\su ...
Probability, Unit 2 Conditioning and Bayes' Rule, Independence
这次回顾第二,第三讲,主要内容为条件概率,贝叶斯公式和独立性。
课程主页:https://ocw.mit.edu/resources/res-6-012-introduction-to-probability-spring-2018/index.htm
edx版本:https://www.edx.org/course/probability-the-science-of-uncertainty-and-data-0
Part 1:课程回顾条件概率设事件$B$满足$\mathbf P(B)>0$,给定$B$之下,事件$A$的条件概率为
\mathrm{P}(A | B)=\frac{\mathrm{P}(A \cap B)}{\mathrm{P}(B)}条件概率满足普通概率的性质:
$\mathbf{P}(A | B) \geq 0$
$\mathbf P(\Omega | B)=\frac{\mathbf P(\Omega \cap B)}{\mathbf P(B)}=\frac{\mathbf P(B)}{\mathbf P(B)}=1$
$\mathbf P(B | B ...
EE263 Homework 4
课程主页:https://see.stanford.edu/Course/EE263
这次回顾EE263作业4。
5.2(a)
因为
\begin{aligned}
\langle u,v \rangle
&=u^* v\\
&=(\Re u -i\Im u )^T(\Re v +i\Im v )\\
&=(\Re u)^T\Re v +(\Im u)^T\Im v
+((\Re u)^T\Im v -(\Re v)^T\Im u)i\\
\langle\tilde{u}, \tilde{v}\rangle
&=\left[ \begin{array}{l}{\Re u} \\ {\Im u}\end{array}\right]^T
\left[ \begin{array}{l}{\Re v} \\ {\Im v}\end{array}\right]\\
&=(\Re u)^T\Re v+(\Im u)^T\Im v
\end{aligned}所以
\langle\tilde{u}, \tilde{v}\rangle =\Re \langle u,v \rangle ...
18.065 Lecture 6
课程主页:https://ocw.mit.edu/courses/mathematics/18-065-matrix-methods-in-data-analysis-signal-processing-and-machine-learning-spring-2018/index.htm
这一讲的主题是Singular Value Decomposition (SVD)。
基本概念和性质对于$A\in \mathbb R^{m\times n}$,奇异值分解的形式为
A=U\Sigma V^T其中
\begin{aligned}
U&\in \mathbb R^{m\times m},U^TU=UU^T=I_m\\
\Sigma &= \left[
\begin{matrix}
\sigma_1 && & \\
& \ddots && \\
&&\sigma_r& \\
&&&0
\end{matrix}
\right] \in \mathbb R^{m\times n},\sigma_1 \ge \ldots \ge \sigma_r ...
18.065 Lecture 5
课程主页:https://ocw.mit.edu/courses/mathematics/18-065-matrix-methods-in-data-analysis-signal-processing-and-machine-learning-spring-2018/index.htm
这一讲的主题是Positive Definite and Semidefinite Matrices。
对称正定矩阵$S$对称正定矩阵有如下几个等价判别条件:
所有的特征值$\lambda_i >0$
能量$x^T Sx >0, \forall x\neq 0$
$S=A^TA$,其中$A$的列线性无关
主子式的行列式都大于$0$
高斯消元法的主元都大于$0$
例1
S_1=\left[
\begin{matrix}
3 & 4 \\
4 & 6 \\
\end{matrix}
\right], S_2 =\left[
\begin{matrix}
-3 & 4 \\
4 & -6 \\
\end{matrix}
\right]对于$S ...
EE263 Lecture 8 Least-norm solutions of undetermined equations
课程主页:https://see.stanford.edu/Course/EE263
这次回顾第八讲,这一讲结束正规化最小二乘法和牛顿高斯法,介绍了欠定方程。
加权目标此时我们的目标函数为
J_{1}+\mu J_{2}=\|A x-y\|^{2}+\mu\|F x-g\|^{2}
参数$\mu \ge 0$给出了$J_1,J_2$的相对权重
加权和为常数的点,即$J_1 +\mu J_2=\alpha$,对应了$(J_2,J_1)$图上斜率为$-\mu$的直线
从上图中不难看出$x^{(2)}$最小化加权和
将$\mu$从$0$变化到$+\infty$,可以扫过整个最优权衡曲线
最小化加权目标可以将加权和表达为常规的最小二乘目标函数:
\begin{aligned}
\|A x-y\|^{2}+\mu\|F x-g\|^{2}
&=\left\| \left[ \begin{array}{c}{A} \\ {\sqrt{\mu} F}\end{array}\right] x-\left[ \begin{array}{c}{y} \\ {\sqrt{\mu} g}\e ...
EE263 Lecture 7 Regularized least-squares and Gauss-Newton method
课程主页:https://see.stanford.edu/Course/EE263
这次回顾第七讲,这一讲结束最小二乘应用的内容,然后介绍了正规化最小二乘法和牛顿高斯法。
Growing sets of regressors考虑一族最小二乘问题,对于$p=1, \ldots, n$
\text{minimize}\quad\left\|\sum_{i=1}^{p} x_{i} a_{i}-y\right\|(其中$a_{1}, \dots, a_{p}$被称为回归量)
用$a_{1}, \dots, a_{p}$的线性组合近似$y$
将$y$投影到$\operatorname{span}\left\{a_{1}, \dots, a_{p}\right\}$
利用$a_{1}, \dots, a_{p}$对$y$做回归
随着$p$增加,回归效果变好,所以最优残差减少
$p\le n$的解由下式给出
x_{1 \mathrm{s}}^{(p)}=\left(A_{p}^{T} A_{p}\right)^{-1} A_{p}^{T} y=R_{p}^{-1} Q_{p}^ ...
Probability, Unit 1 Probability Models and Axioms
MIT的概率公开课是非常好的学习资料,之前看过视频,但是没坚持学完,最近edx正好开新一版,借此机会把这门课看完,顺便记录一些笔记。
这次回顾第一讲,主要内容为概率的公理体系。
课程主页:https://ocw.mit.edu/resources/res-6-012-introduction-to-probability-spring-2018/index.htm
edx版本:https://www.edx.org/course/probability-the-science-of-uncertainty-and-data-0
Part 1:课程回顾概率论公理体系建立概率,首先需要确定样本空间,其次是指定事件(样本空间的子集),概率是赋予事件的值,要满足如下几个公理:
非负性:
\mathbf{P}(A) \geq 0
规范性:
\mathbf{P}(\Omega)=1
(有限可加性):如果$A \cap B=\varnothing$,那么
\mathbf{P}(A \cup B)=\mathbf{P}(A)+\mathbf{P}(B)
(可列可加性):如果$A_{1}, A ...
18.065 Lecture 4
课程主页:https://ocw.mit.edu/courses/mathematics/18-065-matrix-methods-in-data-analysis-signal-processing-and-machine-learning-spring-2018/index.htm
这一讲的主题是Eigenvalues and Eigenvectors。
假设$A\in \mathbb R^{n\times n}$,后续讨论中都假设$A$有$n$个线性无关的特征向量。
基本内容矩阵的特征值满足
Ax_i =\lambda_i x_i ,i=1,\ldots, n那么不难得到
\begin{aligned}
A^kx_i & =\lambda_i^k x_i\\
A^{-1} x& =\frac 1 \lambda_i x_i &&如果A可逆
\end{aligned}对于一般的向量$v$,$v$可以表示为
v=\sum_{i=1}^n c_i x_i那么
A^{k}v = \sum_{i=1}^n c_i \lambda_i^k x_i如果记
v_k = \sum_ ...
18.065 Lecture 3
课程主页:https://ocw.mit.edu/courses/mathematics/18-065-matrix-methods-in-data-analysis-signal-processing-and-machine-learning-spring-2018/index.htm
这一讲的主题是Orthonormal Columns in $Q$ Give $Q^TQ=I$。
正交我们称向量组$Q= \left[ \begin{matrix}q_1 &\ldots & q_n \end{matrix} \right] $正交,如果
Q^TQ=I如果$Q$是方阵,那么同样有
QQ^T=I这时候称$Q$是正交矩阵,上述等式的矩阵形式如下:
\left[
\begin{matrix}
q_1^T\\
\vdots \\
q_n^T\\
\end{matrix}
\right]\left[
\begin{matrix}
q_1 &\ldots & q_n
\end{matrix}
\right] = \left[
\b ...
18.065 Lecture 2
课程主页:https://ocw.mit.edu/courses/mathematics/18-065-matrix-methods-in-data-analysis-signal-processing-and-machine-learning-spring-2018/index.htm
这一讲的主题是Multiplying and Factoring Matrices 。
矩阵分解考虑如下几种矩阵分解:
$A: LU\to $高斯消元法
$A:QR\to$Gram-Schmidt
对称矩阵$S:Q\Lambda Q^T=\left[ \begin{matrix} q_1 &\ldots & q_n \end{matrix} \right] \left[ \begin{matrix} \lambda_1 & & \\ & \ddots & \\ && \lambda_n \end{matrix} \right] \left[ \begin{matrix} q_1^T\\ \vdots \\ q_ ...