高等概率论第十一讲
记录本校的高等概率论课程笔记,参考教材《测度与概率》。
本讲介绍了鞅的定义以及马尔可夫过程的定义。
这一讲主要是复习鞅的概念。
鞅的定义设$\{X_n,n\ge 0\}$是定义在$(\Omega ,\mathcal F, \mathbb P)$上的(广义)实随机变量,$\{F_{n},n\ge 0\}$是一列上升的$\sigma$域(称为$\sigma$域流),若它满足
\begin{aligned}
&(1) \mathbb E[|X_n|] < \infty(\forall n\ge 0) \\
&(2) X_n是\mathcal F_n 可测(称为\mathcal F_n适应)\\
&(3)\forall n\ge 0,\mathbb E[X_{n+1}|\mathcal F_n] = X_n (a.s)
\end{aligned}则称$\{X_n\}$关于$\{\mathcal F_n\} $是鞅,若将$”=”$改为$”\ge “, “\le”$则为下,上鞅。
鞅的几个性质
\begin{aligned}
&(1) 若\{X_n\}是鞅,\varphi是(下)凸函数,\ma ...
高等概率论第十讲
记录本校的高等概率论课程笔记,参考教材《测度与概率》。
本讲继续介绍条件期望的性质。
4.条件期望的性质定理5.4.1条件期望具有如下性质
\begin{aligned}
&(1)若X与\mathcal G独立(即\sigma(X)与\mathcal G独立,也即X与1_A独立),\forall A\in \mathcal G,则
\mathbb E[X|\mathcal G] =\mathbb E[X] (a.s)\\
&(2)若X为\mathcal G可测,则\mathbb E[XY|\mathcal G]= X\mathbb E[Y |\mathcal G](a.s)\\
&(3)\mathcal G_1 \subset \mathcal G_2 \subset \mathcal G ,则
\mathbb E[\mathbb E[X|\mathcal G_1]| \mathcal G_2] = \mathbb E[X|\mathcal G_1] =
\mathbb E[\mathbb E[X|\mathcal G_2]| \mathcal G_1](a.s)
\end{ali ...
CS229 Lesson 19 微分动态规划
课程视频地址:http://open.163.com/special/opencourse/machinelearning.html
课程主页:http://cs229.stanford.edu/
更具体的资料链接:https://www.jianshu.com/p/0a6ef31ff77a
笔记参考自中文翻译版:https://github.com/Kivy-CN/Stanford-CS-229-CN
这一讲介绍了LQR以及Ricatti方程。
3.从非线性动力系统到LQR事实证明,即使动力系统是非线性的,很多问题也可以简化到LQR。 虽然LQR是一个很好的形式,因为我们能够得到一个很好的精确解决方案,但它不够一般化。 让我们以倒立摆的情况为例。 状态之间的转换看起来像
\left(
\begin{matrix}
x_{t+1} \\
\dot x_{t+1} \\
\dot \theta_{t+1}\\
\dot \theta_{t+1}
\end{matrix}
\right)=
F \left(
\begin{matrix}
\lef ...
CS231 第二讲 图像分类
课程视频地址:https://study.163.com/courses-search?keyword=CS231
课程主页:http://cs231n.stanford.edu/2017/
这一讲主要介绍图像分类问题。
图像分类图像分类是计算机视觉的核心任务,问题的形式为给定图片,让计算机判断它属于哪一类,具体如下:
因为图片有视角,大小,种类差异等问题,所以直接设计一个算法来进行分类是很困难的,所以这里采取数据驱动的方法:
1.收集图像数据和标签
2.使用机器学习训练分类器
3.在新的图片上评估分类器
程序的接口如下:
下面介绍这里使用的第一个算法Nearest Neighbor
Nearest NeighborNearest Neighbor算法思路非常简单,直接计算测试图片和训练图片的“距离”,然后将距离最小的训练图片的标签附给测试图片即可,这里常用的距离如下:
${L_1}$距离的例子如下:
不难看出这里的训练时间为$O(1)$,预测时间为$O(N)$,其中$N$为训练集中图片的数量,所以这个算法在实际中不常用,因为我们一般希望预测时间要非常短。
Nea ...
Michael Collins NLP Lecture 1
课程主页:http://www.cs.columbia.edu/~cs4705/
课程网盘地址:
链接:https://pan.baidu.com/s/1KijgO7yjL_MVCC9zKZ7Jdg提取码:t1i3
最近开始学习Michael Collins的NLP课程,该课程以前是在Coursera上,但Cousera改版后下架了,好在找到了视频以及课程主页,主页上有讲义,练习题,作业等等,争取在寒假把这份课程学完并做一些笔记。话不多少,进入第一讲,这一讲的内容为介绍什么是NLP以及语言模型。
Chapter 1 语言模型1.1 介绍 在本章中,我们将考虑从某种语言的一组句子构建语言模型的问题。 语言模型最初是为语音识别问题而开发的; 它们仍然在现代语音识别系统中发挥着核心作用。 它们也广泛用于其他NLP应用程序。 最初为语言建模开发的参数估计技术,如本章所述,在许多其他场景中都很有用,例如本书后面章节中考虑的标记和解析问题。
我们的任务如下。 假设我们有一个语料库,它是某种语言的一组句子。 例如,我们可能有几年来自纽约时报的文本,或者我们可能有来自网络的大量文 ...
CS231 第一讲 课程简介
课程视频地址:https://study.163.com/courses-search?keyword=CS231
课程主页:http://cs231n.stanford.edu/2017/
最近开始学习CS231,视频看的是网易云课堂2017版,之后每讲都会做一些简单的笔记。第一次内容比较简单,主要介绍了计算机视觉的历史以及课程概要。
计算机视觉简介课程从一个古生物现象开始:在5亿4千万年前,地球上的生物主要生活在海里,在随后1千万年之内,发生了一个奇特的现象:生物种类呈现爆炸式的增长,之所以发生这个现象,古生物学家认为是因为生物产生了视觉。如今,视觉已成为动物最重要的感知系统,而人类也在不断尝试让计算机拥有视觉,在这个过程中逐渐产生了计算机视觉的概念,比较典型的例子有小孔成像,照相机,人脸识别等等。随着各种高效算法的产生,一些学者提出一个疑问:计算机是否具备了识别真实世界大部分物体的能力,于是就有了ImageNet项目:
该项目制作了大量带标签的图片数据集,并进行比赛,比赛形式如下:
这是历年的比赛结果:
从上图中可以看出,准确率逐年提升,值得注意的一点是2012年,这一年 ...
高等概率论第九讲
记录本校的高等概率论课程笔记,参考教材《测度与概率》。
本讲介绍了条件期望的定义与性质。
3.条件期望1.基本定义定义:
设(\Omega, \mathcal F,\mathbb P)是一概率空间,\mathcal G是\mathcal F中\sigma代数,X是\Omega上定义的(实)随机变量,\mathbb E[X]存在,在\mathcal G上定义\\
\nu(A)=\int_{A} X d\mathbb P,A\in \mathcal G \\
则\nu是\mathcal G上符号测度,且\nu \ll \mathbb P_{\mathcal G}(\mathbb P_{\mathcal G}表示\mathbb P限制在\mathcal G上),\\
故\frac{d\nu}{ d\mathbb P_\mathcal G}存在,称之为给定\mathcal G之下X的条件期望,
记为\mathbb E[X| \mathcal G]关于该定义有以下几个注解:
\begin{aligned}
&注1:\nu(A) =\int_A \mathbb E[X |\mathcal G ...
高等概率论第八讲
记录本校的高等概率论课程笔记,参考教材《测度与概率》。
本讲介绍了符号测度,Lebesgue分解与条件期望的定义。
Chapter 5条件期望1.符号测度及其分布考虑如下问题,假设存在随机变量$X$,满足$(\Omega,\mathcal F,\mathbb P)\overset{X}\to (\mathbb R,\mathcal B)$,如果$\mathbb E[X]$存在,那么
\nu(A) = \int_A x d\mathbb P = \mathbb E[X1_A] =
\int_A x^+ d\mathbb P -\int_A x^- d\mathbb P存在。从这个例子中引出符号测度的定义。
符号测度的定义
设(E,\Sigma)是一可测空间,\mu是定义在\Sigma上的函数,满足\\
\begin{aligned}
&(1) \mu(\varnothing)= 0\\
&(2) A_n \in \Sigma,互不相交\Rightarrow
\mu(\bigcup_{n=1}^{\infty}A_n) =\sum_{n=1}^{\infty} \mu(A_n)\\
...
高等概率论第七讲
记录本校的高等概率论课程笔记,参考教材《测度与概率》。
本讲介绍了Fubini定理与无穷乘积转移概率测度。
2.Fubini定理定理4.2.1
设(E_1, \Sigma_1, \mu_1)和(E_2, \Sigma_2, \mu_2)是两个概率空间,\\
f是(E_1\times E_2, \Sigma_1\times \Sigma_2)上非负可测函数,则\\
\begin{aligned}
\underset{E_1\times E_2}{\int \int} f(x_1,x_2)d(\mu_1\times \mu_2)
=\int_{E_1} \mu_1(dx_1) \int_{E_2} f(x_1,x_2) \mu_2(dx_2)
=\int_{E_2} \mu_2(dx_2) \int_{E_1} f(x_1,x_2) \mu_1(dx_1)
\end{aligned}证明:$f=1_B ,B\in \Sigma_1\times \Sigma_2$时,
\begin{aligned}
\underset{E_1\times E_2}{\int \int} f(x_1,x_ ...
CS229 Lesson 18 线性二次型调节控制
课程视频地址:http://open.163.com/special/opencourse/machinelearning.html
课程主页:http://cs229.stanford.edu/
更具体的资料链接:https://www.jianshu.com/p/0a6ef31ff77a
笔记参考自中文翻译版:https://github.com/Kivy-CN/Stanford-CS-229-CN
这一讲介绍了LQR以及Ricatti方程。
Part XIV LQR,DDP和LQGLQR,DDP和LQG分别代表线性二次调节,微分动态规划和线性二次高斯分布。
1.有限范围的MDP在之前关于强化学习的讲义中,我们在简化的情形中定义了马尔可夫决策过程(MDP)并涵盖了价值迭代/策略迭代。更具体地说,我们引入了最优Bellman方程,该方程定义了最优策略$\pi’$的最优价值函数$V^{\pi’}$。
V^{\pi'} (s) = R(s) + \max_{a\in \mathcal A}\gamma \sum_{s'\in \mathcal S}
P_{sa}(s') V^{\pi ...
高等概率论第六讲
记录本校的高等概率论课程笔记,参考教材《测度与概率》。
本讲介绍乘积测度与独立性。
Chapter 4乘积测度与独立性1.有限维情形1.乘积测度
设(E_1, \Sigma_1, \mu_1)和(E_2, \Sigma_2, \mu_2)是两个概率空间,\\
在E_1\times E_2= \{w =(w_1,w_2), w_1 \in E_1, w_2 \in E_2\}上定义\sigma代数\\
\Sigma_1\times \Sigma_2 = \sigma \{\Sigma_1\times \Sigma_2 :A_1 \in \Sigma_1,
A_2 \in \Sigma_2 \} \\
称为E_1, E_2的乘积\sigma 代数,称为(E_1\times E_2, \Sigma_1\times \Sigma_2)为乘积
可测空间定理4.1.1
在\Sigma_1\times \Sigma_2上存在唯一概率测度\mu满足\\
\mu(A_1\times A_2) = \mu_1 (A_1)\times \mu_1 (A_2),
A_1 \in \Sigma_1, A_2 ...
高等概率论第五讲
记录本校的高等概率论课程笔记,参考教材《测度与概率》。
本讲介绍期望计算以及收敛定理。
3.积分变换和期望计算定理3.3.1
设(\Omega ,\mathcal F, \mathbb P)是概率空间,X是定义在其上,取值于可测空间(E,\Sigma)的随机变量(随机元),\\
f是(E,\Sigma)到(\mathbb R, \mathcal B)上可测函数,\\
则\int_{\Omega} f(X) d\mathbb P= \mathbb E [f(X)]= \int_{E}f(x)\mu_X(dx)
,其中\mu_X是X在\mathbb P下的概率分布\\
该等式的意义是一个若一个积分有意义,则另一个积分也有意义且相等证明:老师没有给出完整证明,主要讲解了证明思路。
当$f=1_A,A\in \Sigma$时,
左边=\mathbb E[1_A(X)]= \mathbb E[1_{X\in A}]=\mathbb P(X\in A)
=\mu_X(A) = \int 1_A(X) \mu_X(dx)=右边接下来的思路是将其推广到非负简单,再到非负可测,最后到一般情形。
...