高等概率论第十一讲

记录本校的高等概率论课程笔记，参考教材《测度与概率》。

本讲介绍了鞅的定义以及马尔可夫过程的定义。

这一讲主要是复习鞅的概念。

鞅的定义

设$\{X_n,n\ge 0\}$是定义在$(\Omega ,\mathcal F, \mathbb P)$上的（广义）实随机变量，$\{F_{n},n\ge 0\}$是一列上升的$\sigma$域（称为$\sigma$域流），若它满足

$$\begin{aligned} &(1) \mathbb E[|X_n|] < \infty(\forall n\ge 0) \\ &(2) X_n是\mathcal F_n 可测（称为\mathcal F_n适应）\\ &(3)\forall n\ge 0,\mathbb E[X_{n+1}|\mathcal F_n] = X_n (a.s) \end{aligned}$$

则称$\{X_n\}$关于$\{\mathcal F_n\} $是鞅，若将$”=”$改为$”\ge “, “\le”$则为下，上鞅。

鞅的几个性质

$$\begin{aligned} &(1) 若\{X_n\}是鞅，\varphi是(下)凸函数，\mathbb E[|\varphi(X_n)|] <\infty,\forall n \ge 1, 则Y_n =\varphi(X_n)是下鞅\\ &(2)若\{X_n\}是下鞅，\varphi是(下)凸函数且非降，\mathbb E[|\varphi(X_n)|] <\infty,\forall n \ge 1, 则Y_n =\varphi(X_n)是下鞅\\ &(3)若\{X_n\}是下鞅，那么它一定可以唯一的分解为X_n =M_n +A_n，其中M_n是鞅，\{A_n\}是非降过程，A_n关于\mathcal F_{n-1}可测， \\ &\ \ \ \ \ A_0=0 \end{aligned}$$

结论(1)(2)的证明见习题。

接下来看几个例题。

例1

$$设\{\zeta_n\}是一列独立r.v,均值为p_n，S_n =\sum_{k=1}^n \zeta_n, \\ 那么当p_n=0(\le0, \ge 0)时，\{\zeta_n\}关于\mathcal F_n =\sigma\{\xi_n, 1\le k\le n\}=\sigma\{S_n, 1\le k\le n\}为鞅(上鞅，下鞅)$$

证明：

$$\begin{aligned} \mathbb E[S_{n+1}|\mathcal F_n] &= \mathbb E[S_{n}|\mathcal F_n] + \mathbb E[\zeta_{n+1}|\mathcal F_n]\\ &=S_n + \mathbb E[\zeta_{n+1}] \\ &=(\le, \ge)S_n \end{aligned}$$

上例的特殊情形为$\{\zeta_n\}$独立同分布，考虑如下例子。

例2

$$若\{\zeta_n\} i.i.d,均值为p，S_n =\sum_{k=1}^n \zeta_n,\\ p=0(\le0, \ge 0)时，\{\zeta_n\}关于\mathcal F_n =\sigma\{\xi_n, 1\le k\le n\}=\sigma\{S_n, 1\le k\le n\}为鞅(上鞅，下鞅)$$

例3

如果$\{\zeta_n\} i.i.d$，且

$$\zeta_n \sim \left( \begin{matrix} -1 & 1 \\ 1-p & p \end{matrix} \right),记q = 1-p$$

那么

$$\mathbb E[\zeta_n]= p-q$$

现在假设

$$S_n =S_0+ \sum_{k=1}^n \zeta_k,S_0\in (0, a+b)$$

现在有如下结论

$$\tau =\inf \{n\ge ,S_n\in \{0, a+b\}\} \\ \mathbb E[\tau] <\infty$$

这个问题的背景是两个人赌钱，两人一共有$a+b$元，第一个人每次有$p$的概率赢得$1$元，有$q$的概率输$1$元，$\tau$表示赌局结束的时间，上述结论的含义是赌局总会在有限时间内结束。

注意到

$$\mathbb E [\tau] <\infty \Leftrightarrow \sum_{n=0}^{\infty} \mathbb P(\tau\ge n)<\infty$$

所以我们来估计$\mathbb P(\tau \ge \delta)$，注意到无论总哪个点出发，总有

$$\mathbb P(\tau < a+b +1) \ge \mathbb P(\zeta_1 =...\zeta_{a+b} =1) = p^{a+b} > 0$$

所以

$$\mathbb P(\tau\ge a+b+1) \le 1-\mathbb P(\tau < a+b +1) =1 - p^{a+b}\triangleq \alpha<1$$

接下去考虑$\mathbb P(\tau\ge 2(a+b+1))$

$$\begin{aligned} \mathbb P(\tau\ge 2(a+b+1)) &=\mathbb P(\tau\ge 2(a+b+1) ,\tau \ge a+b+1)\\ &= \sum_{y\in (0,a+b)} \mathbb P(\tau \ge a+b+1, S_{a+b+1}= y, y+ \sum_{k=a+b+1}^{a+b+k} \zeta_i\in (0,a+b), 1\le k \le a+b+1) \\ &=\sum_{y\in (0,a+b)} \mathbb P(\tau \ge a+b+1) \mathbb P(从y出发，a+b+1步内仍然在(0,a+b)内)\\ &=\mathbb P(\tau \ge a+b+1) \sum_{y\in (0,a+b)}\mathbb P(从y出发，a+b+1步内仍然在(0,a+b)内) \\ &\le \alpha^2 \end{aligned}$$

同理可得

$$\mathbb P(\tau\ge n(a+b+1)) < \alpha^n$$

从而

$$\mathbb P(\frac \tau {a+b+1}\ge n) < \alpha^n \\ \sum_{n=1}^{\infty} \mathbb P(\frac \tau {a+b+1}\ge n) <\infty \\ \mathbb E[\frac \tau {a+b+1}] =\frac{\mathbb E[\tau]}{a+b+a} <\infty \\ \mathbb E[\tau] <\infty$$

例4

$$\{\zeta_n\} i.i.d,\zeta_n \sim \left( \begin{matrix} -1 & 1 \\ 1-p & p \end{matrix} \right),记q = 1-p，S_n =\sum_{k=1}^n \zeta_n,\\ \mathcal F_n =\sigma\{\xi_n, 1\le k\le n\}=\sigma\{S_n, 1\le k\le n\}\\ p\neq q$$

此时有如下结论

$$X_n \triangleq (\frac q p) ^{S_n}是鞅$$

证明：

$$\begin{aligned} \mathbb E[X_{n+1} | \mathcal F_n] &=\mathbb E[(\frac q p) ^{S_n} (\frac q p) ^{X_{n+1}}| \mathcal F_n] \\ &=(\frac q p) ^{S_n}\mathbb E[(\frac q p) ^{X_{n+1}}| \mathcal F_n]\\ &=(\frac q p) ^{S_n} \Big(\frac q p \times p + \frac p q\times q \Big)\\ &=(\frac q p) ^{S_n} \end{aligned}$$

沿用上例的$\tau$，取$S_0 =a$，接下来计算$X_{\tau}$的期望，

$$\begin{aligned} \mathbb E[X_{\tau}] &= \mathbb E[(\frac q p )^{S_{\tau}}] \\ &=\mathbb P(S_{\tau}=0) + \mathbb P(S_{\tau}=a+b) (\frac q p )^{a+b} \\ &=1-\mathbb P(S_{\tau}=a+b) + \mathbb P(S_{\tau}=a+b)(\frac q p )^{a+b} \end{aligned}$$

由鞅的性质可知

$$\mathbb E[X_{\tau}] =\mathbb E[\mathbb E[X_{\tau}|\mathcal F_{\tau -1}]]= \mathbb E[X_{\tau-1}]=... =\mathbb E[X_0] = (\frac q p )^{a}$$

解得

$$\mathbb P(S_{\tau}= a+b) = \frac{1-(\frac q p )^{a} }{1-(\frac q p )^{a+b}}$$

例5

$$考虑如下盒子模型，盒子中有红黑球各一个，从中随机取一个球，观察颜色后放回，并加入一个同色球，\\再从中随机取一球，放回，并加入同色球，如此重复下去。\\ R_n表示第n次取球中红球比例，则\{R_n\}关于\mathcal F_n =\sigma(R_i(1\le i\le n))为鞅$$

该结论的证明见习题。

Markov过程的定义

设$\{X_n,n\ge 1\}$是定义在$(\Omega ,\mathcal F, \mathbb P)$上，取值于$(E,\Sigma)$中的随机变量，$\{F_{n},n\ge 0\}$是一列上升的$\sigma$代数，若其满足

$$\begin{aligned} &(1) X_n是\mathcal F_n 可测\\ &(2) \forall n\ge 1,B\in \Sigma, \mathbb P(X_{n+1} \in B| \mathcal F_n) =\mathbb P(X_{n+1} \in B| X_n)(a.s) \end{aligned}$$

则称$\{X_n\}$关于$\{\mathcal F_n\}$是一个Markov过程，性质(2)称为Markov性。实际中常取

$$\mathcal F_n =\sigma \{ X_k (1\le k\le n) \}$$

那么(2)可以化为

$$\mathbb P(X_{n+1} \in B| X_1,...,X_n) =\mathbb P(X_{n+1} \in B| X_n)(a.s)$$

如果$E=\{x_1,…,x_n,… \}$可数，那么$\{X_n\}$是Markov过程等价于

$$\forall n\ge 1, \forall X_1,...,X_{n+1} \in E, \\ \mathbb P(X_{n+1}= x_{n+1} | X_1=x_1,...,X_{n}=x_n )= \mathbb P(X_{n+1} =x_{n+1}|X_{n} =x_n)$$

习题

习题1

$$考虑如下盒子模型，盒子中有红黑球各一个，从中随机取一个球，观察颜色后放回，并加入一个同色球，\\再从中随机取一球，放回，并加入同色球，如此重复下去。\\ R_n表示第n次取球中红球比例，则\{R_n\}关于\mathcal F_n =\sigma(R_i(1\le i\le n))为鞅$$

证明：分别验证鞅的三个性质。

(1)

$$\mathbb E[R_n] \le 1$$

(2)

$$R_n 关于\mathcal F_n =\sigma(R_i(1\le i\le n))可测$$

(3)记$\xi_n$为第$n$次取球时的红球数量，则

$$\xi_n \in \{0,1\},\mathbb P(\xi_n)= R_n$$

注意$(n+2)R_n$表示第$n$次取球时的红球数量，所以

$$(n+2)R_{n+1}= (n+1)R_n + \xi_n \\ R_{n+1}=\frac{n+1}{n+2} R_n + \frac{1}{n+2}\xi_n$$

注意当前取球之后的结果之和上一次有关，所以

$$\begin{aligned} \mathbb E[R_{n+1}|\mathcal F_n] &=\mathbb E[R_{n+1}| R_n]\\ &=\mathbb E[\frac{n+1}{n+2} R_n + \frac{1} {n+2}\xi_n| R_n]\\ &=\frac{n+1}{n+2} R_n + \frac{1}{n+2}\mathbb P(\xi_n|R_n)\\ &= \frac{n+1}{n+2} R_n + \frac{1}{n+2} R_n\\ &=R_n \end{aligned}$$

所以$\{R_n\}$关于$\mathcal F_n =\sigma(R_i(1\le i\le n))$为鞅

习题2

$$(1) 若\{X_n\}是鞅，\varphi是(下)凸函数，\mathbb E[|\varphi(X_n)|] <\infty,\forall n \ge 1, 则Y_n =\varphi(X_n)是下鞅\\ (2)若\{X_n\}是下鞅，\varphi是(下)凸函数且非降，\mathbb E[|\varphi(X_n)|] <\infty,\forall n \ge 1, 则Y_n =\varphi(X_n)是下鞅$$

(1)证明：因为$\varphi$是凸函数，$\{X_n\}$是鞅，所以

$$\mathbb E[\varphi(X_{n+1})|\mathcal F_n] \ge \varphi(\mathbb E[X_{n+1}|\mathcal F_n])= \varphi(X_{n})$$

从而$\varphi(X_{n})$是下鞅

(2)证明：因为$\{X_n\}$是下鞅，所以

$$\mathbb E[X_{n+1}|\mathcal F_n] \ge X_{n}$$

因为$\varphi$是凸函数，且$\varphi$单调非降，所以

$$\mathbb E[\varphi(X_{n+1})|\mathcal F_n] \ge \varphi(\mathbb E[X_{n+1}|\mathcal F_n]) \ge \varphi(X_{n})$$

从而$\varphi(X_{n})$是下鞅