高等概率论第十二讲

记录本校的高等概率论课程笔记，参考教材《测度与概率》。

本讲介绍了几乎处处收敛以及依概率收敛。

1.几乎处处收敛

1.定义与基本性质

定义

$$设\{X; X_n ,n\ge 1\}是一列定义在(\Omega ,\mathcal F, \mathbb P)，取值于\mathbb R^d中的随机变量，\\ 若存在\mathbb P-零集N，使得\forall w \in N^C ,\\ \lim_{n\to \infty} X_n(w)= X(w)\\ 则称\{X_n\}几乎处处收敛于X或以概率1收敛于X,\\ 记为X_n \overset{a.s}\to X(n\to\infty)或\lim_{n\to \infty}X_n =X (a.s)$$

基本性质

$$\begin{aligned} &(1)X_n \overset{a.s}\to X,X_n \overset{a.s}\to Y\Rightarrow X=Y (a.s)\\ &(2)X_n \overset{a.s}\to X,X_n \overset{a.s}\to Y \Rightarrow X_n\pm Y_n \overset{a.s}\to X\pm Y \\ &\ \ \ \ X_n Y_n \overset{a.s}\to X Y,\frac{X_n}{Y_n} \overset{a.s}\to \frac X Y \\ &(3)X_n \overset{a.s}\to X,f连续 \Rightarrow f(X_n)\overset{a.s}\to f(X) \end{aligned}$$

2.一个有用的刻划

$$若X和X_n都是a.s有限，则X_n\overset{a.s}\to X \Leftrightarrow\\ 1=\mathbb P (w:\{X_n\}都有限且\lim_{n\to\infty} X_n =X) =\mathbb P (\bigcap_{k=1}^{\infty}\bigcup_{N=1}^{\infty}\bigcap_{n=N}^{\infty} \{|X_n -X|<\frac 1 k \})\Leftrightarrow \\ \mathbb P (\bigcup_{k=1}^{\infty}\bigcap_{N=1}^{\infty}\bigcup_{n=N}^{\infty} \{|X_n -X|\ge \frac 1 k \}) =0 \Leftrightarrow \\ \forall k \ge 1 ,\mathbb P (\bigcap_{N=1}^{\infty}\bigcup_{n=N}^{\infty} \{|X_n -X|\ge \frac 1 k \}) =0 \Leftrightarrow \\ \forall \epsilon >0, \lim_{N\to \infty}\mathbb P (\bigcup_{n=N}^{\infty} \{|X_n -X|\ge \epsilon \}) =0 \Leftarrow \\ \forall \epsilon >0, \sum_{n=1}^{\infty}\mathbb P ( \{|X_n -X|\ge \epsilon \}) <\infty$$

倒数第三行和倒数第二行等价是因为

$$B_N = \bigcup_{n=N}^{\infty}\{|X_n -X|\ge \frac 1 k \} \downarrow$$ $$\mathbb P (\bigcap_{N=1}^{\infty}\bigcup_{n=N}^{\infty} \{|X_n -X|\ge \frac 1 k \}) = \mathbb P (\lim_{N\to \infty}B_N) =\lim_{N\to \infty}\mathbb P (B_N) =\lim_{N\to \infty}\mathbb P (\bigcup_{n=N}^{\infty} \{|X_n -X|\ge \epsilon \})$$

最后一行可以推出第二行是因为

$$\mathbb P (\bigcup_{n=N}^{\infty} \{|X_n -X|\ge \epsilon \}) \le \sum_{n=N}^{\infty} \mathbb P (\{|X_n -X|\ge \epsilon \})$$

因为

$$\sum_{n=1}^{\infty}\mathbb P ( \{|X_n -X|\ge \epsilon \}) <\infty$$

所以余项$\to 0$，从而

$$\lim_{N\to \infty}\mathbb P (\bigcup_{n=N}^{\infty} \{|X_n -X|\ge \epsilon \})\le \lim_{N\to \infty}\sum_{n=N}^{\infty} \mathbb P (\{|X_n -X|\ge \epsilon \}) =0$$

把上面一段讨论总结为如下定理及推论：

定理6.1.1

$$若X,X_n 都是a.s有限，则X_n\overset{a.s}\to X \Leftrightarrow\\ \forall \epsilon >0, \lim_{N\to \infty}\mathbb P (\bigcup_{n=N}^{\infty} \{|X_n -X|\ge \epsilon \}) =0$$

推论

$$\begin{aligned} &(1) \forall \epsilon >0, \sum_{n=1}^{\infty}\mathbb P ( \{|X_n -X|\ge \epsilon \}) <\infty,则X_n \overset{a.s}\to X \\ &(2) 若存在正数列,\epsilon_n \downarrow0, s.t. \sum_{n=1}^{\infty}\mathbb P ( \{|X_n -X|\ge \epsilon_n \}) <\infty,则X_n \overset{a.s}\to X \end{aligned}$$

证明：(1)已证明

(2)证明：由有条件可知，

$$\exists n_0,n\ge n_0时， \epsilon_n < \epsilon$$

所以$n\ge n_0$时

$$\mathbb P (\{|X_n -X|\ge \epsilon \}) \le \mathbb P (\{|X_n -X|\ge \epsilon_n \}) \\$$

因此

$$\begin{aligned} \sum_{n=1}^{\infty}P (\{|X_n -X|\ge \epsilon \}) &=\sum_{n=1}^{n_9}P (\{|X_n -X|\ge \epsilon \}) +\sum_{n=n_0+1}^{\infty}P (\{|X_n -X|\ge \epsilon \})\\ &\le \sum_{n=1}^{n_9}P (\{|X_n -X|\ge \epsilon \})+\sum_{n=n_0+1}^{\infty}P (\{|X_n -X|\ge \epsilon_n \}) \\ &<\infty \end{aligned}$$

从而

$$X_n \overset{a.s}\to X$$

B-C引理

$$若\sum_{n=1}^{\infty} \mathbb P(A_n) < \infty,则\mathbb P(A_n \text{ i.o.})= 0\\ \{A_n \text{ i.o.}\} \triangleq \bigcap_{N=1}^{\infty} \bigcup_{n=N}^{\infty} A_n\\ w\in \bigcup_{n=N}^{\infty} A_n (\forall N)表示w属于无穷多个A_n$$

证明：

$$\mathbb P(A_n)= \mathbb P(\bigcap_{N=1}^{\infty} \bigcup_{n=N}^{\infty} A_n) =\lim_{N\to \infty} \mathbb P( \bigcup_{n=N}^{\infty} A_n) \le \lim_{N\to \infty} \sum_{n=N}^{\infty}\mathbb P(A_n) =0$$

Borel 0-1律

$$若\{A_n\}是一列相互独立的事件，那么\\ \mathbb P(A_n \text{ i.o.})=\begin{cases} 0, & \sum_{n=1}^{\infty} \mathbb P(A_n) < \infty\\ 1, & \sum_{n=1}^{\infty} \mathbb P(A_n) = \infty \end{cases}$$

证明：

$$\begin{aligned} \mathbb P(\{A_n \text{ i.o.} \}^C) &=\mathbb P(\bigcup_{N=1}^{\infty} \bigcap_{n=N}^{\infty} A_n^C) \\ &=\lim_{N\to\infty}\mathbb P( \bigcap_{n=N}^{\infty} A_n^C) \\ &=\lim_{N\to\infty}\mathbb P(\lim_{k\to \infty} \bigcap_{n=N}^{N+k-1} A_n^C) \\ &=\lim_{N\to\infty}\lim_{k\to \infty}\mathbb P( \bigcap_{n=N}^{N+k-1} A_n^C)\\ &=\lim_{N\to\infty}\lim_{k\to \infty}\prod_{n=N}^{N+k-1} (1-\mathbb P( A_n))\\ &\le \lim_{N\to\infty}\lim_{k\to \infty} e^{-\sum_{n=N}^{N+k-1}\mathbb P( A_n)} \\ &= \lim_{N\to\infty} e^{-\sum_{n=N}^{\infty}\mathbb P( A_n)}\\ &= e^{-\lim_{N\to\infty}\sum_{n=N}^{\infty}\mathbb P( A_n)} \end{aligned}$$

如果$\sum_{n=1}^{\infty} \mathbb P(A_n) < \infty$，那么余项$\to 0$，从而

$$e^{-\lim_{N\to\infty}\sum_{n=N}^{\infty}\mathbb P( A_n)} = 1$$

否则对任意$N$，

$${-\sum_{n=N}^{\infty}\mathbb P ( A_n)}\to -\infty$$

从而

$$e^{-\lim_{N\to\infty}\sum_{n=N}^{\infty}\mathbb P( A_n)} = 0$$ $$\mathbb P(\{A_n \text{ i.o.} \}^C)=\lim_{N\to\infty} e^{-\sum_{n=N}^{\infty}\mathbb P( A_n)}=\begin{cases} 1 & \sum_{n=1}^{\infty} \mathbb P(A_n) < \infty\\ 0 & \sum_{n=1}^{\infty} \mathbb P(A_n)= \infty \end{cases}$$

2.依概率收敛

定义

$$设\{X; X_n ,n\ge 1\}是一列定义在(\Omega ,\mathcal F, \mathbb P)，取值于\mathbb R^d中的随机变量，若\forall \epsilon >0 ,\\ \lim_{n\to \infty}\mathbb P(|X_n -X| \ge \epsilon) =0\\ 则称\{X_n\}依概率收敛于X,记为\\ X_n \overset{P} \to X (n\to\infty)$$

基本性质

$$\begin{aligned} &(1)X_n \overset{P} \to X , X_n \overset{P} \to Y \Rightarrow X= Y (a.s)\\ &(2)X_n \overset{P} \to X , Y_n \overset{P} \to Y \Rightarrow X_n \pm Y_n \overset{P} \to X \pm Y,X_nY_n \overset{P} \to X Y, \frac{X_n}{Y_n}\overset{P} \to \frac{X}{Y}\\ &(3)X_n \overset{P} \to X, f连续，则f(X_n) \overset{P} \to f(X) \end{aligned}$$

(1)证明：

$$\begin{aligned} \mathbb P(|X-Y| >0) &=\mathbb P(\bigcup_{k=1}^{\infty}|X-Y| >\frac 1 k)\\ &= \lim_{k\to\infty}\mathbb P(|X-Y| >\frac 1 k) \\ &\le \lim_{k\to\infty}\lim_{n\to\infty} \mathbb P(|X-X_n+ X_n-Y| >\frac 1 k) \\ &\le \lim_{k\to\infty}\lim_{n\to\infty} [\mathbb P(|X-X_n|>\frac 1 {2k}) + \mathbb P(|X_n-Y| >\frac 1 {2k})]\\ &=0 \end{aligned}$$

下述命题给出了几乎处处收敛和依概率收敛的关系：

命题

$$X_n \overset{a.s} \to X \Rightarrow X_n \overset{P} \to X$$

证明：$\forall \epsilon >0$

$$0=\lim_{N\to \infty} \mathbb P(\bigcup_{n=N}^{\infty} |X_n-X| \ge \epsilon) \ge \lim_{N\to \infty}\mathbb P(|X_N-X| \ge \epsilon)$$

该命题的逆命题不成立，但是有如下定理

定理6.2.1

$$X_n \overset{P} \to X \Leftrightarrow 存在子列\{n_k\}的子列\{n_k'\}， 使得 X_{n_k'} \overset{a.s}\to X \\$$

证明：$\Rightarrow$：只需证

$$X_n \overset{P} \to X \Rightarrow 存在子列X_{n_k} \overset{a.s}\to X$$

取$n_k \uparrow +\infty$，使得

$$\mathbb P ( |X_{n_k} -X|> \frac 1 {2^k}) < \frac 1 {2^k}$$

那么

$$X_{n_k} \overset{a.s}\to X$$

$\Leftarrow$：反证法，如果$X_n \overset{P} \nrightarrow X$，那么$\exists \epsilon_0 >0$，使得

$$a_n \triangleq \mathbb P(|X_n -X| \ge \epsilon) \nrightarrow0$$

所以存在子列$a_{n_k}$，使得

$$a_{n_k}\to a_0>0$$

但是由条件可知，$\{X_{n_k}\}$存在子列$\{X_{n_k’}\}$使得

$$X_{n_k'} \overset{a.s}\to X$$

从而

$$X_{n_k'} \overset{P}\to X \\ a_{n_k'}\to 0$$

与

$$a_{n_k}\to a_0>0$$

矛盾。

接下来利用该定理证明基本性质(3)

证明：因为$X_n \overset {P} \to X$，所以${X_{n_k}}$有子列${X_{n_k}’}$满足$X_{n_k’} \overset {a.s} \to X$，又因为$f$连续，所以

$$f(X_{n_k'} ) \overset {a.s} \to f(X)$$

由定理定理6.2.1可得

$$f(X_n) \overset {P} \to f(X)$$

利用性质(3)可以推出性质(2)的全部结论。

习题

习题1

（课本P210/8.1/3）

证明：因为$X$有限，所以

$$\lim_{n\to \infty} \mathbb P(|X|>n)=0$$

所以$\forall \epsilon >0$，存在$N_1$，使得

$$\mathbb P(|X|> N_1) <\frac {\epsilon} 4$$

因为$X_n \overset{a.s} \to X$，所以

$$\mathbb P(\bigcap _{k=1}^{\infty} \bigcup _{n=k}^{\infty}|X_n-X| >1) =\lim_{k\to \infty} \mathbb P( \bigcup _{n=k}^{\infty}|X_n-X| >1) <\frac {\epsilon}4$$

所以存在$N_2 >0$，使得

$$\mathbb P( \bigcup _{n=N_2+1}^{\infty}|X_n-X| >1) <\frac {\epsilon}4$$

从而可得

$$\begin{aligned} \mathbb P(\bigcup _{n=N_2+1}^{\infty}|X_n| >1+ N_1) & =\mathbb P(\bigcup _{n=N_2+1}^{\infty}|X_n| >1+ N_1,|X|\le N_1) + \mathbb P(\bigcup _{n=N_2+1}^{\infty}|X_n| >1+ N_1,|X|> N_1) \\ &\le \mathbb P(\bigcup _{n=N_2+1}^{\infty}|X_n-X| >1) + \mathbb P(|X|> N_1)\\ &< \frac \epsilon 4 + \frac \epsilon 4 \\ &=\frac \epsilon 2 \end{aligned}$$

因为$X_n$有限，所以$\forall k\le N_2$，存在$M_k$，使得

$$\mathbb P(|X_k|>M_k)<\frac \epsilon {2N_2}$$

现在取

$$M(\epsilon) =\max\{N_1 +1 ,M_1,...,M_{N_2-1}\}$$

那么

$$\begin{aligned} \mathbb P(\sup|X_n|\le M(\epsilon)) &= \mathbb P(\bigcap_{n=1}^{\infty}\{|X_n|\le M(\epsilon)\})\\ &=1-\mathbb P(\bigcup_{n=1}^{\infty}\{|X_n|> M(\epsilon)\}) \\ &=1-\mathbb P(\bigcup_{n=1}^{N_2}\{|X_n|> M(\epsilon)\}) -\mathbb P(\bigcup_{N_2+1}^{\infty}\{|X_n|> M(\epsilon)\})\\ &\ge1-\sum_{n=1}^{N_2}\mathbb P(\{|X_n|> M(\epsilon)\}) -\frac \epsilon 2 \\ &\ge 1- N_2 \times \frac \epsilon {2N_2}-\frac \epsilon 2 \\ &= 1- \epsilon \end{aligned}$$

习题2

（课本P215/8.2/2）

证明：因为$X_n \overset{P} \to X$，$f$为有界一致连续函数，所以

$$f(X_n) \overset{P} \to f(X),|f(X)| \le M(M>0)$$

找$\{f(X_n)\}$的子列$\{f(X_{n_k})\}$，使得

$$\lim_{n\to \infty} \int |f(X_{n_k})-f(X)| d\mu = \varlimsup_{n\to \infty}\int |f(X_{n})-f(X)| d\mu$$

因为

$$f(X_{n_k}) \overset{P} \to f(X)$$

所以

$$f(X_{n_k}) -f(X)\overset{P} \to 0$$

从而存在$\{X_{n_k}\}$的子列$\{X_{n_k’}\}$，使得

$$f(X_{n_k'}) -f(X)\overset{a.s} \to 0$$

注意到

$$|f(X_{n_k'}) -f(X)|\le 2M,2M可积$$

所以由控制收敛定理可得

$$\varlimsup_{n\to \infty}\int |f(X_{n})-f(X)| d\mu=\lim_{n\to \infty} \int |f(X_{n_k'})-f(X)| d\mu = \int \lim_{n\to \infty} |f(X_{n_k'})-f(X)| d\mu =0$$

所以

$$\lim_{n\to \infty}\int |f(X_{n})-f(X)| d\mu =0$$

注意到

$$0\le \lim_{n\to \infty}|\int f(X_{n})-f(X) d\mu| \le \lim_{n\to \infty}\int |f(X_{n})-f(X)| d\mu =0$$

因此

$$\int f(X_n) d\mu \to \int f(X)d\mu \\ \mathbb E[f(X_n)]\to \mathbb E[f(X)]$$

习题3

$$X_n \overset{P}\to X,Y_n \overset {P}\to Y,则X_n + Y_n \overset{P}\to X +Y$$

证明：因为

$$\{|X_n+ Y_n -X-Y|\ge \epsilon\} \subset \{|X_n-X|\ge \frac \epsilon 2\}\bigcup \{|Y_n-Y|\ge \frac \epsilon 2\}$$

所以

$$\mathbb P(|X_n+ Y_n -X-Y|\ge \epsilon)\le \mathbb P(|X_n-X|\ge \frac \epsilon 2) +\mathbb P(|Y_n-Y|\ge \frac \epsilon 2) \\ \lim_{n\to \infty}\mathbb P(|X_n+ Y_n -X-Y|\ge \epsilon) \le \lim_{n\to \infty}\mathbb P(|X_n-X|\ge \frac \epsilon 2) + \lim_{n\to \infty}\mathbb P(|Y_n-Y|\ge \frac \epsilon 2) =0 \\ X_n + Y_n \overset{P}\to X +Y$$

习题4

$$X_n \overset{P}\to X, f一致连续，则 f(X_n) \overset{P}\to f(X)$$

证明：因为$f$一致连续，所以$\forall \epsilon>0, \exists \delta >0$，使得$|X_n- X|< \delta$时，

$$|f(X_n)- f(X)| <\epsilon$$

因此

$$|X_n- X|< \delta \Rightarrow |f(X_n)- f(X)| <\epsilon \\ \mathbb P(|X_n- X|< \delta) \le \mathbb P(|f(X_n)- f(X)| <\epsilon )$$

令$n\to \infty$可得

$$1 =\lim_{n\to \infty} \mathbb P(|X_n- X|< \delta) \le \lim_{n\to \infty}\mathbb P(|f(X_n)- f(X)| <\epsilon ) \le 1 \\ \lim_{n\to \infty}\mathbb P(|f(X_n)- f(X)| <\epsilon )= 1 \\ f(X_n) \overset{P}\to f(X)$$