高等概率论第十三讲

记录本校的高等概率论课程笔记，参考教材《测度与概率》。

本讲介绍了矩收敛，$L^r$收敛，依分布收敛以及概率测度的弱收敛。

3.矩收敛与$L^r$收敛

1.$L^r$收敛

$L^r$收敛的定义

定义：

$$设(\Omega, \mathcal F, P)是一概率空间，定义L^r=L^r(\Omega, \mathcal F, P) =\{r.v\ \ X:\mathbb E|X|^r< \infty\}。\\若\{X;X_n ,n\ge 1\}\subset L^r且\mathbb E|x _n-x|^r \to 0，则称X_n \ r阶矩收敛于X，记为：\\ X_n \overset{r} \to X \ \ \ \ \ (n\to \infty)$$

推论(1)

$$X_n \overset {r}\to X \Rightarrow X_n \overset{P}\to X \ \ \ \ \ (n\to \infty)$$

证：$\forall \epsilon >0$

$$\mathbb P(|X_n -X| \ge \epsilon) \le \epsilon^{-r} \mathbb E |X_n-X|^r \to 0$$

推论(2)

$$X_n \overset {r}\to X\Rightarrow \mathbb E|X_n|^r \to \mathbb E|X|^r$$

证明之前先介绍Cr不等式以及Minkowski不等式。

引理 1 ：Cr不等式

$X_1,…,X_n$是随机变量，$S_n = \sum_{i=1}^n X_i$，那么

$$\mathbb E |S_n|^r \le c_r \sum_{i=1}^n \mathbb E|X_i|^r\\ c_r=\begin{cases} 1, & 0<r\le 1\\ n^{r-1}, & r>1 \end{cases}$$

证明：令$\xi $是一个随机变量，以相同概率取值于$a_1,…,a_n$，那么

$$\mathbb E |\xi|= \frac 1 n \sum_{i=1}^n |a_i|, \mathbb E |\xi|^r= \frac 1 n \sum_{i=1}^n |a_i|^r$$

下面证明

$$\Big(\sum_{i=1}^n |a_i|\Big)^r \le c_r\sum_{i=1}^n |a_i|^r \\ c_r=\begin{cases} 1, & 0<r\le 1\\ n^{r-1}, & r>1 \end{cases}$$

如果$r>1$，取$f(x)=x^r$，利用Jenson不等式可得

$$f(\mathbb E |\xi|) \le \mathbb E f(|\xi|)= \mathbb E|\xi|^r \\ \frac 1 {n^r} \Big(\sum_{i=1}^n |a_i|\Big)^r \le \frac 1 n \sum_{i=1}^n |a_i|^r \\ \Big(\sum_{i=1}^n |a_i|\Big)^r \le n^{r-1}\sum_{i=1}^n |a_i|^r= c_r \sum_{i=1}^n |a_i|^r$$

如果$0<r\le 1$，注意到$a_i$全为$0$时结论显然，否则利用$x \le x^r (0<x\le 1)$可得

$$\frac{|a_k|}{\sum_{i=1}^n |a_i|} \le \frac{|a_k|^r}{(\sum_{i=1}^n |a_i|)^r}(k=1,...,n)$$

关于$k$累加可得

$$1=\frac{\sum_{k=1}^n |a_k|}{\sum_{i=1}^n |a_i|} \le \frac{\sum_{k=1}^n |a_k|^r}{(\sum_{i=1}^n |a_i|)^r} \\ (\sum_{i=1}^n |a_i|)^r \le \sum_{k=1}^n |a_k|^r = c_r \sum_{k=1}^n |a_k|^r$$

综上

$$\Big(\sum_{i=1}^n |a_i|\Big)^r \le c_r\sum_{i=1}^n |a_i|^r \\ c_r=\begin{cases} 1, & 0<r\le 1\\ n^{r-1}, & r>1 \end{cases}$$

现在取$a_i =X_i$，带入上述不等式可得

$$\Big(\sum_{i=1}^n |X_i|\Big)^r \le c_r\sum_{i=1}^n |X_i|^r$$

两边取期望可得

$$\mathbb E \Big(\sum_{i=1}^n |X_i|\Big)^r \le c_r\sum_{i=1}^n \mathbb E |X_i|^r$$

注意到

$$\mathbb E |S_n|^r =\mathbb E \Big(|\sum_{i=1}^n X_i|\Big)^r \le \mathbb E \Big(\sum_{i=1}^n |X_i|\Big)^r \le c_r\sum_{i=1}^n \mathbb E |X_i|^r$$

从而Cr不等式成立。

引理 2 ：Minkowski不等式

当$r\ge 1$时，在$L^r$中定义$||x||_r = (\mathbb E|x|^r)^{\frac 1 r}$，那么$||.||_r$是范数，特别地

$$||x+y||_r \le ||x||_r +||y||_r$$

因此可以在$L^r$中定义距离

$$d(x,y) = ||x-y||_r$$

证：$r=1$时即为三角不等式，显然成立。否则注意到有如下事实

$$\mathbb E|x+y|^r = \mathbb E|x+y|^{r-1}|x+y| \le \mathbb E|x||x+y|^{r-1} +\mathbb E|y||x+y|^{r-1}$$

回顾Holder不等式

$$\mathbb E|xy| \le (\mathbb E|x|^p)^{\frac 1 p}(\mathbb E|x|^q)^{\frac 1 q} \\ \frac 1 p + \frac 1 q = 1,p\ge 1, q\ge 1$$

这里取$p=r,q=\frac r {r-1}$可得

$$\begin{aligned} \mathbb E|x+y|^r &=\mathbb E|x||x+y|^{r-1} +\mathbb E|y||x+y|^{r-1}\\ &\le (\mathbb E|x|^r)^{\frac 1 r}(\mathbb E|x+y|^{(r-1)\times \frac r {r-1}})^{\frac {r-1} r} + (\mathbb E|y|^r)^{\frac 1 r}(\mathbb E|x+y|^{(r-1)\times \frac r {r-1}})^{\frac {r-1} r} \\ &=(\mathbb E|x|^r)^{\frac 1 r}(\mathbb E|x+y|^{r})^{\frac {r-1} r} + (\mathbb E|y|^r)^{\frac 1 r}(\mathbb E|x+y|^{r})^{\frac {r-1} r}\\ &=\Big( (\mathbb E|x|^r)^{\frac 1 r}+(\mathbb E|y|^r)^{\frac 1 r}\Big) (\mathbb E|x+y|^{r})^{1 - \frac {1} r} \end{aligned}$$

如果$\mathbb E|x+y|^{r} < \infty$，那么两边同除$(\mathbb E|x+y|^{r})^{1 - \frac {1} r}$即可得到：

$$(\mathbb E|x+y|^r)^{\frac 1 r } \le (\mathbb E|x|^r)^{\frac 1 r}+(\mathbb E|y|^r)^{\frac 1 r} \\ ||x+y||_r \le ||x||_r + ||y||_r$$

如果$\mathbb E|x+y|^{r} = \infty$，那么$(\mathbb E|x|^r)^{\frac 1 r}$和$(\mathbb E|y|^r)^{\frac 1 r}$至少有一个为正无穷，否则由Cr不等式可得

$$\mathbb E|x+y|^{r} \le 2^{r-1} (\mathbb E |x|^r + \mathbb E |y|^r) <\infty$$

从而产生矛盾。因此$\mathbb E|x+y|^{r} = \infty$时不等号两边都为$\infty$，结论也成立。

接下来证明推论2，首先考虑$r\le 1$的情形，应用Cr不等式$n=2$的情形：

$$\mathbb E|X_n|^r =\mathbb E|X_n-X+X|^r \overset{Cr不等式}\le \mathbb E|X_n-X|^r + \mathbb E|X|^r \Rightarrow \mathbb E|X_n|^r - \mathbb E|X|^r \le \mathbb E|X_n-X|^r \\ \mathbb E|X|^r =\mathbb E|X-X_n+X_n|^r \overset{Cr不等式}\le \mathbb E|X-X_n|^r +\mathbb E|X_n|^r \Rightarrow \mathbb E|X|^r - \mathbb E|X_n|^r \le \mathbb E|X-X_n|^r$$

所以

$$|\mathbb E|X_n|^r - \mathbb E|X|^r |\le \mathbb E|X-X_n|^r$$

令$n\to \infty$可得

$$0\le \lim_{n\to\infty}|\mathbb E|X_n|^r - \mathbb E|X|^r |\le \lim_{n\to\infty}\mathbb E|X-X_n|^r =0 \\ \lim_{n\to \infty} \mathbb E|X_n|^r= \mathbb E|X|^r$$

接下来考虑$r>1$的情形，应用Minkowski不等式可得

$$(\mathbb E|X_n|^r)^{\frac 1 r } =(\mathbb E|X_n-X+X|^r)^{\frac 1 r } \le (\mathbb E|X_n-X|^r )^{\frac 1 r } +(\mathbb E|X|^r )^{\frac 1 r }$$

取上极限可得

$$\varlimsup_{n\to \infty} (\mathbb E|X_n|^r)^{\frac 1 r } \le \varlimsup_{n\to \infty} (\mathbb E|X_n-X|^r )^{\frac 1 r } + (\mathbb E|X|^r )^{\frac 1 r } =(\mathbb E|X|^r )^{\frac 1 r } <\infty$$

另一方面

$$(\mathbb E|X|^r)^{\frac 1 r } =(\mathbb E|X-X_n+X_n|^r)^{\frac 1 r } \le (\mathbb E|X_n-X|^r )^{\frac 1 r } +(\mathbb E|X_n|^r )^{\frac 1 r }$$

取下极限可得

$$(\mathbb E|X|^r)^{\frac 1 r } \le \varliminf_{n\to \infty} \Big((\mathbb E|X_n-X|^r )^{\frac 1 r } + (\mathbb E|X_n|^r )^{\frac 1 r }\Big) \le \varlimsup_{n\to \infty}(\mathbb E|X_n-X|^r )^{\frac 1 r } + \varliminf_{n\to \infty}(\mathbb E|X_n|^r )^{\frac 1 r } =\varliminf_{n\to \infty}(\mathbb E|X_n|^r )^{\frac 1 r }$$

注意这里使用了如下事实

$$\varliminf_{n\to \infty}(a_n +b_n) \le \varlimsup_{n\to \infty}a_n + \varliminf_{n\to \infty} b_n$$

结合两个方向的不等式可得

$$\varlimsup_{n\to \infty} (\mathbb E|X_n|^r)^{\frac 1 r } \le (\mathbb E|X|^r )^{\frac 1 r } \le \varliminf_{n\to \infty}(\mathbb E|X_n|^r )^{\frac 1 r }\\ (\mathbb E|X|^r )^{\frac 1 r }=\lim_{n\to \infty}(\mathbb E|X_n|^r )^{\frac 1 r }$$

推论(3)

考虑空间$L^{\infty}$（即$r=\infty$时的$L^r$）

$$L^{\infty} = \{r.v.\ X,\exists M >0 ,s.t \ |X| \le M (a.s)\}$$

在其上定义

$$||X||_{\infty} = \inf \{M : |X| \le M (a.s)\}$$

$||X||_{\infty}$称为$X$的本性上确界，也满足

$$||X+Y||_{\infty} \le ||X||_{\infty}+||Y||_{\infty}$$

如果$0<r <r’<\infty$，那么

$$(\mathbb E|X|^{r'} )^{\frac 1 {r'} }\ge (\mathbb E|X|^{r} )^{\frac 1 {r} }$$

证明见习题。

进一步$r>0$时，

$$||X||_{\infty} \ge ||X||_r$$

证明：由定义可知$|X| \le ||X||_{\infty}$，所以

$$(\mathbb E |X|^r)^{\frac 1 r} \le (\mathbb E (||X||_{\infty}^r)^{\frac 1 r} =(||X||_{\infty}^r)^{\frac 1 r} =||X||_{\infty}$$

2.$L^r$收敛与矩收敛

定理

$$设X_n \overset{P}\to X，则以下结论等价：\\ \begin{aligned} &(1)\mathbb E|X_n-X|^r \to 0 (n\to \infty)\\ &(2)\mathbb E|X_n|^r \to \mathbb E|X|^r (n\to \infty) \end{aligned}$$

证明之前给出如下引理：

引理 3

$$|X_n|\le U_n，U_n可积，U_n \overset{a.s} \to U，\mathbb EU_n\to \mathbb EU，那么\\ \lim_{n\to \infty}\mathbb EX_n = \mathbb E \lim_{n\to \infty}X_n$$

证明见习题。

接下来利用引理3证明定理。

证明：$(1)\Rightarrow (2)$已证

$(2)\Rightarrow (1)$需证$\varlimsup _{n\to \infty} \mathbb E|X_n-X|^r =0$，因为$X_n \overset{P}\to X$，所以可取子列$\{n_k\}$使得

$$X_{n_k}\overset{a.s}\to X 且\\ \varlimsup _{n\to \infty} \mathbb E|X_n-X|^r = \lim _{k\to \infty} \mathbb E|X_{n_k}-X|^r$$

注意这显然是可以做到的，因为由上极限的定义可知存在$\{n_k’\}$使得

$$\varlimsup _{n\to \infty} \mathbb E|X_n-X|^r = \lim _{k\to \infty} \mathbb E|X_{n_k'}-X|^r$$

又由于$X_n \overset{P}\to X$，所以$X_{n_k’}\overset{P}\to X$，我们在$\{X_{n_k’}\}$取子列$\{n_k\}$使得$X_{n_k}\overset{a.s}\to X$即可。

由Cr不等式可知

$$|X_{n_k}- X| ^r \le C_r (|X_{n_k}|^r + |X|^r) \triangleq U_{n_k}$$

因为$X ,X_{n_k} \in L^r$，所以$U_{n_k}$可积。又由$X_{n_k}\overset{a.s}\to X$可知，$U_{n_k} \overset{a.s}\to 2C_r|X|^r\triangleq U$，$\mathbb E U_{n_k} \to 2 C_r \mathbb E |X|^r = \mathbb E U$

从而由引理3可知

$$\begin{aligned} \varlimsup _{n\to \infty} \mathbb E |X_n- X|^r &= \lim_{k\to \infty} \mathbb E |X_{n_k}- X|^r \\ &=\mathbb E \lim_{k\to \infty} |X_{n_k}- X|^r \\ &=0 \end{aligned}$$

最后给出如下定理：

定理 7.3.2 (推广的勒贝格控制收敛定理)

$$X_n \overset {P}\to X，若存在可积随机变量Y，使得|X_n|\le Y(\forall n)，则\\ \lim_{n\to \infty} \mathbb E|X_n -X|^r = 0$$

证：取子列$\{n_k\}$满足

$$X_{n_k}\overset{a.s}\to X \\ \varlimsup _{n\to \infty} \mathbb E|X_n-X|^r = \lim _{k\to \infty} \mathbb E|X_{n_k}-X|^r$$

因为$|X_{n_k}-X | \le 2|Y|$，由控制收敛定理可得

$$\varlimsup _{n\to \infty} \mathbb E|X_n-X|^r = \lim _{k\to \infty} \mathbb E|X_{n_k}-X|^r = \mathbb E \lim _{k\to \infty}|X_{n_k}-X|^r =0$$

4.依分布收敛与概率测度的弱收敛

1.依分布收敛

依分布收敛的定义

$$设\{X;X_n,n\ge 1\}一列实值r.v，分布函数分别为\{F;F_n,n\ge 1\}，记\mathcal C(F)为F的连续点全体。\\ 若\lim_{n\to \infty} F_n( x) =F(x)，\forall x\in \mathcal C(F)，则称\{X_n\}依分布收敛于X，记为\\ X_n \overset{d} \to X \ \ \ \ \ (n\to \infty)$$

推论

$$X_n \overset{d} \to X，X_n \overset{d} \to Y\Rightarrow X \overset{d} \to Y$$

证明：只需证$F_X \equiv F_Y$，注意到

$$\lim_{n\to \infty} F_n(x) = F_X(x) = F_Y(x) \\ \forall x \in \mathcal C(F_X) \bigcap \mathcal C(F_Y)$$

又由于$F_X,F_Y$单调，所以他们的间断点可数，因此$\mathcal C(F_X) \bigcap \mathcal C(F_Y)$在$\mathbb R^d$中稠，从而$\forall x_0 \in \mathbb R^d$，可取$x_n \in \mathcal C(F_X) \bigcap \mathcal C(F_Y)$，使得$F_X(x_n)\to F_X(x_0)，F_Y(x_n)\to F_X(x_0)$，所以

$$F_X(x_0)=F_Y(x_0)$$

现在给出如下问题，如果$X_n \overset d \to X$，$Y_n \overset d \to Y$，那么能否推出$X_n \pm Y_n\overset d \to X\pm Y$？

回答是否定的，考虑如下例子

$$X_n \sim \mathcal N(0, 1+\frac 1 n ),X\sim \mathcal N(0, 1)\\ Y_n= -X_n \sim \mathcal N(0, 1+\frac 1 n ),Y\sim \mathcal N(0, 1)$$

那么$X_n+Y_n=0$，但是$X+Y \sim \mathcal N(0, 2)$

定理 6.4.1

$$若\{X;X_n,n\ge 1\}都是定义在(\Omega,\mathcal F,P) 上的实值r.v，那么X_n \overset P \to X \Rightarrow X_n \overset d \to X。\\如果X=C为常数，则 X_n \overset d \to X \Rightarrow X_n \overset P\to X, \\ 此时 X_n \overset d \to X \Leftrightarrow X_n \overset P \to X$$

证：$\forall \epsilon >0,\forall x$

$$\begin{aligned} F_n(x) &= \mathbb P(X_n \le x) \\ &= \mathbb P(X_n \le x, X\le x+ \epsilon) + \mathbb P(X_n \le x, X> x+ \epsilon) \\ &\le \mathbb P(X\le x+ \epsilon) + \mathbb P( X-X_n\ge \epsilon) \end{aligned}$$

令$n\to \infty$可得

$$\varlimsup_{n\to \infty} F_n(x) \le F(x+\epsilon)$$

再令$\epsilon \to 0$可得

$$\varlimsup_{n\to \infty} F_n(x) \le F(x)$$

同理可证$\varliminf_{n\to \infty} F_n(x) \ge F(x)$，这部分参考习题。

淡收敛与弱收敛的定义

$$设\{F_n,n\ge 1\}是一列概率分布函数，F是一分布函数，若\\ \lim_{n\to \infty} F_n(x) = F(x) \ \ \ \ \ \forall x \in \mathcal C(F)\\ 则称\{F_n\}淡收敛于F，记为\\ F_n \overset{v} \to F\\ 若进一步有F_n(\infty)-F_n(-\infty)\to F(\infty)-F(-\infty)，则称\{F_n\}弱收敛于F，记为\\ F_n \overset{w} \to F$$

定理 6.4.2

$$设\{F_n,n\ge 1\}是\mathbb R^d上一列概率分布函数，则它一定有淡收敛子列。$$

习题

习题1

$$如果0 < r\le r' < \infty，那么(\mathbb E[|X|^r])^{\frac 1 r} \le (\mathbb E[|X|^{r'}])^{\frac 1 {r'}}$$

证明：令$Y= X^r$，则原不等式等价于

$$\Leftrightarrow (\mathbb E[|Y|])^{\frac 1 r} \le (\mathbb E[|Y|^{\frac{r'}r}])^{\frac 1 {r'}} \\ \Leftrightarrow \mathbb E[|Y|] \le (\mathbb E[|Y|^{\frac{r'}r}])^{\frac r {r'}}$$

因为$\frac{r’}{r} >1$，所以取$p=\frac{r’}{r} ,q$，使得

$$\frac 1 p + \frac 1 q =1$$

从而原不等式等价于

$$\mathbb E[|Y|] \le (\mathbb E[|Y|^{p}])^{\frac 1 p} (\mathbb E[|1|^{q}])^{\frac 1 q}$$

此即为Holder不等式，所以原不等式成立。

习题2

$$|X_n|\le U_n，U_n可积，U_n \overset{a.s} \to U，\mathbb E[U_n]\to \mathbb E[U]，那么\\ \lim_{n\to \infty}\mathbb EX_n = \lim_{n\to \infty} \mathbb EX_n$$

证明：因为$U_n \overset{a.s} \to U$，所以$\exists N_0$，使得$n> N_0$时，

$$|U_n- U| \le 1 (a.s)\\ |U_n| \le |U|+ |U_n -U| \le |U|+1(a.s)\\ |U|\le |U_n| + |U_n- U| \le |U_n|+1$$

取

$$V =\max \{ |U_1|, ...,|U_{N_0}| ,|U|+1\}$$

那么

$$|X_n| \le U_n \le |U_n|\le V$$

注意到$U_n$可积，从而$\mathbb E[U_n]$有限，而$|U|\le |U_n|+1$，$\mathbb E[U_n]\to \mathbb E[U]$，所以

$$\mathbb E[U]有限，U可积$$

因为$U_1,…U_{N_0},U$可积，所以$V$可积，从而$X_n$被可积函数控制，由控制收敛定理可得

$$\lim_{n\to \infty} \mathbb E[X_n]= \mathbb E[\lim_{n\to \infty}X_n]$$

习题3

$$若\{X;X_n,n\ge 1\}都是定义在(\Omega,\mathcal F,P) 上的实值r.v，那么X_n \overset P \to X \Rightarrow X_n \overset d \to X\\ 证明\varliminf_{n\to \infty} F_n(x) \ge F(x)$$

证明：$\forall x \in \mathcal C(F),$

$$\begin{aligned} \mathbb P(X \le x-\epsilon) &= \mathbb P(X \le x-\epsilon, X_n\le x) + \mathbb P(X\le x-\epsilon, X_n> x) \\ &\le \mathbb P( X_n\le x) + \mathbb P(|X- X_n|> \epsilon) \end{aligned}$$

令$n\to \infty$可得

$$F(x-\epsilon) \le \varliminf _{n\to \infty}F_n(x)$$

因为$x$为连续点，所以令$\epsilon \to 0$可得

$$F(x) \le \varliminf _{n\to \infty}F_n(x)$$

习题4

$$如果X=C为常数，则 X_n \overset d \to X \Leftrightarrow X_n \overset P \to X$$

证明：只需证$\Rightarrow$，注意到

$$F(x)=\begin{cases} 1, & x\ge C\\ 0, & x < C \end{cases}$$

所以

$$\begin{aligned} \mathbb P(|X_n-X|>\epsilon) & =\mathbb P(|X_n-C|>\epsilon) \\ &=\mathbb P(X_n>C+\epsilon)+ \mathbb P(X_n<C-\epsilon) \\ &\le 1- \mathbb P(X_n\le C+\epsilon)+\mathbb P(X_n\le C-\epsilon)\\ &=1-F_n( C+\epsilon) +F_n( C-\epsilon) \end{aligned}$$

令$n\to \infty$可得

$$\lim_{n\to \infty}\mathbb P(|X_n-X|>\epsilon) = 1-F( C+\epsilon) +F( C-\epsilon)=0$$

所以

$$X_n \overset P \to X$$

习题5

（课本P223/8.3/4）

证明：

$$\begin{aligned} \mathbb E[|X|^r] &= \mathbb E[\lim_{n\to\infty}|X_n|^r] \\ &\le \mathbb E[\sup_n|X_n|^r] \\ & <\infty \end{aligned}$$

所以$X\in L^r(\mathbb P)$。因为

$$X_n \overset{a.e}\to X$$

所以$\forall \epsilon >0, \exists N $，使得$n> N$时，

$$|X_n-X| <\epsilon^{\frac 1 r} (a.e)\\ \begin{aligned} \mathbb E[|X_n -X|^r] &=\mathbb E[|X_n -X|^r\Big||X_n-X| <\epsilon^{\frac 1 r}] +\mathbb E[|X_n -X|^r\Big||X_n-X|>\epsilon^{\frac 1 r}] \\ &=\mathbb E[|X_n -X|^r\Big||X_n-X| <\epsilon^{\frac 1 r}] \\ &\le \epsilon \end{aligned}$$

由$\epsilon$的任意性可得

$$\lim_{n\to \infty} \mathbb E[|X_n -X|^r]= 0 \\ X_n \overset{r}\to X$$