高等概率论第五讲

记录本校的高等概率论课程笔记，参考教材《测度与概率》。

本讲介绍期望计算以及收敛定理。

3.积分变换和期望计算

定理3.3.1

$$设(\Omega ,\mathcal F, \mathbb P)是概率空间，X是定义在其上，取值于可测空间(E,\Sigma)的随机变量（随机元），\\ f是(E,\Sigma)到(\mathbb R, \mathcal B)上可测函数，\\ 则\int_{\Omega} f(X) d\mathbb P= \mathbb E [f(X)]= \int_{E}f(x)\mu_X(dx) ,其中\mu_X是X在\mathbb P下的概率分布\\ 该等式的意义是一个若一个积分有意义，则另一个积分也有意义且相等$$

证明：老师没有给出完整证明，主要讲解了证明思路。

当$f=1_A,A\in \Sigma$时，

$$左边=\mathbb E[1_A(X)]= \mathbb E[1_{X\in A}]=\mathbb P(X\in A) =\mu_X(A) = \int 1_A(X) \mu_X(dx)=右边$$

接下来的思路是将其推广到非负简单，再到非负可测，最后到一般情形。

推论

$$若X是定义在\mathbb P上的实r.v且概率分布为\mu_X，分布函数为F，则\\ \mathbb E[X] =\int_{\mathbb R} x \mu_X (dx) =\int_{-\infty}^{\infty} x dF(x),\\ 更一般的，\mathbb E[f(X)] =\int_{\mathbb R} f(x) \mu_X (dx) =\int_{-\infty}^{\infty} f(x) dF(x)$$

定理 3.3.2

$$设(E ,\Sigma, \mu)是（概率）测度空间，P是其上的非负实值可测函数，定义q上的函数\nu如下:\\ \nu(B) =\int_{B} p(x) \mu(dx) ,B \in q \\ 则\nu是(E,\Sigma)上的测度，且对(E,\Sigma)上任意可测函数g \\ \int_E g(x)\nu(dx) = \int_E g(x)p(x)\mu(dx)\\ 该等式的含义是，若一边有意义，则另一边也有意义，且相等$$

证明：先考虑第一个等式，需要验证$\nu$是测度，取$B_n \in \Sigma$互不相交：

$$\begin{aligned} \nu(\bigcup_{n=1}^{\infty} B_n) &= \int_{\bigcup_{n=1}^{\infty} B_n} p(X) \mu(dx) \\ &=\int 1_{\bigcup_{n=1}^{\infty} B_n} p(X) \mu(dx)\\ &=\int \sum_{n=1}^{\infty} 1_{B_n} p(X) \mu(dx)\\ &=\int \lim_{N\to\infty}\sum_{n=1}^{N} 1_{B_n} p(X) \mu(dx) \\ &\overset{\text{Levi}}=\lim_{N\to\infty} \sum_{n=1}^{N}\int 1_{B_n} p(X) \mu(dx)\\ &= \sum_{n=1}^{\infty}\int 1_{B_n} p(X) \mu(dx) \\ &= \sum_{n=1}^{\infty} \nu(B_n) \end{aligned}$$

当$g=1_B, B \in q$时，

$$左边=\int 1_B\nu(dx) =\nu(B)=\int_B p(X)\mu(dx)= \int_E 1_B p(X)\mu (dx)=右边$$

接下来的思路是将其推广到非负简单，再到非负可测，最后到一般情形。

推论

$$若X是一维实r.v，具有密度p,则 \\ \mathbb E[X] = \int_{-\infty}^{+\infty} x p(x) dx$$

证明：由定义可知

$$\mathbb E[X] =\int_{\mathbb R} x \mu_X (dx) =\int_{-\infty}^{\infty} x dF(x)$$

所以只需要证明

$$\forall B \in \mathcal B，\mu_X(B) =\int_B p(x) dx$$

当$B= (-\infty, a]$时，

$$\mu_X(B)=F(a)- F(-\infty)= F(a)=\int_{-\infty}^a p(x) dx$$

为证上式对任意$B \in \mathcal B$成立，定义

$$\Lambda = \{B\in \mathcal B, \mu_X(B) =\int_B p(x) dx \} \\ \mathcal C = \{ (-\infty, a], a\in \mathbb R\}$$

只要证明$\Lambda = \mathcal B$即可，显然有$\Lambda \subset \mathcal B$，并且$\mathcal C \subset A$，且$\mathcal C$是$\Pi$系，只要验证$\Lambda$是$\lambda$系即可，从而

$$\Lambda = \mathcal B$$

4.收敛定理

定理3.4.1（单调收敛定理）

$$X_n \uparrow X且存在可积r.v \ Y，使得X_n \ge Y (a.s)\\ 则\lim_{n\to \infty} \mathbb E[X_n] =\mathbb E[X] =\mathbb E[\lim_{n\to \infty} X_n]$$

证明：记$Y_n =X_n - Y$，则

$$0\le Y_n,Y_n \uparrow X-Y$$

由Levi定理可得

$$\mathbb E[X_n - Y] \uparrow \mathbb E[X - Y]$$

注意$Y$可积，所以

$$\lim_{n\to \infty}\mathbb E[X_n - Y] =\lim_{n\to \infty}\mathbb E[X_n]-\mathbb E[Y] =\mathbb E[X - Y] =\mathbb E[X]-\mathbb E[Y]$$

因此

$$\lim_{n\to \infty} \mathbb E[X_n] =\mathbb E[X] =\mathbb E[\lim_{n\to \infty} X_n]$$

定理3.4.2（Fatou引理）

$$设\{X_n\}是一列实r.v,若存在可积r.v,使得Y \le X_n (a.s),则\\ \mathbb E[{\varliminf_{n\to \infty}X_n}]\le \varliminf_{n\to \infty}\mathbb E[X_n ]$$

证明：

$$\mathbb E[{\varliminf_{n\to \infty}X_n}] =\mathbb E[\lim_{n\to\infty}\inf_{m\ge n} X_m]=\mathbb E[\lim_{n\to\infty} Y_n]$$

注意到$Y_n \uparrow$且$Y_n \ge Y$，所以由单调收敛定理可得

$$\mathbb E[{\varliminf_{n\to \infty}X_n}]=\mathbb E[\lim_{n\to\infty} Y_n] =\lim_{n\to\infty}\mathbb E[ Y_n] =\lim_{n\to\infty}\mathbb E[\inf_{m\ge n} X_m]$$

注意到

$$\mathbb E[\inf_{m\ge n} X_m] \le \mathbb E[X_n ]对任意m\ge n恒成立$$

所以

$$\mathbb E[\inf_{m\ge n} X_m] \le \inf_{m\ge n}\mathbb E[X_m ]$$

从而

$$\mathbb E[{\varliminf_{n\to \infty}X_n}] =\lim_{n\to\infty}\mathbb E[\inf_{m\ge n} X_m] \le \lim_{n\to\infty} \inf_{m\ge n}\mathbb E[X_m ] =\varliminf_{n\to \infty}\mathbb E[X_n ]$$

推论

$$设\{X_n\}是一列实r.v,若存在可积r.v,使得Y \ge X_n (a.s),则\\ \mathbb E[{\varlimsup_{n\to \infty}X_n}]\ge \varlimsup_{n\to \infty}\mathbb E[X_n ]$$

证明：取$X_n’= -X_n$，应用Fatou引理即可。

定理3.4.3（控制收敛定理）

$$若\lim_{n\to \infty }X_n =X (a.s),存在可积r.v \ Y，使得|X_n|\le Y (a.s) \\ 则\lim_{n\to \infty} \mathbb E[X_n]= \mathbb E[X] = \mathbb E [\lim_{n\to \infty} X_n]$$

证明：利用Fatou引理，注意到此时

$$X =\lim_{n\to \infty }X_n ={\varliminf_{n\to \infty}X_n} ={\varlimsup_{n\to \infty}X_n}$$

所以

$$\mathbb E [X] = \mathbb E [{\varliminf_{n\to \infty}X_n}] \le \varliminf_{n\to \infty}\mathbb E[X_n ] \le {\varlimsup_{n\to \infty}\mathbb E[X_n]} \le \mathbb E[{\varlimsup_{n\to \infty}X_n}] =\mathbb E [X]$$

所以

$$\lim_{n\to \infty} \mathbb E[X_n]= \mathbb E[X] = \mathbb E [\lim_{n\to \infty} X_n]$$

习题

习题1

（课本P120/5.3/2）

解：

$$\mathbb E|\eta|^r =\int |x|^r d(\frac1 n \sum_{k=1}^n F_k(x)) =\frac 1n \sum_{k=1}^n \int |x|^r d(F_k(x)) =\frac 1 n \sum_{k=1}^n \mathbb E|X_k|^r$$

习题2

（课本P120/5.3/3）

解：

$$\mathbb E[X^c]= \int_{-\infty}^{-c} (-c) d(F(x)) + \int_{-c}^{c} x d(F(x)) + \int_{c}^{+\infty} c d(F(x)) =\int_{-c}^{c} x d(F(x)) +c(1-F(c)-F(-c)) \\ \mathbb E[(X^c)^2]= \int_{-\infty}^{-c} c^2 d(F(x)) + \int_{-c}^{c} x^2 d(F(x)) + \int_{c}^{+\infty} c^2 d(F(x)) =\int_{-c}^{c} x^2 d(F(x)) +c^2(1-F(c)-F(-c)) \\ \mathbb D [X^C] = \mathbb E[(X^c)^2] -(\mathbb E[X^c])^2 =\int_{-c}^{c} x^2 d(F(x)) +c^2(1-F(c)-F(-c))- [\int_{-c}^{c} x d(F(x)) +c(1-F(c)-F(-c))]^2$$

习题3

（课本P121/5.3/8）

解：当$z <0$时，

$$\mathbb P(X+Y \le z) =0$$

当$0\le z < 1$时，

$$\mathbb P(X+Y \le z)=\mathbb P(X\le z,Y=0)=z (1-p)^n$$

当$1\le z < n+1$时，

$$\begin{aligned} \mathbb P(X+Y \le z) &=\sum_{i=0}^{[z]-1} \mathbb P(Y=i) +\mathbb P(X+[z] \le z) \mathbb P(Y=[z]) \\ &=\sum_{i=0}^{[z]-1} C_n^i p^i(1-p)^{n-i} +(z-[z])C_n^{[z]} p^{[z]} (1-p)^{n-[z]} \end{aligned}$$

当$z\ge n+1$时，

$$\mathbb P(X+Y \le z)= 1$$

令$Z=X+Y$，所以

$$F_Z(z)=\begin{cases} 0 & z<0\\ z(1-p)^n & 0\le z < 1 \\ \sum_{i=0}^{[z]-1} C_n^i p^i(1-p)^{n-i} +(z-[z])C_n^{[z]} p^{[z]} (1-p)^{n-[z]} & 1\le z < n+1 \\ 1 & z\ge n+1 \end{cases}$$

关于$Z$求导可得

$$p(Z)=\begin{cases} (1-p)^n & 0\le z < 1 \\ C_n^{[z]} p^{[z]} (1-p)^{n-[z]} & 1\le z < n+1 \\ 0 & 其他 \end{cases}$$

合并上述结果可得

$$p(Z)=\begin{cases} C_n^{[z]} p^{[z]} (1-p)^{n-[z]} & 0\le z < n+1 \\ 0 & 其他 \end{cases}$$

习题4

$$若\mathbb E|X| < \infty，证明： \\ \begin{aligned} &(1)\lim_{n\to \infty} \int_{|X|>n} |x| d\mathbb P =0 \\ &(2)\lim_{\mathbb P(A)\to 0} \int_{A} |x| d\mathbb P =0 \end{aligned}$$

证明：(1)令

$$A_n =\{w: |X|>n\},X_n =|X|1_{A_n^C}$$

那么

$$X_n \uparrow |X|且X_n \ge 0$$

那么

$$\lim_{n\to \infty} \mathbb E[X_n] =\lim_{n\to \infty} \int_{A_n^C} x d\mathbb P= \mathbb E[|X|]$$

注意到

$$\mathbb E[|X|] = \int_{A_n} |x|d\mathbb P +\int_{A_n^C} |x|d\mathbb P$$

令$n\to \infty$可得

$$\mathbb E[|X|] = \lim_{n\to\infty}\int_{A_n} |x|d\mathbb P + \lim_{n\to\infty}\int_{A_n^C} |x|d\mathbb P= \lim_{n\to \infty} \int_{|X|>n} |x| d\mathbb P + \mathbb E[|X|]$$

因为$\mathbb E[|X|] < \infty$，所以

$$\lim_{n\to \infty} \int_{|X|>n} |x| d\mathbb P =0$$

(2)证明：令

$$X_n =\min \{|X|,n\}$$

那么

$$X_n \ge 0, X_n \uparrow |X|$$

由单调收敛定理可得

$$\lim_{n\to \infty} \mathbb E[X_n] = \mathbb E[|X|]$$

所以$\forall \epsilon >0, \exists n$，使得

$$\mathbb E[|X|-X_n] =\mathbb E[|X|]-\mathbb E[|X_n| ] <\frac \epsilon 2$$

取$\delta \in (0, \frac{\epsilon}{2n})$，当$\mathbb P(A) < \delta$时

$$\begin{aligned} \int_A |x| d\mathbb P &= \int_A (|x|-x_n) d\mathbb P +\int_A x_n d\mathbb P \\ &\le \mathbb E[|X|-X_n] + n\mathbb P(A) \\ &\le \frac \epsilon 2 + \frac \epsilon 2 \\ &=\epsilon \end{aligned}$$

所以结论成立。