高等概率论第九讲

记录本校的高等概率论课程笔记，参考教材《测度与概率》。

本讲介绍了条件期望的定义与性质。

3.条件期望

1.基本定义

定义:

$设(\Omega, \mathcal F,\mathbb P)是一概率空间，\mathcal G是\mathcal F中\sigma代数，X是\Omega上定义的（实）随机变量，\mathbb E[X]存在，在\mathcal G上定义\\ \nu(A)=\int_{A} X d\mathbb P，A\in \mathcal G \\ 则\nu是\mathcal G上符号测度，且\nu \ll \mathbb P_{\mathcal G}(\mathbb P_{\mathcal G}表示\mathbb P限制在\mathcal G上)，\\ 故\frac{d\nu}{ d\mathbb P_\mathcal G}存在，称之为给定\mathcal G之下X的条件期望，记为\mathbb E[X| \mathcal G]$

关于该定义有以下几个注解：

$\begin{aligned} &注1:\nu(A) =\int_A \mathbb E[X |\mathcal G] d\mathbb P_\mathcal G \\ &注2:\mathbb E[X|\mathcal G]是\mathcal G可测随机变量\\ &注3：\mathbb E[X|\mathcal G]是\mathbb P_\mathcal G \ \ a.s唯一（在概率空间(\Omega,\mathcal G,\mathbb P_\mathcal G)上）\\ &\ \ \ \ \ \ \ \ 即\nu(A)=\int_Ay_1 d\mathbb P_\mathcal G= \int_Ay_2 d\mathbb P_\mathcal G,\forall A\in \mathcal G \Rightarrow y_1=y_2 (\mathbb P_\mathcal G \ a.s)\\ &注4: \int_A \mathbb E[X|\mathcal G]d\mathbb P=\int_A X d\mathbb P ,\forall A\in \mathcal G \end{aligned}$

如果$X= 1_{A},A\in \mathcal F$，那么

$\mathbb E[X|\mathcal G] =\mathbb P(A |\mathcal G)$

若$Y$是$(\Omega, \mathcal F,\mathbb P)$上定义，取值于可测空间$(E,\Sigma)$中的随机变量（随机元），则

引理

$f,g都是(\Omega, \mathcal F,\mathbb P)上可测函数且 \int_A fd\mathbb P= \int_A g d\mathbb P, \forall A \in \mathcal F \\ 则f =g (a.s)$

证明：利用反证法。记

$A = \lbrace f\neq g\rbrace= \lbrace f>g \rbrace\bigcup \lbrace f<g \rbrace$

现在假定$\mathbb P(A) >0$，那么

$\mathbb P(f>g) >0和{\mathbb P(f<g) >0}其中之一必成立$

所以不妨假设${\mathbb P(f>g) >0}$，注意到

$\lbrace f>g \rbrace =\bigcup_{n=1}^{\infty} \lbrace f > g +\frac 1 n \rbrace$

所以存在$n_0$使得

$\mathbb P(f> g+\frac 1 {n_0}) > 0$

从而

$\begin{aligned} \int_{f> g+\frac 1 {n_0}} f d \mathbb P &> \int_{f> g+\frac 1 {n_0}} (g+\frac 1 {n_0}) \mathbb P \\ &=\int_{f> g+\frac 1 {n_0}} g d \mathbb P +\frac 1 {n_0}\int_{f> g+\frac 1 {n_0}} d \mathbb P\\ &> \int_{f> g+\frac 1 {n_0}} g d \mathbb P \end{aligned}$

而$\lbrace f> g+\frac 1 {n_0}\rbrace $可测，这就与假定矛盾。

命题

$设X是(\Omega,\mathcal F, \mathbb P)上定义的（实）r.v,\mathbb E[X]存在，\\ \mathcal G是\mathcal F上的\sigma代数，Y是\Omega上定义的实值映射，若它满足：\\ \begin{aligned} &(1)Y是\mathcal G可测\\ &(2) \forall A\in \mathcal G, \int_A Y d\mathbb P=\int_A X d\mathbb P\\ \end{aligned}\\ 则Y =\mathbb E[X|\mathcal G] (a.s)$

证明：由条件知

$\forall A\in \mathcal G,\int_A Y d\mathbb P=\int_A \mathbb E[X|\mathcal G] d\mathbb P=\int_A X d\mathbb P$

由引理可得

$Y =\mathbb E[X|\mathcal G] (a.s)$

2.基本性质

$\begin{aligned} &(1)若\mathbb E[X]存在，则\forall 常数a， \mathbb E[aX|\mathcal G]= a \mathbb E[X|\mathcal G](a.s)\\ &(2)若\mathbb E[X]，\mathbb E[Y]存在，且\mathbb E[X] + \mathbb E[Y]有意义，则 \mathbb E [X+Y|\mathcal G]= \mathbb E [X|\mathcal G] +\mathbb E [Y|\mathcal G](a.s) \\ &(3)若\mathbb E[X]，\mathbb E[Y]存在且X\le Y(a.s)，则 \mathbb E [X|\mathcal G]\le \mathbb E[Y|\mathcal G](a.s)\\ &(4)若0\le X_n \uparrow X，则 0\le \mathbb E [X_n |y]\uparrow \mathbb E[X|y](a.s)\\ &(5)若X_n \ge Y, Y可积，则\mathbb E[\varliminf_{n\to\infty} X_n |Y] \le \varliminf_{n\to\infty} \mathbb E[X_n | Y](a.s)\\ &(6)若\forall n \ge 1,|X_n| \le Y,Y可积且X_n\to X，则 \lim_{n\to\infty} \mathbb E[X_n | \mathcal G]=\mathbb E[X|\mathcal G]= \mathbb E[\lim_{n\to\infty}X_n |\mathcal G] (a.s)\\ &(7)若X可积，则\mathbb E[X|\mathcal G]可积且\mathbb E[\mathbb E[X|\mathcal G]] =\mathbb E[X](a.s) \end{aligned}$

证明：(1)$a \mathbb E[X|\mathcal G]$是$\mathcal G$可测，且$\forall A\in \mathcal G$，我们有

$\begin{aligned} \int_A a \mathbb E[X|\mathcal G] d\mathbb P &=a\int_A \mathbb E[X|\mathcal G] d\mathbb P\\ &=a\int_A X d\mathbb P \\ &=\int_A aX d\mathbb P \end{aligned}$

(2)因为$\mathbb E [X|\mathcal G]，\mathbb E [Y|\mathcal G]$都可测，所以$\mathbb E [X|\mathcal G] +\mathbb E [Y|\mathcal G]$可测，注意到

$\begin{aligned} \int_A （\mathbb E [X|\mathcal G] +\mathbb E [Y|\mathcal G]） d \mathbb P &=\int_A \mathbb E [X|\mathcal G]d \mathbb P + \int_A\mathbb E [Y|\mathcal G]d \mathbb P \\ &=\int_A X d\mathbb P + \int_A Y d\mathbb P\\ &=\int_A (X+Y) d\mathbb P \end{aligned}$

(3)$\forall A\in \mathcal G$，我们有

$\int_A \mathbb E [X|\mathcal G] d \mathbb P =\int_A X d\mathbb P \le \int_A Yd\mathbb P = \int_A \mathbb E [Y|\mathcal G] d \mathbb P$

所以

$\mathbb E [X|\mathcal G] \le \mathbb E [Y|\mathcal G]$

(4)由(3)可得$\mathbb E [X_n |\mathcal G]\uparrow $，记

$Y = \lim_{n\to \infty} \mathbb E[X_n |\mathcal G]$

注意到$\forall A\in \mathcal G$

$\begin{aligned} \int_A Y d\mathbb P &=\int_A \lim_{n\to \infty} \mathbb E[X_n |\mathcal G] d\mathbb P \\ &\overset{\text{Levi}}= \lim_{n\to \infty} \int_A \mathbb E[X_n |\mathcal G] d\mathbb P \\ &= \lim_{n\to \infty} \int_A X_n d\mathbb P \\ &=\int_A \lim_{n\to \infty} X_n d\mathbb P \\ &= \int_A Xd\mathbb P \end{aligned}$

所以

$Y = \mathbb E [X|\mathcal G]$

(5)记

$0\le X_n -Y \triangleq \hat X_n$

注意到

$\varliminf_{n\to \infty} \hat X_n =\varliminf_{n\to \infty}(X_n-Y) =\lim_{n\to \infty}\underset{m\ge n} \inf(X_m -Y)$

所以

$\begin{aligned} \mathbb E[\varliminf_{n\to \infty}(X_n-Y) |\mathcal G] &=\mathbb E[\lim_{n\to \infty}\underset{m\ge n} \inf(X_m -Y)|\mathcal G] \\ &=\lim_{n\to \infty}\mathbb E[\underset{m\ge n} \inf(X_m -Y)|\mathcal G]\\ &\le \lim_{n\to \infty}\underset{m\ge n} \inf \mathbb E[(X_m -Y)|\mathcal G] \\ &=\varliminf_{n\to \infty}\mathbb E[(X_n -Y)|\mathcal G] (a.s) \end{aligned}$

从而

$\mathbb E[\varliminf_{n\to \infty}X_n|\mathcal G]-\mathbb E[Y|\mathcal G]\le \varliminf_{n\to \infty}\mathbb E[X_n|\mathcal G] -\mathbb E[Y|\mathcal G]$

因为$Y$可积，从而消去$\mathbb E[Y|\mathcal G]$可得

$\mathbb E[\varliminf_{n\to \infty}X_n|\mathcal G]\le \varliminf_{n\to \infty}\mathbb E[X_n|\mathcal G]$

(6)对$X_n$以及$-X_n$应用(5)即可证明(6)

(7)证略，可以得到如下结果

$\begin{aligned} \mathbb E[X] &=\mathbb E [\mathbb E[X | y]]\\ &=\mathbb E [\varphi(y)]\\ &=\int_{\Omega} \varphi(y) d\mathbb P \\ &=\int_{\mathbb R} \varphi(y) d F_y \\ &=\int_{\mathbb R}\mathbb E [\mathbb E[X |Y= y]] \mathbb P(y \in dy) \end{aligned}$

例1

$设(X,Y)是连续型随机变量，若有联合密度p(x,y)，边缘密度p_1(x),p_2(y)，记\\ p_{X|Y}(x,y)=\begin{cases} \frac{p(x,y)}{p_2(y)} & p_2(y)>0\\ 0 & p_2(y)=0 \end{cases}\\ 再记\\ \varphi(y)=\mathbb E[X|Y= y]= \int_{-\infty}^{+\infty} xp_{X|Y}(x,y)dx\\ 则\varphi(Y)= \mathbb E[X|Y] (a.s)$

事实上，$\forall A = Y^{-1}(B) ,B\in \mathcal B$，即$A=\lbrace w:Y(w)\in \mathcal B\rbrace$

$\begin{aligned} \int_A \varphi(y)d\mathbb P &= \int_{\lbrace Y\in B\rbrace} \varphi(y)d\mathbb P \\ &=\int_{\Omega} \varphi(y)1_{\lbrace Y\in B\rbrace}(w)d\mathbb P \\ &=\int_{\Omega} \varphi(y)1_B(y)d\mathbb P \\ &=\mathbb E[\varphi(y)1_B(y)] \\ &=\int_{-\infty}^{+\infty}\varphi(y)1_B(y) p_2(y)dy\\ &=\int_{p_2(y)=0}\varphi(y)1_B(y) p_2(y)dy + \int_{p_2(y)>0}\varphi(y)1_B(y) p_2(y)dy\\ &=\int_{p_2(y)>0}dy\int_{-\infty}^{+\infty} xp_{X|Y}(x,y) p_2(y)1_B(y)dx\\ &=\int_{-\infty}^{+\infty}dy\int_{-\infty}^{+\infty} x p(x,y)1_B(y)dx\\ &=\int_{\Omega}x1_B(y)d\mathbb P \\ &=\int_{\lbrace Y\in B\rbrace} xd\mathbb P\\ &=\int_{A} xd\mathbb P \end{aligned}$

命题

$若B是\mathcal G的非空原子（即C\subset B \Rightarrow C= \varnothing或C= B），\\ 则在B上，\mathbb E[X|\mathcal G]是常数，当\mathbb P(B)>0时，这个常数为 \\ \mathbb E[X|B]\triangleq \frac{\mathbb E[X1_B]}{\mathbb P(B)}$

证明：由于$B$非空，则$\exists w_0 \in B$，记

$B^*=\lbrace w\in B: \mathbb E[X|\mathcal G](w)=\mathbb E[X|\mathcal G](w_0)\rbrace$

则$B^ \in \mathcal G$且$B^ \subset B$，因为$B$是原子，所以

$B^*= B$

注意到

$\mathbb P(B) \mathbb E[X|B] = \int_B \mathbb E[X|\mathcal G]d\mathbb P =\int_B X d\mathbb P$

所以该常数为

$\mathbb E[X|B]= \frac{\mathbb E[X1_B]}{\mathbb P(B)}$

习题

习题1

（课本P89/7.3/1）

解：

$\begin{aligned} \mathbb P (Y=m) &=\sum_{m=n}^{\infty} \mathbb P(Y=m|X=n)\mathbb P (X=n)\\ &= \sum_{m=n}^{\infty}C_{n}^m p^m(1-p)^{n-m} \frac{e^{-\lambda}\lambda^n}{n!}\\ &= \sum_{m=n}^{\infty}\frac{n!}{m!(n-m)!} p^m(1-p)^{n-m}\frac{e^{-\lambda}\lambda^n}{n!}\\ &=\frac{e^{-\lambda}(\lambda p)^m}{m!} \sum_{n=m}^{\infty} \frac{(\lambda -\lambda p)^{n-m}}{(n-m)!}\\ &=\frac{e^{-\lambda}(\lambda p)^m}{m!} e^{\lambda-\lambda p} \\ &=\frac{e^{-\lambda p}(\lambda p)^m}{m!} \end{aligned}$

习题2

（课本P89/7.3/2）

解：总时间$T= NX_k$，所以

$\begin{aligned} \mathbb E[T] &=\mathbb E[NX_k]\\ &=\mathbb E[\mathbb E[NX_k|N=n]]\\ &=\sum_{n=0}^{\infty} \frac{e^{-\lambda}(\lambda )^n}{n!} n\mathbb E[X_k] \\ &=\frac{\lambda }{\beta} \sum_{n=0}^{\infty} \frac{e^{-\lambda}\lambda^{n-1}}{(n-1)!}\\ &=\frac{\lambda }{\beta} \end{aligned}$