高等概率论第四讲

记录本校的高等概率论课程笔记，参考教材《测度与概率》。

本讲介绍了独立性以及数学期望。

4.独立性

1.事件与独立性

设$\mathcal C_1,…,\mathcal C_n$是$n$个事件类，称其独立，若

$$\forall \mathcal A_{i_j} \in \mathcal C_{i_j},1\le i_1\le ...\le i_k \le n\\ \mathbb P (A_{i_1}...A_{i_k}) =\mathbb P(A_{i_1})...\mathbb P(A_{i_k})$$

2.随机变量与独立性

设$X_1,…,X_n$是定义在$(\Omega ,\mathcal F, \mathbb P)$上，取值于$\mathbb R^d$中的随机变量（向量），若$\forall B_1,…B_n \in \mathcal B^d$，

$$\mathbb P (X_1\in B_1,...,X_n \in B_n) =\mathbb P(X_1\in B_1)...\mathbb P(X_n \in B_n)$$

则称$X_1,…,X_n$相互独立。

定理2.4.1

$$在上述记号下，X_1,...,X_n相互独立 \Leftrightarrow \\ F(x_1,...,x_n) =F_1(x_1)...F_n(x_n), \forall x_i \in \mathbb R^d, 1\le i \le n \\ 其中F(x_1,...,x_n)是(X_1,...,X_n)的联合分布函数，F_i是X_i的边缘分布函数$$

证明：仅考虑$d=1$的情形。

$\Rightarrow$：显然，取$B_i = (-\infty, x_i]$即可

$\Leftarrow$：先考虑$n=2$的情形，要证

$$\mathbb P(X_1 \in B_1, X_2 \in B_2)= \mathbb P(X_1\in B_1) \mathbb P(X_2\in B_2), \forall B_1, B_2 \in \mathcal B$$

定义

$$\mathcal C = \{(-\infty, a], a\in \mathbb R\}$$

那么$\mathcal C$为$\pi$系。现在$\forall B_1 =(-\infty, x_1]\in \mathcal C$，我们的目标是证明

$$\mathbb P(X_1 \in (-\infty, x_1], X_2 \in B_2)= \mathbb P(X_1\in (-\infty, x_1]) \mathbb P(X_2\in B_2)$$

定义

$$\Lambda = \{B_2 \in \mathcal B :\mathbb P(X_1 \in (-\infty, x_1], X_2 \in B_2)= \mathbb P(X_1\in (-\infty, x_1]) \mathbb P(X_2\in B_2) \}$$

我们的目标是证明$\Lambda = \mathcal B$，显然有$\Lambda \subset \mathcal B$，为了证明$\mathcal B \subset \Lambda$，注意到

$$\mathcal C \subset \Lambda，\sigma(\mathcal C) =\mathcal B，\mathcal C为\pi系$$

所以只要验证$\Lambda$是$\lambda$系即可。

1.$\mathbb R \in \Lambda$

$$\mathbb P(X_1 \in (-\infty, x_1], X_2 \in \mathbb R) = \mathbb P(X_1\in (-\infty, x_1])=\mathbb P(X_1\in (-\infty, x_1]) \mathbb P(X_2 \in \mathbb R)$$

2.$B_1,B_2 \in \Lambda,B_1\subset B_2\Rightarrow B_2- B_1 \in \Lambda$

$$\begin{aligned} \mathbb P(X_1 \in (-\infty, x_1], X_2 \in B_2 -B_1) &= \mathbb P(X_1\in (-\infty, x_1],X_2 \in B_2) - \mathbb P(X_1\in (-\infty, x_1],X_2 \in B_1)\\ &=\mathbb P(X_1\in (-\infty, x_1])\mathbb P(X_2 \in B_2) - \mathbb P(X_1\in (-\infty, x_1])\mathbb P(X_2 \in B_1) \\ &=\mathbb P(X_1\in (-\infty, x_1])\mathbb P(X_2 \in B_2-B_1) \end{aligned}$$

3.$ B_n \in \Lambda ,n\ge1且B_n \uparrow\Rightarrow \bigcup_{n=1}^{\infty} B_n \in \Lambda$

定义

$$A_n = B_n - \bigcup_{i=1}^{n-1} B_i = B_n - B_{n-1} \in \Lambda(由2)$$

所以

$$\bigcup_{n=1}^{\infty} A_n =\bigcup_{n=1}^{\infty} B_n, A_i互不相交$$

因此

$$\begin{aligned} \mathbb P(X_1 \in (-\infty, x_1], X_2 \in \bigcup_{n=1}^{\infty} B_n) &=\mathbb P(X_1 \in (-\infty, x_1], X_2 \in \bigcup_{n=1}^{\infty} A_n)\\ &=\sum_{n=1}^\infty \mathbb P(X_1 \in (-\infty, x_1], X_2 \in A_n)\\ &=\lim_{m\to \infty}\sum_{n=1}^m \mathbb P(X_1 \in (-\infty, x_1], X_2 \in A_n)\\ &=\lim_{m\to \infty}\sum_{n=1}^m \mathbb P(X_1 \in (-\infty, x_1])\mathbb P( X_2 \in A_n)\\ &=\mathbb P(X_1 \in (-\infty, x_1])\lim_{m\to \infty}\mathbb P( X_2 \in \bigcup_{n=1}^m A_n)\\ &=\mathbb P(X_1 \in (-\infty, x_1])\mathbb P( X_2 \in \bigcup_{n=1}^{\infty} A_n)\\ &=\mathbb P(X_1 \in (-\infty, x_1])\mathbb P( X_2 \in \bigcup_{n=1}^{\infty} B_n) \end{aligned}$$

（备注：第二个等号是因为事件$X_1\in(-\infty, x_1]$且$X_2\in A_n$互不相交，所以由概率的性质可得）

从而$\Lambda​$为$\lambda​$系。

接着，定义

$$\Lambda' = \{B_1 \in \mathcal B :\mathbb P(X_1 \in B_1, X_2 \in B_2)= \mathbb P(X_1\in B_1)\mathbb P(X_2\in B_2) \}$$

我们的目标是证明$\Lambda’= \mathcal B$，显然有$\Lambda’ \subset \mathcal B$，为了证明$\mathcal B \subset \Lambda’$，注意到由之前论述可得

$$\mathcal C \subset \Lambda' ,\sigma (\mathcal C) = \mathcal B，\mathcal C为\pi系$$

所以只要验证$\Lambda’$是$\lambda$系即可。（类似上面验证即可）

命题

$$如果(X_1,...,X_n)有概率密度p(x_1,...,x_n)，则X_1\perp X_2...\perp X_N \Leftrightarrow \\ p(x_1,...,x_n) = \prod_{i=1}^n p(x_i)对几乎所有(x_1,...,x_n)$$

此时

$$\begin{aligned} \int_{-\infty}^{x_n}...\int_{-\infty}^{x_1} p(y_1,...,y_n) dy_1 ...dy_n &= F(x_1,...,x_n)\\ &=F_1(x_1)...F_n(x_n)\\ &=\int_{-\infty}^{x_1}p(y_1) dy_1...\int_{-\infty}^{x_n}p(y_n) dy_n\\ &=\int_{-\infty}^{x_n}...\int_{-\infty}^{x_1} p(y_1)...p(y_n) dy_1 ...dy_n \end{aligned}$$

Chapter 3 随机变量的数学期望

1.定义与基本性质

1. 定义

$$设(\Omega,\mathcal F,\mathbb P)是概率空间，X是其上（一维）r.v，\\ \begin{aligned} &(1)若X =\sum_{i=1}^n a_i 1_{A_i} ,a_i\ge0是非负简单r.v，定义其数学期望为 \mathbb E [X] = \sum_{i=1}^n a_i \mathbb E [1_{A_i}] =\sum_{i=1}^n a_i \mathbb P [{A_i}] \\ &(2)若X是非负r.v,定义其数学期望为\mathbb E [X] = \sup_{Y} \mathbb E [Y],0\le Y \le X,Y是简单r.v \\ &(3)对任意X,\mathbb E[X^+],\mathbb E[X^-]都有定义且至少有一个有限，定义其数学期望为 \mathbb E [X]=\mathbb E[X^+]-\mathbb E[X^-] \\ &(4) A\in \mathcal F,定义\int_A Xd \mathbb P = \mathbb E[X1_A] \end{aligned}$$

注意该定义应该验证唯一性，即如果

$$X = \sum_{i=1}^n a_i 1_{A_i}= \sum_{i=1}^m b_i 1_{B_i}$$

则应该$\mathbb E[X]$唯一，下面验证这点。

首先注意

$$\Omega = \bigcup_{i=1}^n A_i =\bigcup_{i=1}^m B_i$$

所以

$$\begin{aligned} X&=\sum_{i=1}^n a_i 1_{A_i}\\ &= \sum_{i=1}^n a_i 1_{A_i \bigcap (\bigcup_{j=1}^m B_j)} \\ &=\sum_{i=1}^n a_i \sum_{j=1}^m 1_{A_i B_j}\\ &=\sum_{i=1}^n \sum_{j=1}^m a_i 1_{A_i B_j} \end{aligned}\\ \begin{aligned} X&=\sum_{j=1}^m b_j 1_{B_j}\\ &= \sum_{j=1}^m b_j 1_{B_j \bigcap (\bigcup_{i=1}^n A_i)} \\ &=\sum_{j=1}^m b_j \sum_{i=1}^n 1_{A_i B_j} \\ &=\sum_{i=1}^n \sum_{j=1}^m b_j1_{A_i B_j} \end{aligned}$$

如果$\mathbb P(A_i B_j) =0$，则该项对期望没有影响，否则在$A_i B_j$上有$a_i =b_j$，从而上述计算的期望唯一。

2.基本性质

$$\begin{aligned} &(1)若X,Y是非负简单r.v，则\forall 非负a,b ，\mathbb E [aX+bY]= a\mathbb E [X] + b \mathbb E [Y] \\ &(2)若X,Y是非负r.v, 则\mathbb E [X+Y]= \mathbb E [X] +\mathbb E [Y]\\ &(3)若\mathbb P(A) =0 ,则对任意r.v，有\int_A X d\mathbb P= \mathbb E[X 1_A]= 0 \\ &\ \ \ \ \ 同理若X=Y (a.s)，则\mathbb E [X],\mathbb E [Y]中一个有定义，另一个也有定义且 \mathbb E [X] = \mathbb E [Y] \\ &(4)若X,Y是r.v且X\le Y(a.s)，则\mathbb E [X]\le \mathbb E[Y] \end{aligned}$$

(2)证明：设

$$X = \sum_{i=1}^n a_i 1_{A_i},Y= \sum_{i=1}^m b_i 1_{B_i}$$

那么

$$\begin{aligned} \mathbb E[X+Y] &= \mathbb E [\sum_{i=1}^n \sum_{j=1}^m a_i 1_{A_i B_j}] +\mathbb E [\sum_{i=1}^n \sum_{j=1}^m b_j 1_{A_i B_j}] \\ &=\mathbb E [\sum_{i=1}^n \sum_{j=1}^m(a_i +b_j) 1_{A_i B_j}]\\ &=\sum_{i=1}^n \sum_{j=1}^m(a_i +b_j) \mathbb P(A_iB_j) \\ &= \mathbb E[X] + \mathbb E[Y] \end{aligned}$$

定理 3.1.1(Levi)

$$设\{X_n\}是(\Omega,\mathcal F,\mathbb P)上一列非负r.v,且X_n \uparrow X,则\\ \mathbb E[X_n] \uparrow\mathbb E[X]$$

推论

$$若X,Y是非负r.v, 则\mathbb E [X+Y]= \mathbb E [X] +\mathbb E [Y]$$

证明：取$X_n \uparrow X, Y_n \uparrow Y$，则$X_n +Y_n \uparrow X +Y$，然后利用Levi定理即可。

2.期望性质

定理3.2.1

$$\begin{aligned} &(1)若\mathbb E[X]存在，则对任意实数a,\mathbb E[aX]存在且 \mathbb E[aX]= a \mathbb E[X] \\ &(2)若\mathbb E[X],\mathbb E[Y]存在且\mathbb E[X]+\mathbb E[Y]有意义， 则\mathbb E[X+Y]=\mathbb E[X]+\mathbb E[Y]\\ &(3)若\mathbb E[X],\mathbb E[Y]存在且X\le Y，则\mathbb E[X]\le \mathbb E[Y] \\ &(4)X可积\Leftrightarrow |X|可积\\ &(5) \mathbb P(|X|\ge a) \le \frac{\mathbb E[|X|]}{a},a>0(\text{Markov不等式})\\ &(6)若X可积，则|X| < \infty (a.s) \\ &(7)\mathbb E|XY| \le [\mathbb E[X^2]]^{\frac 1 2}[\mathbb E[Y^2]]^{\frac 1 2} \\ &(8)若X=Y (a.s)，则\mathbb E[X]存在时\mathbb E[Y]存在且\mathbb E[X]=\mathbb E[Y] \end{aligned}$$

(2)证明：注意到

$$X+Y = (X+Y)^{+}- (X+Y)^{-}=(X)+(Y)= X^{+}-X^{-} +Y^{+}- Y^{-}$$

注意由于可能涉及正无穷，所以不能直接做移项处理，要分情况讨论。由条件可知

$$\mathbb E[X^{+}]，\mathbb E[X^{-}]至少有一个有限，\\ \mathbb E[Y^{+}]，\mathbb E[Y^{-}]至少有一个有限,\\ \mathbb E[X^{+}] -\mathbb E[X^{-}]+\mathbb E[Y^{+}]-\mathbb E[Y^{-}]有意义$$

所以可以把涉及无穷的情形全部列出，这里考虑$\mathbb E[X]^{+} ,\mathbb E[Y]^{+}$有限的情形，由(6)可知

$$X^+ <+\infty, Y^+ < +\infty$$

所以

$$(X+Y)^+ \le X^+ + Y ^+ <\infty$$

移动这$3$个有限项可得

$$(X)^{-} + (Y)^{-} -(X)^{+} -(Y)^{+} =(X+Y)^{-}-(X+Y)^{+}$$

取期望得

$$\mathbb E[(X)^{-}] + \mathbb E[(Y)^{-}] -\mathbb E[(X)^{+} ]-\mathbb E[(Y)^{+}] =\mathbb E[(X+Y)^{-}]-\mathbb E[(X+Y)^{+}]$$

两边取负号即可得到目标等式

$$\mathbb E[(X+Y)^{+}] -\mathbb E[(X+Y)^{-}] =+\mathbb E[(X)^{+} ]-\mathbb E[(X)^{-}] +\mathbb E[(Y)^{+}]-\mathbb E[(Y)^{-}]$$

其余情形类似处理。

(3)注意到

$$Y = X +Y-X$$

如果$\mathbb E [X] =-\infty$，则结论显然成立，否则

$$\mathbb E[Y] = \mathbb E[X] +\mathbb E[Y-X] \ge \mathbb E[X]$$

(4)由如下分解即可得到结论

$$X = X^{+}- X^{-} , |X| = X^{+} + X^{-}$$

如果$X$可积，则$\mathbb E[X]^{+}，\mathbb E[X]^{-}$都有限，从而$\mathbb E [|X|] =\mathbb E[X]^{+}+\mathbb E[X]^{-}$有限，反之亦然。

(5)

$$\mathbb E[|X|] \ge \int_{|X| \ge a} |X| d \mathbb P \ge \int_{|X|\ge a} a d \mathbb P =a\mathbb P(|X|\ge a) \\ \mathbb P(|X|\ge a)\le \frac{\mathbb E[|X|]}{a}$$

推论，取单调递增$f$，则

$$\mathbb P(|X|\ge a)\le \frac{\mathbb E[f(|X|)]}{f(a)}$$

(7)由$\mathbb E[(t|X| + |Y|)^2]\ge 0$恒成立可得二次函数判别式小于等于$0$

习题

习题1

$$若\mathbb P(A) =0 ,则对任意r.v，有\int_A X d\mathbb P= \mathbb E[X 1_A]= 0 \\ 同理若X=Y (a.s)，则\mathbb E [X],\mathbb E [Y]中一个有定义，另一个也有定义\\ 且\mathbb E [X] = \mathbb E [Y]$$

证明：先证对任意简单随机变量上述结论成立，设

$$X=\sum_{i=1}^n b_i 1_{B_i}$$

所以

$$X 1_A = \sum_{i=1}^n b_i 1_{AB_i} \\ \mathbb E [X 1_A] = \mathbb E [ \sum_{i=1}^n b_i 1_{AB_i}] =\sum_{i=1}^n b_i\mathbb P [ {AB_i}]$$

因为$\mathbb P(A) =0,AB_i \subset A$，所以$\mathbb P [ {AB_i}]=0$，从而

$$\mathbb E [X 1_A] = 0$$

由$X= X^+-X^-$，构造两列非负简单随机变量$X_n^+ \uparrow X^+,X_n^- \uparrow X^-$，由上述结论可知

$$\mathbb E [X_n^+ 1_A] = 0,\mathbb E [X^-_n 1_A] = 0$$

由Levi定理可知

$$\mathbb E[X^+1_A] =\lim_{n\to\infty}\mathbb E [X_n^+ 1_A] = 0, \mathbb E[X^-1_A] =\lim_{n\to\infty}\mathbb E [X^-_n 1_A] = 0$$

所以

$$\mathbb E[X1_A]= \mathbb E[X^+1_A]- \mathbb E[X^-1_A] = 0$$

因为$X=Y (a.s)$，所以

$$存在A\subset \Omega，使得当w\in A时，X \neq Y，\\ w\notin A时，X= Y\\且\mathbb P(A)=0$$

因此

$$\begin{aligned} \mathbb E[Y] &=\int_{\Omega} Y d \mathbb P \\ &= \int_{\Omega -A} Y d \mathbb P +\int_{A} Y d \mathbb P \\ &=\int_{\Omega -A} Y d \mathbb P + 0 \\ &=\int_{\Omega -A} X d \mathbb P + \int_{A} X d \mathbb P \\ &=\int_{\Omega} X d \mathbb P \\ &=\mathbb E[X] \end{aligned}$$