高等概率论第二讲

记录本校的高等概率论课程笔记，参考教材《测度与概率》。

本讲继续概率空间的内容以及介绍随机变量与概率分布。

2.概率测度

1.基本概念

设$\Omega$是样本空间，$\mathcal F$是其上的$\sigma$代数，则称$(\Omega,\mathcal F)$是可测空间。

定义：设$\mathbb P$是$\mathcal F$上的一个（集合）函数，若它满足

$$\begin{aligned} &(1)\mathbb P(A)\ge 0 ,\forall A \in \mathcal F \\ &(2)\mathbb P(\Omega)=1 \\ &(3) A_n \in \mathcal F且互不相交\Rightarrow \mathbb P(\bigcup_{n=1}^{\infty} A_n) =\sum_{n=1}^{\infty} \mathbb P(A_n) \end{aligned}$$

则称$\mathbb P$为$\mathcal F$上的一个概率测度，$\mathbb P(A)$称为$A$的概率，称$(\Omega,\mathcal F,\mathbb P)$为概率空间。

2.基本性质

$$\begin{aligned} &(1)\mathbb P(\varnothing) = 0 \\ &(2)有限可加性：即A_1,...,A_n互不相交 \Rightarrow \mathbb P(\bigcup_{i=1}^{n} A_i) = \sum_{i=1}^{n}\mathbb P(A_i)\\ &(3) 加法公式： \mathbb P(A\bigcup B) = \mathbb P(A) +\mathbb P( B) - \mathbb P(A B) \\ &(4)单调性： A,B \in \mathcal F ，B\subset A \Rightarrow \mathbb P(A -B)= \mathbb P(A) -\mathbb P (B)，从而 \mathbb P (B) \le \mathbb P(A)\\ & \ \ \ \ \ 特别地，0\le \mathbb P(A) \le 1，\forall A \in \mathcal F \\ &(5)次可加性：A_n \in \mathcal F， \mathbb P(\bigcup_{i=1}^{n} A_i) \le \sum_{i=1}^{n}\mathbb P(A_i) \\ &(6)连续性：A_n \in \mathcal F，A_n 单调 \Rightarrow \mathbb P(\lim_{n\to \infty} A_n) =\lim_{n\to \infty} \mathbb P(A_n) \end{aligned}$$

3.$\mathbb R^d$上的分布函数与$L-S$测度

1.测度扩张定理

定理1.3.1

$$设\mathscr S是半集代数，\mathbb P是\mathscr S上的概率测度，则\mathbb P可以唯一地扩张成\sigma (\mathscr S)上的概率测度。$$

该定理证明比较复杂，见课本60页。

2.$\mathbb R^d$上的分布函数与$L-S$测度

以$d=1$上为例，设$F$为$\mathbb R$上的（概率）分布函数，取

$$\mathscr S =\{ (a,b](a\le b),(-\infty ,b],(a, +\infty),\mathbb R \}$$

则$\mathscr S$为半代数，且$\sigma(\mathscr S)=\sigma(\text{开集})=\mathcal B$（Borel集）

定义：

$$\mathbb P((a, b]) = F(b) - F(a) \\ \mathbb P((-\infty, b]) = F(b)- F(-\infty)=F(b) \\ \mathbb P((a, +\infty)) = 1-F(a) \\ \mathbb P(\mathbb R) = 1$$

则$\mathbb P$是$\mathscr S$上的概率测度，从而由测度扩张定理，$\mathbb P$可唯一地扩张成$\sigma(\mathscr S) = \mathcal B$上的概率测度，称之为由$F$决定的$L-S$测度（当$F(x)=x$时生成的就是勒贝格测度）

$d>1$时，以$d=2$为例，分布函数需要满足条件

$$0\le F(x,y) = \mathbb P(X\le x, Y\le y) =\mathbb P((X,Y) \in (-\infty, x]\times (-\infty, y])\\ P(-\infty, y) = F(x, -\infty)=0,F(+\infty,+\infty)=1 \\ 四边形条件：F(a_2,b_2) -F(a_2, b_1) -F(a_1,b_2) +F(a_1,b_1) \ge 0\\ 其中a_1\le a_2, b_1 \le b_2$$

Chapter 2 随机变量与概率分布

1.随机变量

1.基本概念

定义：设$(\Omega,\mathcal F,\mathbb P)$为概率空间，$X$是定义在$\Omega$上，取值于$\mathbb R^d$的映射，若

$$\forall B \in \mathcal B^d，\{X\in B\}= \{w : X(w) \in B\} \in \mathcal F$$

则称$X$为$\Omega$上的（实）随机变量（向量）（可测映射）。上述定义等价于

$$\Leftrightarrow X^{-1}(B) \in \mathcal F,\forall B \in \mathcal B^d\\ \Leftrightarrow X^{-1}(\mathcal B^d) \subset \mathcal F$$

一般地，设$(E,q)$是可测空间，$X$是$\Omega$到$E$的映射，若

$$\forall B \in \mathcal q，\{w : X(w) \in B\} \in \mathcal F$$

则称$X$是$E$值随机变量（随机元）

定理2.1.1

$$X是（一维实）随机变量\Leftrightarrow \\ \{X\le a \} \in \mathcal F,\forall a \Leftrightarrow \\ \{X< a \} \in \mathcal F,\forall a \Leftrightarrow \\ \{X\ge a \} \in \mathcal F,\forall a \Leftrightarrow \\ \{X> a \} \in \mathcal F,\forall a \Leftrightarrow \\ \{a<X \le b \} \in \mathcal F,\forall a,b ,a <b$$

证明：只证明第一个等价性。

$\Rightarrow$：取$B =(-\infty, a]$即可，显然。

$\Leftarrow$：定义

$$\Pi =\{ B\in \mathcal B^d: X^{-1}(B) =\{X\in B \} \in \mathcal F\}$$

所以只要证明$\Pi= \mathcal B^d$即可，显然有$\Pi \subset \mathcal B^d$，所以只要证明$\mathcal B^d\subset \Pi $即可。

以$d=1$为例，记

$$C = \{(a, b], -\infty \le a \le b \le +\infty \}$$

不难验证$C$为半代数。注意$\forall (a,b] \in C$

$$\begin{aligned} X^{-1}((a, b]) &= \{w| a < X(w) \le b\} \\ &= \{w|X(w) \le b\} - \{w|X(w) \le a\} \end{aligned}$$

由条件可知$\{w|X(w) \le b\} \in \mathcal F, \{w|X(w) \le a\}\in \mathcal F$，从而$X^{-1}((a, b]) \in \mathcal F$，因此$C \subset \Pi$

注意到$\sigma(C)=\mathcal B$，所以结论等价于$\sigma(C)\subset \Pi$，由$\lambda -\pi$系方法，只要证明$C$是$\pi$系，$\Pi$是$\lambda$系。

$C$是$\pi$系：由定义即可验证，显然。

$\Pi$是$\lambda$系：

(1)$\mathbb R\in \Pi$

$X^{-1}(\mathbb R)= \Omega \in \mathcal F$

(2)若$B_1, B_2 \in \Pi,B_1\subset B_2$，则$B_2 -B_1 \in \Pi$

由$\Pi$的定义可知

$$B_1,B_2 \in \mathcal B \\ X^{-1}(B_1) \in \mathcal F,X^{-1}(B_2) \in \mathcal F$$

所以

$$B_2 - B_1 \in \mathcal B \\ X^{-1}(B_2-B_1) = X^{-1}(B_2) - X^{-1}(B_1)\in \mathcal F$$

因此$B_2 - B_1 \in \Pi$

(3)$B_1 ,…,B_n,B_1 \subset B_2…\subset B_n$，则$\bigcup_{n=1}^{\infty}B_n \in \Pi$

由$\Pi$的定义可知

$$B_i \in \mathcal B ,X^{-1}(B_i) \in \mathcal F \\ i =1 ,...,n$$

所以

$$\bigcup_{i=1}^{\infty} B_i \in \mathcal B \\ X^{-1}(\bigcup_{n=1}^{\infty} B_n) =\bigcup_{n=1}^{\infty} X^{-1}(B_n) \in \mathcal F$$

所以$\bigcup_{n=1}^{\infty} B_n \in \Pi$。

由单调类定理可得：

$$\Pi \supset \sigma(C) = \mathcal B$$

例1

设$(\Omega,\mathcal F)$是一可测空间，对于$A\subset \Omega$，定义示性函数：

$$1_{A}(w) = \begin{cases} 1, & 若w\in A\\ 0, & 若w\in A^C \end{cases}$$

则$1_{A}$是可测函数$\Leftrightarrow A\in \mathcal F$

2.基本性质

$$\begin{aligned} &(1) 若X是实随机变量，则aX是实随机变量\\ &(2) 若X,Y是实随机变量，则XY是实随机变量\\ &(3) 若X \in \mathbb R^d上的实随机变量，f是\mathbb R^d上连续函数，则y=f(x) 是实随机变量 \\ &(4) 若X是E值随机变量，f是(E,q)到(\mathbb R, \mathcal B)上的可测映射，则f(X)可测 \\ &(5) 若X,Y都为一维实随机变量，则X \land Y(取小)，X\lor Y(取大),x^+, x^-,|x|是实随机变量 \\ &(6) 若\{X_n\}是一维实随机变量，则\inf X_n,\sup X_n ,\mathbb E[X_n], \lim_{n\to \infty}X_n 是实随机变量 \end{aligned}$$

习题

习题1

设$(\Omega,\mathcal F)$是一可测空间，对于$A\subset \Omega$，定义示性函数：

$$1_{A}(w) = \begin{cases} 1, & 若w\in A\\ 0, & 若w\in A^C \end{cases}$$

则$1_{A}$是可测函数$\Leftrightarrow A\in \mathcal F$

证明：$\Rightarrow$：因为$1_{A}$是可测函数，所以

$$\{w|1_{A}(w) \le x \} \in \mathcal F$$

注意到

$$\{w|1_{A}(w) \le x \} =\begin{cases} \Omega, & x\ge 1\\ A^C, & 0 < x<1 \\ \varnothing , & x\le 0 \\ \end{cases}$$

所以$A^C \in \mathcal F$，从而$A \in \mathcal F$

$\Leftarrow$：因为$A\in \mathcal F$，所以$A^C \in \mathcal F$，注意到

$$\{w|1_{A}(w) \le x \} =\begin{cases} \Omega, & x\ge 1\\ A^C, & 0 < x<1 \\ \varnothing , & x\le 0 \\ \end{cases}$$

所以对任意$x, \{w|1_{A}(w) \le x \} \in \mathcal F$，从而$1_{A}$是可测函数

习题2

若$X,Y$是实随机变量，则$X+Y$是实随机变量

证明：设全体有理点为$\{r_n\}$，可测空间为$(\Omega,\mathcal F)$，注意到

$$X+Y < z \Leftrightarrow X < z -Y$$

因为$X < z -Y$，所以存在$r_i$，使得$X<r_i < z- Y$，因此

$$\begin{aligned} \{ X +Y< z \} &=\{ X < z -Y\} \\ &= \bigcup_{i=1}^{\infty} \{X<r_i < z- Y\}\\ &=\bigcup_{i=1}^{\infty} \{X<r_i\} \bigcap \{r_i< z- Y\}\\ &=\bigcup_{i=1}^{\infty} \{X<r_i\} \bigcap \{Y< z- r_i\} \end{aligned}$$

因为

$$\{X<r_i\} \in \mathcal F, \{Y< z- r_i\}\in \mathcal F$$

所以

$$\{X<r_i\} \bigcap \{Y< z- r_i\} \in \mathcal F\\ \{ X +Y< z \} =\bigcup_{i=1}^{\infty} \{X<r_i\} \bigcap \{Y< z- r_i\}\in \mathcal F$$

习题3

设$(\Omega, \mathcal F)$是可测空间，$\mu$是$\mathcal F$上可加测度，且具有次$\sigma$可加性，试证$\mu$是测度

（课本P68/3.2/1)

证明：$\forall A_i \in \mathcal F$且$A_i$互不相交，由$\sigma$代数的定义可知

$$\bigcup_{i=1}^n A_i \in \mathcal F,\bigcup_{i=1}^{\infty} A_i \in \mathcal F$$

由$\mu$是$\mathcal F$上可加测度可得

$$\sum_{i=1}^n \mu(A_i) = \mu(\bigcup_{i=1}^n A_i)$$

由单调性可得

$$\sum_{i=1}^n \mu(A_i) = \mu(\bigcup_{k=1}^n A_k) \le \mu(\bigcup_{k=1}^\infty A_k)$$

此式对任意$n$都成立，所以令$n\to \infty$可得

$$\sum_{i=1}^{\infty} \mu(A_i) \le \mu(\bigcup_{k=1}^\infty A_k)$$

由次可加性可得

$$\mu(\bigcup_{k=1}^\infty A_k) \le \sum_{i=1}^{\infty} \mu(A_i)$$

因此

$$\mu(\bigcup_{k=1}^\infty A_k) = \sum_{i=1}^{\infty} \mu(A_i)$$

即$\mu$是测度。

习题4

（课本P68/3.2/10）

(1)证明：$\forall 0 < a < 1,A\in \mathcal F$，定义

$$\mathbb P(A)= a\mathbb P_1(A) + (1-a) \mathbb P_2(A)$$

当$\mathbb P(A)=0$时，

$$a\mathbb P_1(A) + (1-a) \mathbb P_2(A) =0$$

因为$0<a<1$，所以

$$a\mathbb P_1(A)\ge 0,(1-a) \mathbb P_2(A) \ge 0$$

从而

$$a\mathbb P_1(A)=(1-a) \mathbb P_2(A) =0 \\ \mathbb P_1(A)= \mathbb P_2(A) =0$$

下面验证$\mathbb P$是定义在$(\Omega, \mathcal F)$上的概率测度。

1.$\forall A_n \in \mathcal F$且$A_n$互不相交，则

$$\begin{aligned} \mathbb P(\bigcup_{n=1}^{\infty} A_n) &= a\mathbb P_1(\bigcup_{n=1}^{\infty} A_n) + (1-a) \mathbb P_2(\bigcup_{n=1}^{\infty} A_n) \\ &=a \sum_{n=1}^{\infty}\mathbb P_1( A_n) + (1-a) \sum_{n=1}^{\infty} \mathbb P_2(A_n) \\ &=\sum_{n=1}^{\infty} \Big(aP_1( A_n) + (1-a)\mathbb P_2(A_n)\Big)\\ &=\sum_{n=1}^{\infty} \mathbb P(A_n) \end{aligned}$$

2.

$$\mathbb P(\Omega) = a\mathbb P_1(\Omega) + (1-a) \mathbb P_2(\Omega) =a+1-a=1$$

所以$\mathbb P$是定义在$(\Omega, \mathcal F)$上的概率测度。

结合之前结论可得

$$\mathbb P_1 \ll \mathbb P,\mathbb P_2 \ll \mathbb P$$

(2).同第一小问的思路，取正项无穷级数$\{a_n\}$，满足$\sum_{n=1}^{\infty} a_n =1$（例如可取$a_n =\frac{1}{2^n}$），任取$A\in \mathcal F$，定义

$$\mathbb P(A)=\sum_{n=1}^{\infty} a_n\mathbb P_n(A)$$

当$\mathbb P(A)=0$时，

$$\sum_{n=1}^{\infty} a_n\mathbb P_n(A) =0$$

因为$a_n>0,a_n\mathbb P_n(A) \ge 0 $，所以

$$a_n\mathbb P_n(A)=0,\mathbb P_n(A)=0\\n=1,2,...$$

下面验证$\mathbb P$是定义在$(\Omega, \mathcal F)$上的概率测度。

1.$\forall A_n \in \mathcal F$且$A_n$互不相交，则

$$\begin{aligned} \mathbb P(\bigcup_{n=1}^{\infty} A_n) &= \sum_{i=1}^{\infty}a_i\mathbb P_i(\bigcup_{n=1}^{\infty} A_n) \\ &=\sum_{i=1}^{\infty} a_i\sum_{n=1}^{\infty}\mathbb P_i( A_n)\\ &= \sum_{n=1}^{\infty}\sum_{i=1}^{\infty} a_i\mathbb P_i( A_n) \\ &=\sum_{n=1}^{\infty} \mathbb P(A_n)\\ \end{aligned}$$

备注：第三个等号涉及到了极限交换次序的问题，严格来说应该补充

$$\sum_{i=1}^{\infty}a_i\mathbb P_i(\bigcup_{n=1}^{\infty} A_n) \le \sum_{i=1}^{\infty}a_i$$

从而$\sum_{i=1}^{\infty}a_i\mathbb P_i(\bigcup_{n=1}^{\infty} A_n)$一致收敛，可以换序。

2.

$$\mathbb P(\Omega) = \sum_{i=1}^{\infty}a_i\mathbb P_i(\Omega) = \sum_{i=1}^{\infty}a_i =1$$

所以$\mathbb P$是定义在$(\Omega, \mathcal F)$上的概率测度。

结合之前结论可得

$$\mathbb P_n \ll \mathbb P ,n=1,2,...$$

习题5

（课本P68/3.2/18）

证明：令

$$A= \{B | B \in \mathcal F, \mu(B)=\nu(B)\}$$

显然$\mathcal C \subset A $，而$\mathcal C$为$\pi$系，所以只要说明$A$为$\lambda$系即可。

(1)$\Omega\in \mathcal C \subset A$

(2)$\forall C,D\in A,C\subset D$，因为$\mu,\nu$为有限测度，所以$\mu(D)- \mu(C),\nu (D)- \nu(C)$有意义，那么

$$\mu(D- C) = \mu(D)- \mu(C) = \nu (D)- \nu(C) = \nu(D-C)$$

(3)任取$C_n \in A, C_n\uparrow$

令$D_n =C_n - \bigcup_{i=1}^{n-1}C_i =C_n- C_{n-1}$，那么

$$\bigcup_{n=1}^{\infty} D_n =\bigcup_{n=1}^{\infty} C_n 且D_i \bigcap D_j = \varnothing (i\neq j)$$

由测度的性质可知

$$\mu(\bigcup_{n=1}^{\infty} C_n) =\mu(\bigcup_{n=1}^{\infty} D_n) =\sum_{n=1}^{\infty} \mu( D_n) \\ \nu(\bigcup_{n=1}^{\infty} C_n) =\nu(\bigcup_{n=1}^{\infty} D_n) =\sum_{n=1}^{\infty} \nu( D_n)$$

由(2)可知$D_n \in A$，所以

$$\mu(D_n) = \nu(D_n)$$

累加可得

$$\sum_{n=1}^{\infty} \mu( D_n) =\sum_{n=1}^{\infty} \nu( D_n)$$

从而

$$\mu(\bigcup_{n=1}^{\infty} C_n) =\sum_{n=1}^{\infty} \mu( D_n) =\sum_{n=1}^{\infty} \nu( D_n)= \nu(\bigcup_{n=1}^{\infty} C_n)$$

从而$A$为$\lambda$系，结论成立。