高等概率论第三讲

记录本校的高等概率论课程笔记，参考教材《测度与概率》。

本讲介绍随机变量的构造以及随机变量的概率分布。

2.随机变量的构造

简单随机变量和初等随机变量的定义

设$(\Omega,\mathcal F,\mathbb P)$为概率空间，形如

$$X =\sum_{i=1}^n a_i 1 _{A_i} ,A_i \in \mathcal F,\bigcup_{i=1}^n A_i =\Omega,A_i互不相交$$

的$X$为简单随机变量。形如

$$X =\sum_{i=1}^\infty a_i 1 _{A_i} ,A_i \in \mathcal F, \bigcup_{i=1}^\infty A_i =\Omega,A_i互不相交$$

的$X$为初等随机变量。

定理2.2.1

$$设X是(\Omega,\mathcal F,\mathbb P)上随机变量\\ \begin{aligned} &(1) 若X非负，则存在一列非负简单随机变量\lbrace X_n\rbrace ,X_n \uparrow, \lim_{n\to \infty} X_n =X \\ &(2)若X非负，则存在一列非负初等随机变量\lbrace X_n\rbrace ,X_n \uparrow, \lim_{n\to \infty} X_n =X一致\\ &(3)若X_n是有界r.v,则存在一列简单r.v \lbrace X_n\rbrace ,满足 |X_n| \le |X|，且\lim_{n\to \infty} X_n =X一致 \\ &(4)一般地，总存在简单r.v \lbrace X_n\rbrace ,满足 |X_n| \le |X|且\lim_{n\to \infty} X_n =X，\\ &\ \ \ \ 也存在初等r.v \lbrace X_n\rbrace ,满足 |X_n| \le |X|且\lim_{n\to \infty} X_n =X一致 \end{aligned}$$

(1)证明：按$X$的值域划分可得随机变量$X_n$

$$X_n =\sum_{k=1}^{n2^n} \frac{k-1}{2^n} 1{\lbrace \frac{k-1}{2^n}\le X < \frac{k}{2^n} \rbrace } + n 1 \lbrace X \ge n\rbrace$$

比较$X_n$和$X_{n+1}$，先考虑范围$\frac{k-1}{2^n}\le X < \frac{k}{2^n}$，对应的$X_n =\frac{k-1}{2^n} $，注意到

$$\frac{k-1}{2^n}\le X < \frac{k}{2^n} \Leftrightarrow \\ \frac{2k-2}{2^{n+1} }\le X < \frac{2k}{2^{n+1} } \Leftrightarrow \\ \frac{2k-2}{2^{n+1} }\le X < \frac{2k-1}{2^{n+1} } 或 \frac{2k-1}{2^{n+1} }\le X < \frac{2k}{2^{n+1} }$$

在$\frac{2k-2}{2^{n+1} }\le X < \frac{2k-1}{2^{n+1} }$范围内，

$$X_{n+1}= \frac{2k-2}{2^{n+1} }=\frac{k-1}{2^n}= X_n$$

在$\frac{2k-1}{2^{n+1} }\le X < \frac{2k}{2^{n+1} }$范围内，

$$X_{n+1}= \frac{2k-1}{2^{n+1} }>\frac{k-1}{2^n}= X_n$$

接着考虑范围$X \ge n$，此时$X_n = n$，而$X_{n+1}$的范围是

$$X_{n+1} \ge n$$

综上，$X_n \le X_{n+1}$。

接着比较$X_n(w)- X(w)$

$$|X_n(w) -X(w)| < \frac{1}{2^n} ， X(w) < +\infty \\ X_n(w) = n, X(w) = +\infty$$

从而

$$\lim_{n\to \infty} X_n = X$$

不难看出有

$$|X_n| \le |X|$$

(2)取

$$X_n =\sum_{k=1}^{\infty} \frac{k-1}{2^n} 1 \lbrace \frac{k-1}{2^n}\le X < \frac{k}{2^n} \rbrace + (+\infty) 1 \lbrace X = +\infty\rbrace$$

那么

$$|X_n(w) -X(w)| < \frac{1}{2^n} ，X(w) <+\infty \\ X_n(w) = +\infty, X(w) = +\infty$$

从而

$$\lim_{n\to \infty} X_n = X 一致$$

不难看出有

$$|X_n| \le |X|$$

备注(1)(2)的区别在于(1)的$n$和$ X(w) = +\infty$有关，从而和$w$而有关，而(2)中的$n$和$w$无关

(3)类似(1)可得

$$X_n =\sum_{k=-n2^n +1}^{n2^n} \frac{k-1}{2^n} 1_\lbrace \frac{k-1}{2^n}\le X < \frac{k}{2^n} \rbrace + n 1 \lbrace X \ge n\rbrace +(-n)1 \lbrace X <- n\rbrace$$

因为$X$有界，所以当$n$充分大时

$$X_n =\sum_{k=-n2^n +1}^{n2^n} \frac{k-1}{2^n} 1_\lbrace \frac{k-1}{2^n}\le X < \frac{k}{2^n} \rbrace$$

从而$n$充分大时，

$$|X_n(w) -X(w)| < \frac{1}{2^n}$$

所以

$$\lim_{n\to \infty} X_n = X 一致$$

此时显然有

$$|X_n| \le |X|$$

(4)注意有如下分解

$$X= X^+ -X^- \\ X^+ \ge 0 , X^{-}\ge 0$$

利用(1)(2)可以找到$X_n ^+ \uparrow X^+, X_n^- \uparrow X^-$(一致)，且

$$|X_n ^+|\le|X^+|, |X_n^-|\le|X^-|$$

所以

$$X_n =X_n^+ -X_n^- \to X^+- X^-= X（一致）$$

注意到

$$|X_n| =X_n^+ +X_n^- \le X^+ + X^- = |X|$$

从而结论成立。

命题

$$X^{-1}(\mathcal B ^d) = \lbrace X^{-1} (B) , B\in \mathcal B^d\rbrace 是\Omega上的\sigma代数$$

定理 2.2.2

$$设X是\Omega到(\mathbb R^d, \mathcal B^d)中的映射，\sigma(X)= X^{-1}(\mathcal B^d) ,Y是\Omega到 \mathbb R上的映射，\\ 则Y关于\sigma(X)可测\Leftrightarrow 存在(\mathbb R^d, \mathcal B^d)到(\mathbb R ,\mathcal B) 的可测映射g,使得Y = g。X=g(X)$$

这个定理老师没有给出完整证明，思路是先考虑$Y$是$A$的示性函数函数，那么由定义可知，

$$\exists B\in \mathcal B^d ,使得A=X^{-1}(B)$$

那么

$$1_{A}(w)= 1 _{X^{-1}(B)} (w) = 1_B(X(w))= g(X(w))$$

接着考虑简单函数的情形，最后由定理2.2.1推广至一般情形。

3.随机变量的概率分布

概率分布的定义

设$X$是定义在$(\Omega,\mathcal F,\mathbb P)$上，取值于$(\mathbb R^d, \mathcal B^d)$的中的$r.v$，定义

$$\mu_X(B) = \mathbb P(X\in B),B\in \mathcal B^d$$

则$\mu_X$是$(\mathbb R^d, \mathcal B^d)$上概率测度，称为$X$（在$\mathbb P$上）的概率分布

分布函数的定义

定义

$$F(x_1,..., x_d) = \mu_X((-\infty, x_1]\times ...\times (\infty, x_d]) =\mathbb P(X_1 \le x_1, ...,X_d \le x_d)$$

定理2.3.1

$$任意\mathbb R^d上概率测度\mu，一定存在r.v，使其概率分布为\mu \\ （等价于\mathbb R^d上概率分布函数F,一定存在r.v，使其分布函数为F）$$

证明：取$(\Omega,\mathcal F,\mathbb P)= (\mathbb R^d, \mathcal B^d, \mu)$，定义随机变量$X(w)=w$即可，下面验证这点。

验证其为随机变量：

$$\forall B \in \mathcal B^d，,X^{-1}(B)= \lbrace w| X(w) =w \in B\rbrace =B \in \mathcal B^d =\mathcal F$$

验证其为概率分布：

$$\forall B \in \mathcal B^d，\mu_X(B)=\mathbb P(X(w)\in B) = \mathbb P (w\in B) = \mu(B)$$

例1

考虑二项分布$b(n,p)$，概率空间为

$$E=\lbrace 0,1,...,n\rbrace ，(\Omega, \mathcal F, \mathbb P) =(\lbrace 0,1,...,n\rbrace , 2^{\lbrace 0,1,...,n\rbrace }, \mu)$$

取

$$\mu(\lbrace k\rbrace ) = \mathbb P(X=k)=C_n^k p^k(1-p)^{n-k} \\ \mu(B)=\mathbb P(B) = \sum_{k\in B}\mathbb P(\lbrace k\rbrace )$$

再定义

$$X_{(k)}(w)=k$$

或取

$$(\Omega, \mathcal F, \mathbb P) =(\lbrace 0,1\rbrace ^n, 2^\Omega, \mathbb P), \lbrace w\rbrace =\lbrace w_1,...,w_n\rbrace ,w_i \in \lbrace 0,1\rbrace \\ \mathbb P(\lbrace w\rbrace ) = \mathbb P(\lbrace w_1,...,w_n\rbrace ) =p^k(1-p)^{n-k}, X(w)=\sharp \lbrace i : w_i =1\rbrace (w中1的个数)\\ \mathbb P(B)= \sum_{w\in B}\mathbb P(\lbrace w\rbrace )\\ \mathbb P(X=k)=\mathbb P (\lbrace w : X(w) =k\rbrace )=C_n^k p^k(1-p)^{n-k}$$

习题

习题1

$$X^{-1}(\mathcal B ^d) = \lbrace X^{-1} (B) , B\in \mathcal B^d\rbrace 是\Omega上的\sigma代数$$

证明：

1.取$B= \mathbb R^d$可得

$$\Omega = X^{-1}(\mathbb R^d) \in X^{-1}(\mathcal B ^d)$$

2.$\forall A\in X^{-1}(\mathcal B^d)$，存在$B\in \mathcal B^d$，使得$A = X^{-1}(B)$，注意到$B^C \in \mathcal B^d$，所以

$$A^C = X^{-1}(B^C) \in X^{-1}(\mathcal B ^d)$$

3.取$A_n \in X^{-1}(\mathcal B ^d)$，那么存在$B_n \in \mathcal B^d$使得$A_n = X^{-1}(B_n)$，注意$\bigcup_{n=1}^{\infty}B_n \in \mathcal B^d$，所以

$$\bigcup_{n=1}^{\infty}A_n = X^{-1}(\bigcup_{n=1}^{\infty}B_n) \in X^{-1}(\mathcal B ^d)$$

结合以上$3$点可得$X^{-1}(\mathcal B ^d) $是$\Omega$上的$\sigma$代数。

习题2

（课本P87/4.1/9）

证明：设$X,Y$是定义在$(\Omega,\mathcal F,\mathbb P)$，取值于$(\mathbb R^d, \mathcal B^d)$的随机变量，$f$是$(\mathbb R^d, \mathcal B^d)$到$(\mathbb R^m, \mathcal B^m)$映射

因为$X,Y$同分布，所以

$$\forall B \in \mathcal B^d，\mu_X(B)= \mu_Y(B)$$

因为$f$为Borel可测，所以

$$\forall A \in \mathcal B^m，f^{-1}(A)\in \mathcal B^d$$

在任取$C\in \mathcal B^m$，我们有

$$\begin{aligned} \mu_{f(X)}(C) &= \mathbb P(f(X) \in C) \\ &= \mathbb P(X\in f^{-1}(C)) \\ &=\mu_X(f^{-1}(C)) \\ &=\mu_Y(f^{-1}(C)) \\ &=\mathbb P(Y\in f^{-1}(C)) \\ &=\mathbb P(f(Y) \in C) \\ &=\mu_{f(Y)}(C) \end{aligned}$$

从而$f(X)$与$f(Y)$同分布

习题3

构造$X\sim E(\lambda)$的随机变量

解：设$G(x)= 1-e^{-\lambda x}$，取概率测度$\mathbb P$为$(\mathbb R, \mathcal B)$上由$G$决定的$L-S$测度，则$(\mathbb R, \mathcal B,\mathbb P)$是一个概率空间，再定义$X(w)=w$，所以$X$的分布函数为

$$F(x)= \mathbb P((-\infty ,x]) =G(x) = 1-e^{-\lambda x}$$

从而$X\sim E(\lambda)$