高等概率论第六讲

记录本校的高等概率论课程笔记，参考教材《测度与概率》。

本讲介绍乘积测度与独立性。

Chapter 4乘积测度与独立性

1.有限维情形

1.乘积测度

$$设(E_1, \Sigma_1, \mu_1)和(E_2, \Sigma_2, \mu_2)是两个概率空间，\\ 在E_1\times E_2= \{w =(w_1,w_2), w_1 \in E_1, w_2 \in E_2\}上定义\sigma代数\\ \Sigma_1\times \Sigma_2 = \sigma \{\Sigma_1\times \Sigma_2 :A_1 \in \Sigma_1, A_2 \in \Sigma_2 \} \\ 称为E_1, E_2的乘积\sigma 代数，称为(E_1\times E_2, \Sigma_1\times \Sigma_2)为乘积 可测空间$$

定理4.1.1

$$在\Sigma_1\times \Sigma_2上存在唯一概率测度\mu满足\\ \mu(A_1\times A_2) = \mu_1 (A_1)\times \mu_1 (A_2), A_1 \in \Sigma_1, A_2\in \Sigma_2$$

证明该定理之前，需要利用截口的概念。

截口定义

$$设A\subset E_1\times E_2,对任意x_1\in E_1,定义 \\ A(x_1)= \{x_2 \in E_2:(x_1, x_2)\in A\}\\ 称之为A在x_1处的截口，类似可以定义A(x_2)$$

现在利用上述定义证明定理4.1.1

证明：$\forall A \in \Sigma_1\times \Sigma_2$，定义

$$\mu(A) \triangleq \int_{E_1} \mu_2 (A(x_1)) \mu_1(dx_1) =\int_{E_2} \mu_1 (A(x_2)) \mu_2(dx_2)$$

要验证$\mu$是概率测度，就要验证非负性，规范性和可列可加性。非负性显然，接着验证规范性，当$A= E_1\times E_2$时，

$$\mu_2(A(x_1)) = \mu_2(E_2) = 1$$

所以

$$\mu(E_1\times E_2) = \int_{E_1} \mu_1(dx_1) = 1$$

规范性也成立。最后验证可列可加性，任取$A_n \in \Sigma_1\times \Sigma_2$且互不相交，则

$$\begin{aligned} \mu(\bigcup_{n=1}^{\infty}A_n) &= \int_{E_1} \mu_2 ((\bigcup_{n=1}^{\infty}A_n)(x_1)) \mu_1(dx_1) \\ &=\int_{E_1} \mu_2 (\bigcup_{n=1}^{\infty}(A_n(x_1))) \mu_1(dx_1) \\ &=\int_{E_1} \sum_{n=1}^{\infty} \mu_2 (A_n(x_1))\mu_1(dx_1) \\ &\overset{单调收敛定理}=\sum_{n=1}^{\infty}\int_{E_1}\mu_2 (A_n(x_1))\mu_1(dx_1)\\ &=\sum_{n=1}^{\infty} \mu(A_n) \end{aligned}$$

（备注，严谨来说，这里要证明$\mu_2(A(x_1))$可测，可以参考课本135页定理6.1.9）

可以把上述结论推广至$n$维情形

$$设(E_k, \Sigma_k, \mu_k)是n个概率空间，1\le k \le n ,\\ 乘积空间为(E_1\times...\times E_n, \Sigma_1\times ...\times \Sigma_n, \mu_1\times...\times \mu_n),\\ (\mu_1\times...\times \mu_n)(A) =\int_{E_1}\mu_1(dx_1)...\int_{E_{n-1}}\mu_{n-1}(A(x_1,...,x_{n-1}))\mu_{n} (dx_{n})$$

定理4.1.2

$$设X_1与X_2是定义在(\Omega,\mathcal F, \mathbb P)，取值于(E_1,{\Sigma}_1),(E_2,{\Sigma}_2)的随机变量（随机元），\\ \mu,\mu_1,\mu_2分别表示(X_1,X_2),X_1,X_2的概率分布函数，那么\\ X_1与X_2独立\Leftrightarrow \mu= \mu_1 \times \mu_2$$

证明：$\Rightarrow$：

$$\begin{aligned} \mu(A_1\times A_2) &= \mathbb P((x_1,x_2)\in A_1\times A_2)\\ &=\mathbb P(x_1 \in A_1,x_2\in A_2)\\ &=\mathbb P(x_1 \in A_1)\mathbb P(x_2 \in A_2)\\ &=\mu_1(A_1)\mu_2(A_2) \\ &=(\mu_1\times \mu_2)(A_1\times A_2) \end{aligned}$$

由概率测度的唯一性可知$\mu= \mu_1 \times \mu_2$

$\Leftarrow$：

$$\begin{aligned} \mathbb P(x_1 \in A_1 ,x_2 \in A_2) &= \mathbb P((x_1,x_2)\in A_1\times A_2)\\ &=\mu(A_1\times A_2)\\ &=(\mu_1\times \mu_2)(A_1\times A_2)\\ &=\mu_1(A_1)\mu_2(A_2) \\ &=\mathbb P(x_1 \in A_1)\mathbb P(x_2 \in A_2) \end{aligned}$$

卷积公式

$$X \sim b(m,p),Y\sim b(n, p), X\perp Y \Rightarrow Z=X+Y \sim b(m+n, p)$$

证明：

$$\mathbb P(Z=k)=\mathbb P(X+Y=k) =\sum_{i=0}^k \mathbb P(X=i) \mathbb P(Y=k-i)= C_{m+n}^k p^k(1-p)^{m+n-k}$$

2.由初始分布和转移概率决定的测度

考虑如下问题：取$Z=(X,Y), A=(A_1,A_2)\in {\Sigma}_1 \times {\Sigma}_2$，那么

$$\begin{aligned} \mu(A) &=\mathbb P((X,Y)\in (A_1,A_2))\\ &=\mathbb P(X \in A_1, Y \in A_2)\\ &=\mathbb P(\{w:X(w)\in A_1\} \bigcap \{w:Y(w)\in A_2\})\\ &=\mathbb P(X^{-1}(A_1)\bigcap Y^{-1}(A_2)) \\ &=\mathbb P(\tilde A_1\bigcap \tilde A_2) \\ &=\mathbb P(\tilde A_1)\mathbb P(\tilde A_2|\tilde A_1) \\ &=\mathbb P(X\in A_1)\mathbb P(Y\in A_2|X\in A_1) \end{aligned}$$

这就引出了转移概率测度的概念：

转移概率测度的定义

定义：

$$设(E_1,{\Sigma}_1),(E_2,{\Sigma}_2)是两个可测空间，\mathbb P(X_1,A)是定义在 E_1\times {\Sigma}_2上的函数，若它满足\\ \begin{aligned} &(1)给定X_1 \in E_1 ,\mathbb P(.,A)是{\Sigma}_1上概率测度\\ &(2)给定A\in {\Sigma}_2,\mathbb P(X_1,.)是{\Sigma}_2上可测函数\\ \end{aligned}\\ 则\mathbb P为E_1\times {\Sigma}_2上的一个转移概率测度$$

定理4.1.3

$$设\mu_1是{\Sigma}_1上概率测度，\mathbb P(.,.)是A_1,{\Sigma}_1上概率转移函数，\\ 则存在{E}_1\times {\Sigma}_2上唯一概率测度\mu，使得\\ \mu(A_1\times A_2) = \int_{A_1} \mathbb P(X_1,A_2)\mu_1(dx_1) \\ \mu(A) = \int_{E_1} \mathbb P(X_1,A(X_1))\mu_1(dx_1)$$

习题

习题1

（课本P145/6.1/3）

(1)证明：设$X_1 +X_2$的概率分布测度为$ P$，分布函数为$F$，概率密度为$p$，现在$\forall B\in \mathcal B^n$

$$\begin{aligned} P(B) &= (P_1\times P_2)(\{(x,y): x+y \in B\} )\\ &=\int_{\mathbb R^n} P_1(\{x : x\in B-y\}) P_2(dy)\\ &=\int_{\mathbb R^n} P_1(B-y)P_2(dy)\\ \end{aligned}\\ \begin{aligned} F(x) &= P((-\infty,x])\\ &=\int_{\mathbb R^n} P_1((-\infty,x]-y)P_2(dy) \\ &=\int_{\mathbb R^n} P_1((-\infty,x-y])P_2(dy) \\ &=\int_{\mathbb R^n} F_1(x-y) d F_2 (y)\\ \end{aligned}$$

(2)证明：因为

$$F_i (x)= \int_{-\infty}^x p_i(t)dt, p_i(x) =dF_i(x)$$

所以

$$\begin{aligned} F(x) &=\int_{\mathbb R^n} F_1(x-y) d F_2 (y)\\ &=\int_{\mathbb R^n} \int_{-\infty}^{x-y} p_1(t) p_2(y)dt dy \end{aligned}$$

令$t= u-y$，那么

$$\begin{aligned} F(x) &=\int_{\mathbb R^n} \int_{-\infty}^{x-y} p_1(t) p_2(y)dt dy\\ &=\int_{\mathbb R^n} \int_{-\infty}^{x} p_1(u-y) p_2(y)du dy \\ &=\int_{-\infty}^{x}\int_{\mathbb R^n} p_1(u-y) p_2(y)du dy \end{aligned}$$

所以分布密度为

$$p_1 * p_2(x)=\int_{\mathbb R^n} p_1(x-y) p_2(y)du dy$$

(3)证明：记$\mathbb R^n$中分布测度全体为$A$，任取$P_1,P_2,P_3$，对应的随机变量为$Z_1,Z_2,Z_3$，由(1)可知

$$P_1 *P_2 \in A,P_2 * P_3 \in A$$

因为

$$(Z_1+Z_2) + Z_3 = Z_1 +(Z_2 +Z_3)$$

所以

$$(P_1 * P_2)*P_3= P_1*(P_2*P_3)$$

所以$A$对卷积运算构成半群。又因为

$$Z_1 + Z_2 = Z_2 + Z_1$$

从而

$$P_1 * P_2=P_2 * P_1$$

因此$A$为交换半群。

习题2

（课本P145/6.1/8）

证明：先证$\forall x \in [0,1]$，$\lambda(x,.)$为测度。

1.因为

$$f(x,y)\ge 0$$

所以

$$\lambda(x, B) = \int_{B} f(x,y) dy \ge 0$$

非负性得证。

2.

$$\forall B_i \in \mathcal B[0,1],B_i \bigcap B_j =\varnothing(i\neq j)\\ \begin{aligned} \lambda(x, \bigcup_{i=1}^{\infty}B_i) &= \int_{\bigcup_{i=1}^{\infty}B_i} f(x,y) dy\\ &=\int_{0}^1 1_{\bigcup_{i=1}^{\infty}B_i}f(x,y) dy \\ &=\int_{0}^1 \sum_{i=1}^{\infty} 1_{B_i}f(x,y) dy \end{aligned}$$

因为$f(x,y)$非负，所以由单调收敛定理可得

$$\begin{aligned} \lambda(x, \bigcup_{i=1}^{\infty}B_i) &=\int_{0}^1 \sum_{i=1}^{\infty} 1_{B_i}f(x,y) dy\\ &=\sum_{i=1}^{\infty} \int_{0}^1 1_{B_i}f(x,y) dy\\ &=\sum_{i=1}^{\infty} \int_{B_i}f(x,y) dy\\ &= \sum_{i=1}^{\infty}\lambda(x,B_i) \end{aligned}$$

可列可加性得证。结合以上两点可知$\forall x \in [0,1]$，$\lambda(x,.)$为测度。

再证$\forall B\in \mathcal B[0,1]$，$\lambda(.,B)$为可测函数。先对$f(x,y)= I_A(x,y)$的情形证明结论，构造两个集合：

$$S=\{A\in \mathcal B[0,1]\times \mathcal B[0,1]: \int_B I_A dy 可测\}\\ C = \{A_1 \times A_2 : A_1,A_2 \in \mathcal B[0,1]\}$$

接着$\forall A=A_1\times A_2 \in C$，

$$\lambda(x,B)=\int_B 1_A(x,y)dy = 1_{A_1}(x) \mu(A_2 B)$$

其中$\mu$表示勒贝格测度，注意到$A_1 \in \mathcal B[0,1]$，$\mu(A_2 B)$为常数，所以此时$\lambda(x,B)$可测，因此

$$C\subset S$$

任取$A’=A_1’ \times A_2’,A’’=A_1’’\times A_2’’ \in C$，那么

$$A'\bigcap A'' = (A_1'\bigcap A''_1) \times (A_2'\bigcap A''_2) \in C$$

从而$C$为$\pi$系。所以为证$S$为$\sigma$代数，只要证明$S$为$\lambda$系即可。

1.当$A=[0,1]\times [0,1]$时，

$$\int_B 1_{A} (x,y) dy = \mu(B)$$

因为常数显然可测，所以$[0,1]\times [0,1] \in S$

2.$\forall A_1, A_2 \in S, A_1 \subset A_2$

$$\begin{aligned} \int_B 1_{A_2 -A_1} (x,y) dy &=\int_B 1_{A_2} (x,y) dy - \int_B 1_{A_1} (x,y) dy\\ \end{aligned}$$

因为可测函数的差可测，所以

$$A_2 - A_1 \in S$$

3.$\forall A_n \in S, A_n \uparrow$且$\bigcup_{n=1}^{\infty} A_n =A$

$$\int_B 1_A(x,y) dy = \int_B \lim_{n\to\infty}1_{A_n}(x,y) dy = \lim_{n\to\infty}\int_ B 1_{A_n}(x,y)dy$$

因为可测函数的极限可测，所以

$$A \in S$$

因此$S$为$\lambda$系，从而$S$为$\sigma$代数。

由可测函数的线性性和可加性可知，如果$f$为非负简单函数，即$f = \sum_{i=1}^n a_i 1_{A_i}$时，$\lambda(x,B)$可测。

对于一般的非负有界可测函数，存在非负简单函数$f_n(x,y)\uparrow f(x,y)$，从而

$$\lambda(x,B)= \lim_{n\to \infty} \int_B f_n(x,y) dy =\int_B f(x,y)dy$$

也可测。综上可知，$\lambda(x,B)$可测。