Probability, Unit 2 Conditioning and Bayes' Rule, Independence

这次回顾第二，第三讲，主要内容为条件概率，贝叶斯公式和独立性。

课程主页：https://ocw.mit.edu/resources/res-6-012-introduction-to-probability-spring-2018/index.htm

edx版本：https://www.edx.org/course/probability-the-science-of-uncertainty-and-data-0

Part 1：课程回顾

条件概率

设事件$B$满足$\mathbf P(B)>0$，给定$B$之下，事件$A$的条件概率为

$$\mathrm{P}(A | B)=\frac{\mathrm{P}(A \cap B)}{\mathrm{P}(B)}$$

条件概率满足普通概率的性质：

1. $\mathbf{P}(A | B) \geq 0$
2. $\mathbf P(\Omega | B)=\frac{\mathbf P(\Omega \cap B)}{\mathbf P(B)}=\frac{\mathbf P(B)}{\mathbf P(B)}=1$
3. $\mathbf P(B | B)=\frac{\mathbf P(B \cap B)}{\mathbf P(B)}=1$
4. 如果$A \cap C=\varnothing$，那么$\mathbf{P}(A \cup C | B)=\mathbf{P}(A | B)+\mathbf{P}(C | B)$

利用条件概率，还可以得到如下公式（假设所涉及的概率都是正的）：

$$\mathrm{P}\left(\bigcap_{i=1}^{n} A_{i}\right)=\mathrm{P}\left(A_{1}\right) \mathrm{P}\left(A_{2} | A_{1}\right) \mathrm{P}\left(A_{3} | A_{1} \cap A_{2}\right) \cdots \mathrm{P}\left(A_{n} | \cap_{i=1}^{n-1} A_{i}\right)$$

全概率公式

假设$A_{1}, A_{2}, \cdots, A_{n}$是一组互不相容的事件，它形成样本空间的一个分割，假定对于任意$i, \mathbf P(A_i)>0$，那么

$$\begin{aligned} \mathrm{P}(B) &=\sum_{i=1}^n \mathbf{P}\left(A_{i}\right) \mathrm{P}\left(B | A_{i}\right) \end{aligned}$$

在上述条件下，利用条件概率的定义可得到贝叶斯公式：

贝叶斯公式

$$\mathrm P\left(A_{i} | B\right)=\frac{\mathrm{P}\left(A_{i}\right) \mathrm{P}\left(B | A_{i}\right)}{\sum_{j=1}^n \mathrm{P}\left(A_{j}\right) \mathrm{P}\left(B | A_{j}\right)}$$

独立性

我们称事件$A,B$独立，如果其满足

$$\mathrm{P}(A \cap B)=\mathrm{P}(A) \cdot \mathrm{P}(B)$$

我们称事件$A_{1}, A_{2}, \dots, A_{n}$独立，如果对于任意下标$i,j,\ldots, m$

$$\mathbf{P}\left(A_{i} \cap A_{j} \cap \cdots \cap A_{m}\right)=\mathbf{P}\left(A_{i}\right) \mathbf{P}\left(A_{j}\right) \cdots \mathbf{P}\left(A_{m}\right)$$

条件独立性

设事件$C$满足$\mathbf P (C)>0$，两个事件$A,B$称为在给定$C$的条件下条件独立，如果满足

$$\mathrm{P}(A \cap B | C)=\mathrm{P}(A | C) \mathrm{P}(B | C)$$

Part 2：理论习题

1

记因为累计$n$元停止压注的事件为$A$，因为累计$0$元停止压注的事件为$B$，记起始为$k$元，事件$A$发生的概率为$w_k$，显然

$$w_0 =0, w_{n}=1$$

并且那么对于$0<k<n$，我们有

$$\begin{aligned} w_{k}&=\mathrm{P}(A | F) \mathrm{P}(F)+\mathrm{P}\left(A | F^{c}\right) \mathrm{P}\left(F^{c}\right)\\ &=p \mathrm{P}(A | F)+q \mathrm{P}\left(A | F^{c}\right)\\ &= pw_{k+1}+(1-p)w_{k-1} \end{aligned}$$

所以

$$\begin{aligned} p(w_{k+1}-w_k)&=(1-p)(w_k-w_{k-1})\\ w_{k+1}-w_k&=\frac{1-p}{p}(w_k-w_{k-1})\triangleq r(w_k-w_{k-1}) \end{aligned}$$

递推得到

$$w_{k+1}-w_k = r^k(w_1 -w_0)=r^k w_1 ,0<k<n$$

累加可得

$$\begin{aligned} w_{k}&=w_0+\sum_{i=1}^{k}(w_i-w_{i-1}) \\ &=\sum_{i=1}^{k} r^{i-1}w_1 \\ &=\begin{cases} \frac{1-r^{k}}{1-r}w_1 & r\neq 1\\ kw_1& r=1 \end{cases} \end{aligned}$$

取$k=n $，得到

$$1=w_n=\begin{cases} \frac{1-r^{n}}{1-r}w_1 & r\neq 1\\ nw_1& r=1 \end{cases}$$

所以

$$w_1=\begin{cases} \frac{1-r}{1-r^{n}}& r\neq 1\\ \frac 1 n& r=1 \end{cases}$$

注意

$$r=1\Leftrightarrow p=q$$

因此

$$w_k=\begin{cases} \frac{1-r^{k}}{1-r}w_1 =\frac{1-r^{k}}{1-r}\frac{1-r}{1-r^{n}} =\frac{1-r^k}{1-r^{n}}&p\neq q\\ kw_1=\frac k n& p=q \end{cases}$$

2

后面要重复使用如下不等式：

$$1-x\le e^{-x} ,0\le x\le 1$$

(a)记第$i$次试验成功的事件为$A_i$，那么

$$\begin{aligned} N&=\bigcap _{i=1}^{\infty}\overline A_i\\ \mathbf P(N)&=\mathbf P\left(\bigcap _{i=1}^{\infty}\overline {A_i} \right)\\ &=\prod_{i=1}^{\infty}\mathbf P(\overline {A_i})\\ &=\prod_{i=1}^{\infty}(1-p_i)\\ &\le e^{-\sum_{i=1}^{\infty} p_i}\\ &=0 \end{aligned}$$

所以

$$\mathbf{P}(N)=0$$

为证明另一个结论，考虑$I$的补集，记$B_i$为第$i$次试验成功，后续全失败的事件，那么不难看出我们有

$$I^C=N\bigcup (\cup_{i=1}^{\infty} S_i)$$

注意到

$$S_i= A_i \bigcap_{j=i+1}^{\infty} \overline{A_j}$$

所以

$$\begin{aligned} \mathbf P(S_i)&=\mathbf P\left(A_i \bigcap_{j=i+1}^{\infty} \overline{A_j}\right)\\ &=\mathbf P(A_i)\prod_{j=1+1}^{\infty}\mathbf P(\overline {A_j})\\ &=p_i\prod_{j=i+1}^{\infty}(1-p_j)\\ &\le p_i e^{-\sum_{j=i+1}^{\infty} p_i}\\ &=0 \end{aligned}$$

因此

$$\begin{aligned} \mathbf P(I^C) &=\mathbf P\left(N\bigcup (\cup_{i=1}^{\infty} S_i) \right)\\ &\le \mathbf P(N)+\sum_{i=1}^{\infty} \mathbf P(S_i)\\ &=0\\ \mathbf P(I)&=1-\mathbf P(I^C)\\ &=1 \end{aligned}$$

(b)如果事件$I$发生，那么$\forall j$，第$j$次试验之后至少有一次成功，即

$$\forall j,I\Rightarrow \bigcup_{i=j}^{\infty} A_i$$

所以$\forall j$，我们有

$$\begin{aligned} \mathbf P(I) &\le \mathbf P \left( \bigcup_{i=j}^{\infty} A_i \right)\\ &\le \sum_{i=j}^{\infty} \mathbf P \left( A_i \right)\\ &=\sum_{i=j}^{\infty} p_i \end{aligned}$$

因此

$$\mathbf P(I) \le \lim_{j\to \infty} \sum_{i=j}^{\infty} p_i$$

因为

$$\sum_{i=1}^{\infty} p_{i}<\infty$$

所以

$$\lim_{j\to \infty} \sum_{i=j}^{\infty} p_i =0$$

从而

$$\begin{aligned} \mathbf P(I) &\le \lim_{j\to \infty} \sum_{i=j}^{\infty} p_i =0 \\ \mathbf P(I) &=0 \end{aligned}$$