Probability, Unit 2 Conditioning and Bayes' Rule, Independence

距离上次更新已经 1785 天了，文章内容可能已经过时。

这次回顾第二，第三讲，主要内容为条件概率，贝叶斯公式和独立性。

课程主页：https://ocw.mit.edu/resources/res-6-012-introduction-to-probability-spring-2018/index.htm

edx版本：https://www.edx.org/course/probability-the-science-of-uncertainty-and-data-0

Part 1：课程回顾

条件概率

设事件$B$满足$\mathbf{P}(B)>0$，给定$B$之下，事件$A$的条件概率为

$$\mathrm{P}(A|B)=\frac{\mathrm{P}(A\cap B)}{\mathrm{P}(B)}$$

条件概率满足普通概率的性质：

1. $\mathbf{P}(A|B)\ge 0$
2. $\mathbf{P}(\mathrm{\Omega }|B)=\frac{\mathbf{P}(\mathrm{\Omega }\cap B)}{\mathbf{P}(B)}=\frac{\mathbf{P}(B)}{\mathbf{P}(B)}=1$
3. $\mathbf{P}(B|B)=\frac{\mathbf{P}(B\cap B)}{\mathbf{P}(B)}=1$
4. 如果$A\cap C=\varnothing$，那么$\mathbf{P}(A\cup C|B)=\mathbf{P}(A|B)+\mathbf{P}(C|B)$

利用条件概率，还可以得到如下公式（假设所涉及的概率都是正的）：

$$\mathrm{P}\left(\bigcap _{i=1}^n{A}_i\right)=\mathrm{P}\left(A_1\right)\mathrm{P}\left(A_2|A_1\right)\mathrm{P}(A_3|A_1\cap A_2)\cdots \mathrm{P}\left(A_n|{\cap }_{i=1}^{n-1}{A}_i\right)$$

全概率公式

假设$A_1,A_2,\cdots ,A_n$是一组互不相容的事件，它形成样本空间的一个分割，假定对于任意$i,\mathbf{P}(A_i)>0$，那么

$$\begin{array}{rl}\mathrm{P}(B)& =\sum _{i=1}^n\mathbf{P}\left(A_i\right)\mathrm{P}\left(B|A_i\right)\end{array}$$

在上述条件下，利用条件概率的定义可得到贝叶斯公式：

贝叶斯公式

$$\mathrm{P}\left(A_i|B\right)=\frac{\mathrm{P}\left(A_i\right)\mathrm{P}\left(B|A_i\right)}{\sum _{j=1}^n\mathrm{P}\left(A_j\right)\mathrm{P}\left(B|A_j\right)}$$

独立性

我们称事件$A,B$独立，如果其满足

$$\mathrm{P}(A\cap B)=\mathrm{P}(A)\cdot \mathrm{P}(B)$$

我们称事件$A_1,A_2,\dots ,A_n$独立，如果对于任意下标$i,j,\dots ,m$

$$\mathbf{P}(A_i\cap A_j\cap \cdots \cap A_m)=\mathbf{P}\left(A_i\right)\mathbf{P}\left(A_j\right)\cdots \mathbf{P}\left(A_m\right)$$

条件独立性

设事件$C$满足$\mathbf{P}(C)>0$，两个事件$A,B$称为在给定$C$的条件下条件独立，如果满足

$$\mathrm{P}(A\cap B|C)=\mathrm{P}(A|C)\mathrm{P}(B|C)$$

Part 2：理论习题

1

记因为累计$n$元停止压注的事件为$A$，因为累计$0$元停止压注的事件为$B$，记起始为$k$元，事件$A$发生的概率为$w_k$，显然

$$w_0=0,w_n=1$$

并且那么对于$0<k<n$，我们有

$$\begin{array}{rl}{w}_k& =\mathrm{P}(A|F)\mathrm{P}(F)+\mathrm{P}\left(A|F^c\right)\mathrm{P}\left(F^c\right)\\ & =p\mathrm{P}(A|F)+q\mathrm{P}\left(A|F^c\right)\\ & =p{w}_{k+1}+(1-p)w_{k-1}\end{array}$$

所以

$$\begin{array}{rl}p(w_{k+1}-w_k)& =(1-p)(w_k-w_{k-1})\\ w_{k+1}-w_k& =\frac{1-p}{p}(w_k-w_{k-1})\triangleq r(w_k-w_{k-1})\end{array}$$

递推得到

$$w_{k+1}-w_k=r^k(w_1-w_0)=r^k{w}_1,0<k<n$$

累加可得

$$\begin{array}{rl}{w}_k& =w_0+\sum _{i=1}^k(w_i-w_{i-1})\\ & =\sum _{i=1}^k{r}^{i-1}{w}_1\\ & =\{\begin{array}{ll}\frac{1-r^k}{1-r}{w}_1& r\ne 1\\ k{w}_1& r=1\end{array}\end{array}$$

取$k=n$，得到

$$1=w_n=\{\begin{array}{ll}\frac{1-r^n}{1-r}{w}_1& r\ne 1\\ n{w}_1& r=1\end{array}$$

所以

$$w_1=\{\begin{array}{ll}\frac{1-r}{1-r^n}& r\ne 1\\ \frac{1}{n}& r=1\end{array}$$

注意

$$r=1\iff p=q$$

因此

$$w_k=\{\begin{array}{ll}\frac{1-r^k}{1-r}{w}_1=\frac{1-r^k}{1-r}\frac{1-r}{1-r^n}=\frac{1-r^k}{1-r^n}& p\ne q\\ k{w}_1=\frac{k}{n}& p=q\end{array}$$

2

后面要重复使用如下不等式：

$$1-x\le e^{-x},0\le x\le 1$$

(a)记第$i$次试验成功的事件为$A_i$，那么

$$\begin{array}{rl}N& =\bigcap _{i=1}^{\mathrm{\infty }}{\bar{A}}_i\\ \mathbf{P}(N)& =\mathbf{P}\left(\bigcap _{i=1}^{\mathrm{\infty }}\overline{A_i}\right)\\ & =\prod _{i=1}^{\mathrm{\infty }}\mathbf{P}(\overline{A_i})\\ & =\prod _{i=1}^{\mathrm{\infty }}(1-p_i)\\ & \le e^{-\sum _{i=1}^{\mathrm{\infty }}{p}_i}\\ & =0\end{array}$$

所以

$$\mathbf{P}(N)=0$$

为证明另一个结论，考虑$I$的补集，记$B_i$为第$i$次试验成功，后续全失败的事件，那么不难看出我们有

$$I^C=N\bigcup ({\cup }_{i=1}^{\mathrm{\infty }}{S}_i)$$

注意到

$$S_i=A_i\bigcap _{j=i+1}^{\mathrm{\infty }}\overline{A_j}$$

所以

$$\begin{array}{rl}\mathbf{P}(S_i)& =\mathbf{P}\left(A_i\bigcap _{j=i+1}^{\mathrm{\infty }}\overline{A_j}\right)\\ & =\mathbf{P}(A_i)\prod _{j=1+1}^{\mathrm{\infty }}\mathbf{P}(\overline{A_j})\\ & =p_i\prod _{j=i+1}^{\mathrm{\infty }}(1-p_j)\\ & \le p_i{e}^{-\sum _{j=i+1}^{\mathrm{\infty }}{p}_i}\\ & =0\end{array}$$

因此

$$\begin{array}{rl}\mathbf{P}(I^C)& =\mathbf{P}(N\bigcup ({\cup }_{i=1}^{\mathrm{\infty }}{S}_i))\\ & \le \mathbf{P}(N)+\sum _{i=1}^{\mathrm{\infty }}\mathbf{P}(S_i)\\ & =0\\ \mathbf{P}(I)& =1-\mathbf{P}(I^C)\\ & =1\end{array}$$

(b)如果事件$I$发生，那么$\mathrm{\forall }j$，第$j$次试验之后至少有一次成功，即

$$\mathrm{\forall }j,I\Rightarrow \bigcup _{i=j}^{\mathrm{\infty }}{A}_i$$

所以$\mathrm{\forall }j$，我们有

$$\begin{array}{rl}\mathbf{P}(I)& \le \mathbf{P}\left(\bigcup _{i=j}^{\mathrm{\infty }}{A}_i\right)\\ & \le \sum _{i=j}^{\mathrm{\infty }}\mathbf{P}\left(A_i\right)\\ & =\sum _{i=j}^{\mathrm{\infty }}{p}_i\end{array}$$

因此

$$\mathbf{P}(I)\le \underset{j\to \mathrm{\infty }}{lim}\sum _{i=j}^{\mathrm{\infty }}{p}_i$$

因为

$$\sum _{i=1}^{\mathrm{\infty }}{p}_i<\mathrm{\infty }$$

所以

$$\underset{j\to \mathrm{\infty }}{lim}\sum _{i=j}^{\mathrm{\infty }}{p}_i=0$$

从而

$$\begin{array}{rl}\mathbf{P}(I)& \le \underset{j\to \mathrm{\infty }}{lim}\sum _{i=j}^{\mathrm{\infty }}{p}_i=0\\ \mathbf{P}(I)& =0\end{array}$$