Lecture 2 Conditioning and Bayes' Rule, Lecture 3 Independence

这次回顾第二,第三讲,主要内容为条件概率,贝叶斯公式和独立性。

课程主页:https://ocw.mit.edu/resources/res-6-012-introduction-to-probability-spring-2018/index.htm

edx版本:https://www.edx.org/course/probability-the-science-of-uncertainty-and-data-0

Part 1:课程回顾

条件概率

设事件$B$满足$\mathbf P(B)>0$,给定$B$之下,事件$A$的条件概率为

条件概率满足普通概率的性质:

  1. $\mathbf{P}(A | B) \geq 0​$
  2. $\mathbf P(\Omega | B)=\frac{\mathbf P(\Omega \cap B)}{\mathbf P(B)}=\frac{\mathbf P(B)}{\mathbf P(B)}=1​$
  3. $\mathbf P(B | B)=\frac{\mathbf P(B \cap B)}{\mathbf P(B)}=1$
  4. 如果$A \cap C=\varnothing$,那么$\mathbf{P}(A \cup C | B)=\mathbf{P}(A | B)+\mathbf{P}(C | B)$

利用条件概率,还可以得到如下公式(假设所涉及的概率都是正的):

全概率公式

假设$A_{1}, A_{2}, \cdots, A_{n}$是一组互不相容的事件,它形成样本空间的一个分割,假定对于任意$i, \mathbf P(A_i)>0$,那么

在上述条件下,利用条件概率的定义可得到贝叶斯公式:

贝叶斯公式

独立性

我们称事件$A,B$独立,如果其满足

我们称事件$A_{1}, A_{2}, \dots, A_{n}$独立,如果对于任意下标$i,j,\ldots, m​$

条件独立性

设事件$C$满足$\mathbf P (C)>0$,两个事件$A,B$称为在给定$C$的条件下条件独立,如果满足

Part 2:理论习题

1

记因为累计$n$元停止压注的事件为$A$,因为累计$0$元停止压注的事件为$B$,记起始为$k$元,事件$A$发生的概率为$w_k$,显然

并且那么对于$0<k<n​$,我们有

所以

递推得到

累加可得

取$k=n $,得到

所以

注意

因此

2

后面要重复使用如下不等式:

(a)记第$i$次试验成功的事件为$A_i$,那么

所以

为证明另一个结论,考虑$I$的补集,记$B_i$为第$i$次试验成功,后续全失败的事件,那么不难看出我们有

注意到

所以

因此

(b)如果事件$I$发生,那么$\forall j$,第$j$次试验之后至少有一次成功,即

所以$\forall j$,我们有

因此

因为

所以

从而