Probability, Unit 1 Probability Models and Axioms

MIT的概率公开课是非常好的学习资料，之前看过视频，但是没坚持学完，最近edx正好开新一版，借此机会把这门课看完，顺便记录一些笔记。

这次回顾第一讲，主要内容为概率的公理体系。

课程主页：https://ocw.mit.edu/resources/res-6-012-introduction-to-probability-spring-2018/index.htm

edx版本：https://www.edx.org/course/probability-the-science-of-uncertainty-and-data-0

Part 1：课程回顾

概率论公理体系

建立概率，首先需要确定样本空间，其次是指定事件（样本空间的子集），概率是赋予事件的值，要满足如下几个公理：

非负性：
$\mathbf{P}(A) \geq 0$
规范性：
$\mathbf{P}(\Omega)=1$
（有限可加性）：如果$A \cap B=\varnothing$，那么
$\mathbf{P}(A \cup B)=\mathbf{P}(A)+\mathbf{P}(B)$
（可列可加性）：如果$A_{1}, A_{2}, A_{3}, \dots$是不相交事件的序列，那么
$\mathrm{P}\left(A_{1} \cup A_{2} \cup A_{3} \cup \cdots\right)=\mathrm{P}\left(A_{1}\right)+\mathrm{P}\left(A_{2}\right)+\mathrm{P}\left(A_{3}\right)+\cdots$

推论

根据上述公理可以得到如下常用推论：

$\mathbf{P}(A) \leq 1$
$\mathrm{P}(\varnothing)=0$
$\mathbf{P}(A)+\mathbf{P}\left(A^{c}\right)=1$
$A,B,C$互不相交：
$\mathbf{P}(A \cup B \cup C)=\mathbf{P}(A)+\mathbf{P}(B)+\mathbf{P}(C)$
$\begin{aligned} \mathrm{P}\left(\left\{s_{1}, s_{2}, \ldots, s_{k}\right\}\right) &=\mathrm{P}\left(\left\{s_{1}\right\}\right)+\cdots+\mathrm{P}\left(\left\{s_{k}\right\}\right) \\ &=\mathrm{P}\left(s_{1}\right)+\cdots+\mathrm{P}\left(s_{k}\right) \end{aligned}$
如果$A \subset B$，那么$\mathbf{P}(A) \leq \mathbf{P}(B)$
$\mathbf{P}(A \cup B)=\mathbf{P}(A)+\mathbf{P}(B)-\mathbf{P}(A \cap B)$
$\mathbf{P}(A \cup B) \leq \mathbf{P}(A)+\mathbf{P}(B)$
$\mathbf{P}(A \cup B \cup C)=\mathbf{P}(A)+\mathbf{P}\left(A^{c} \cap B\right)+\mathbf{P}\left(A^{c} \cap B^{c} \cap C\right)$
概率的连续性：$A_{1}, A_{2}, \cdots$是一个单调递增的事件序列，即对每个$n$，$A_{n} \subset A_{n+1}$，记$A=\cup_{i=1}^\infty A_n$，那么
$\mathrm{P}(A)=\lim _{n \rightarrow \infty} \mathrm{P}\left(A_{n}\right)$
概率的连续性：$A_{1}, A_{2}, \cdots$是一个单调递减的事件序列，即对每个$n$，$A_{n} \supset A_{n+1}$，记$A=\cap_{i=1}^\infty A_n$，那么
$\mathrm{P}(A)=\lim _{n \rightarrow \infty} \mathrm{P}\left(A_{n}\right)$

推论1-9的推导在课件以及课本里均有提及，推论10,11为课本1.2节习题13,。

Part 2：理论习题

课程以及课本每次会补充一些比较难的理论习题，后续每次课程都会总结这些内容。

1 Bonferroni’s inequality

对于$n$个事件$A_1,A_2,\ldots , A_ n$，我们有

$\mathbf{P}\left(A_{1} \cap \cdots \cap A_{n}\right) \geq \mathbf{P}\left(A_{1}\right)+\cdots+\mathbf{P}\left(A_{n}\right)-(n-1)$

证明：

$\begin{aligned} \mathbf{P}\left(A_{1} \cap \cdots \cap A_{n}\right) &= 1- \mathbf P\left(\left(A_{1} \cap \cdots \cap A_{n}\right)^c \right)\\ &=1- \mathbf P\left(A_{1}^c \cup \cdots \cup A_{n}^c \right)\\ &\ge 1- \left(\sum_{i=1}^n \mathbf P(A_i^c) \right) \\ &=1- \left(\sum_{i=1}^n (1-\mathbf P(A_i)) \right) \\ &=\sum_{i=1}^n \mathbf P(A_i)-(n-1) \end{aligned}$

2

(a)令

$A_n =[a_n, b_n]$

那么

$[a,b] \subset A_{n+1}\subset A_n$

并且

$\cap_{n=1}^{\infty} A_n = [a,b]$

由概率的连续性可得

$\lim_{n\to\infty}\mathbf P (A_n) = \mathbf P([a,b])$

(b)令

$A_n =[a_n, b_n]$

那么

$A_n \subset A_{n+1} \subset [a,b]$

注意这里我们只能推出

$\cup_{n=1}^{\infty} A_n = \cup_{n=1}^{\infty} [a_n, b_n]= (a,b)$

所以无法得到

$\lim _{n \rightarrow \infty} \mathbf{P}\left(\left[a_{n}, b_{n}\right]\right)=\mathbf{P}([a, b])$

可以构造如下反例：

$\begin{aligned} \mathbf P(x)=\begin{cases} \frac 12 & x=a或b\\ 0 & 其他 \end{cases} \end{aligned}$

取

$a_n =a +\frac 1 n ,b_n =b -\frac 1 n$

那么

$\begin{aligned} \mathbf{P}\left(\left[a_{n}, b_{n}\right]\right)& =0 \\ \lim _{n \rightarrow \infty} \mathbf{P}\left(\left[a_{n}, b_{n}\right]\right) &= 0\neq 1 =\mathbf{P}([a, b]) \end{aligned}$