Probability, Unit 4 Discrete random variables

这次回顾第四单元,这一讲介绍了离散随机变量。

课程主页:https://ocw.mit.edu/resources/res-6-012-introduction-to-probability-spring-2018/index.htm

edx版本:https://www.edx.org/course/probability-the-science-of-uncertainty-and-data-0

Part 1:课程回顾

常见随机变量

伯努利随机变量

其中$p \in[0,1]$。期望和方差为

离散均匀随机变量

给定整数$a\le b$,样本空间为$\{a, a+1, \ldots, b\}$,随机变量$X(\omega)=\omega$,分布列为

期望和方差为

几何随机变量

给定参数$p : 0<p \leq 1$,$p$为硬币正面出现的概率,随机变量$X$为连续投硬币,直至正面出现所需的投掷次数,所以分布列为

期望和方差为

泊松随机变量

期望和方差为

期望

定义

对于离散随机变量,定义其期望为

这里假设

性质
  • $\mathbf{E}[a X+b]=a \mathbf{E}[X]+b$
  • $\mathbf{E}[g(X)]=\sum_x g(x)p_X(x)$
  • 如果$X\ge 0$,那么$\mathbf{E}[X] \geq 0$
  • 如果$a \leq X \leq b$,那么$a \leq \mathbf{E}[X] \leq b$
  • 如果$c$是常数,那么$\mathbf{E}[c]=c$

方差和标准差

定义

方差的定义为

标准差为

性质
  • 对于$Y=a X+b$,其期望和方差为

条件分布列与期望

假设$A$为某事件,$\mathbf P(A)>0$。随机变量$X$在给定$A$发生的条件下的条件分布列为

满足

条件期望的定义为

类似的我们有

对于随机变量,定义

给定$Y=y$的条件下$X$的条件期望为

利用全期望公式,我们有

假设$A_{1}, \cdots, A_{n}$是互不相容的事件并构成样本空间的分割,假设$\mathbf P(A_i)>0$,那么

如果事件$B$满足$\mathrm{P}\left(A_{i} \cap B\right)>0$,那么

几何分布的无记忆性

  • 假设$X$服从参数为$p$的几何分布,在$X>n$的条件下,$X-n$服从参数为$p$的几何分布

证明:

利用该性质计算期望:

多个随机变量的联合分布列

定义两个随机变量的联合PMF为

由此可以推出

对于$g(X,Y)$,我们有

多于两个随机变量的情形也可以推广,特别的,我们有

独立性

我们称$X$相对于事件$A$独立,如果

称$X,Y$为相互独立的随机变量,如果

如果$X,Y$相互独立,那么

Part 2:理论习题

1

注意

所以

2

假设投掷硬币的次数为$X$,第$i$次硬币为正面的事件为$H_i$,反面的事件为$T_i$,那么

接着考虑$\mathrm{E}\left[X | H_{1}\right]$,我们有

同理计算$\mathrm{E}\left[X | T_{1}\right]$可得

解得

所以

3

(a)注意到该不等式等价于

利用不等式

我们可得

所以结论成立。

利用原不等式等号成立的条件,我们得到该不等式等号成立的条件为

(b)注意到

由(a)可得

等号成立的条件为

(c)

(d)