高等概率论第十四讲

记录本校的高等概率论课程笔记，参考教材《测度与概率》。

本讲继续上次的内容并介绍弱大数定律。

定理 6.4.2

$$设\lbrace F_n,n\ge 1\rbrace 是\mathbb R^d上一列概率分布函数，则它一定有淡收敛子列$$

证明：利用对角线方法。

记$Q= \lbrace r_1,r_2,…,r_n,…\rbrace $为全体有理数，因为$\lbrace F_n (r_1)\rbrace $有界，因此有收敛子列$\lbrace F_{1n} (r_1)\rbrace $，记

$$F_{1n} (r_1)\to F(r_1),n\to \infty$$

因为$\lbrace F_{1n} (r_2)\rbrace $也有界，因此有收敛子列$\lbrace F_{2n} (r_2)\rbrace $，记

$$F_{2n} (r_2) \to F(r_2), n\to \infty$$

注意$F_{1n}$在$r_1$收敛，$F_{2n}$在$r_1,r_2$收敛，如此下去，得到阵列

$$\left( \begin{matrix} F_{11} & F_{12}& ... & F_{1n}& ... \\ F_{21} & F_{22}& ... & F_{2n}& ...\\ ... & ...& ... & ...& ...\\ F_{n1} & F_{n2}& ... & F_{nn}& ...\\ ... & ...& ... & ...& ...\\ \end{matrix} \right)$$

于是$\lbrace F_{nn}\rbrace $在每个有理点都收敛，记

$$\lim_{n\to \infty} F_{nn}(r) =F(r)$$

再定义

$$F(x) =\inf _{x<r\in \mathbb Q} F(r),x\in \mathbb R$$

则$F(x)$是一分布函数且$F_n \overset {v}\to F , n\to \infty$

定理 6.4.3

$$若\lbrace F_n\rbrace 的每个淡收敛子列收有相同的极限，则\lbrace F_n\rbrace 淡收敛$$

证明：设$F$是所有淡收敛子列的极限，若$F_n \nrightarrow F$，则$\exists x_0 \in \mathcal C(F)$，使得$F_n(x_0 ) \nrightarrow F(x_0 )$，所以有子列$\lbrace F_{n_k} (x_0)\rbrace $使得$|F_{n_k} (x_0)-F(x_0)|\ge \epsilon, \epsilon > 0$，而$\lbrace F_{n_k} \rbrace $有淡收敛子列$\lbrace F_{n_k’} (x_0)\rbrace $，极限为$F$，则$F_{n_k’}(x_0) \to F(x_0)$，这就产生了矛盾。

定理 6.4.4

$$若概率分布函数列F_n \overset {v}\to F， 则F是概率分布函数\Leftrightarrow \\ \lbrace F_n\rbrace \text{ tight }，即\forall \epsilon > 0， \exists L >0，使得 \sup_{n} \lbrace F_n(-L) + 1- F_n(L)\rbrace < \epsilon$$

证明：$\Rightarrow$：注意到

$$\lim_{x\to -\infty} F(x) = F(-\infty) = 0, \lim_{x\to \infty} F(x) = F(\infty) = 1$$

所以存在$L >0$，使得$F$在$L$与$-L$连续，并且

$$F(-L) + 1- F(L) < \frac \epsilon 3$$

因为$F_n \overset {v}\to F$，所以当$n$充分大时，

$$|F_n (-L)- F(-L) | < \frac \epsilon 3,|F_n (L)- F(L) | < \frac \epsilon 3$$

从而

$$F_n (-L) < \frac \epsilon 3 +F(-L),-F_n (L)< \frac \epsilon 3 - F(L)$$

因此

$$F_n(-L) + 1- F_n (L) < \frac \epsilon 3 +F(-L) + 1 + \frac \epsilon 3 - F(L) < \epsilon \\ \sup_{n} \lbrace F_n(-L) + 1- F_n(L)\rbrace < \epsilon$$

$\Leftarrow $：注意到

$$\lim_{x\to -\infty} F_n(x) = F_n(-\infty) = 0, \lim_{x\to \infty} F_n(x) = F_n(\infty) = 1$$

所以同上一部分可得

$$F(-L) + 1- F(L) < \epsilon$$

从而

$$F(-L)< \epsilon ,1- F(L) < \epsilon$$

所以当$x > L$时，

$$F(-x)< \epsilon ,1- F(x) < \epsilon$$

令$x \to \infty, \epsilon \to 0$可得

$$\lim_{x\to -\infty} F(x) = F(-\infty) = 0, \lim_{x\to \infty} F(x) = F(\infty) = 1$$

命题

$$如果\lbrace F, F_n ,n\ge 1\rbrace 是概率分布函数，则F_n \overset{w} \to F \Leftrightarrow \\ \forall a\le b \in \mathcal C(F), F_n(b) -F_n(a) \to F(b)- F(a)$$

证明：$\Rightarrow$：因为弱收敛，所以$\forall a\le b \in \mathcal C(F)$，

$$F_n(b) \to F(b) ,F_n (a) \to F(a)$$

从而

$$F_n(b)-F_n (a) \to F(b) - F(a)$$

$\Leftarrow $：$\forall a\le b \in \mathcal C(F)$

$$F_n(b) -F_n(a) \to F(b)- F(a)$$

那么

$$\begin{aligned} |F_n(b) -F(b)| &= |F_n(b) -F_n(a)-F(b)+ F(a)+F_n(a) - F(a) | \\ &\le |F_n(b) -F_n(a)-F(b)+ F(a)| + |F_n(a) |+| F(a) | \\ \end{aligned}$$

因为$\lbrace F, F_n ,n\ge 1\rbrace $是概率分布函数，所以令$a\to -\infty$可得

$$|F_n(a) |\to 0, | F(a) | \to 0$$

令$n\to \infty$，由条件可得

$$|F_n(b) -F(b)| \le |F_n(b) -F_n(a)-F(b)+ F(a)| + |F_n(a) |+| F(a) | \to 0$$

所以

$$F_n \overset{w} \to F$$

定义

设$\lbrace \mu, \mu_n ,n\ge 1\rbrace $都是$\mathbb R$上的概率测度，若在区间$I = [a, b)$上满足$\mu(\lbrace a, b\rbrace ) =0$时有

$$\lim_{n\to \infty} \mu_n ([a, b) = \mu([a, b))$$

则称$\lbrace \mu_n\rbrace $弱收敛于$\mu$，记为

$$\mu_n \overset{w} \to \mu$$

直观理解：注意到$\mu(\lbrace a, b\rbrace ) =0$时有

$$\mu(\lbrace a\rbrace ) = F(a) - F(a^-) = 0 \\ \mu(\lbrace b\rbrace ) = F(b) - F(b^-) = 0$$

这说明$F$在$a,b$点左连续，从而$F$在$a,b$点右连续，所以该定义的含义是在$F$的连续点$a,b$满足

$$\lim_{n\to \infty} \mu_n ([a, b) = \mu([a, b))$$

从而结合定理6.4.5以及定义可得如下推论：

推论

$$\mu_n \overset{w} \to \mu \Leftrightarrow F_n \overset{w} \to F \Leftrightarrow X_n \overset{d} \to X$$

定理 6.4.5

$$X_n \overset{d} \to X \Leftrightarrow \\ 对\mathbb R上任意有界连续函数f,\mathbb E f(X_n) \to \mathbb E f(X) \Leftrightarrow \\ 对\mathbb R上任意有界一致连续函数f,\mathbb E f(X_n) \to \mathbb E f(X)$$

老师对这个定理没有给出严格证明，只给出直观解释。

因为

$$\mathbb E f(X_n) = \int_{\mathbb R} f(x) \mu_n (dx)\\ \mathbb E f(X) = \int_{\mathbb R} f(x) \mu (dx)$$

所以第二行等价于

$$\int_{\mathbb R} f(x) \mu_n (dx) \to \int_{\mathbb R} f(x) \mu (dx)$$

由推论可知第一行等价于

$$\mu_n \overset{w} \to \mu$$

证明的思路是

$$\begin{aligned} \int_{\mathbb R} f(x) \mu_n (dx) &=\sum_{k=1}^{\infty}\int_{a_{k-1}}^{a_k} f(x) \mu_n (dx) \\ &\approx \sum_{k=1}^{\infty}f(\epsilon_k) \mu_n ((a_{k-1},a_k]) \\ &\approx \sum_{k=1}^{\infty}f(\epsilon_k) \mu ((a_{k-1},a_k])\\ &=\sum_{k=1}^{\infty}\int_{a_{k-1}}^{a_k} f(x) \mu_n (dx) \\ &= \int_{\mathbb R} f(x) \mu (dx) \end{aligned}$$

Chapter 7 大数定理

1.几个经典结论

定理 7.1.1

$$设\lbrace X_n ,n\ge 1\rbrace （两两不相关） ，S_0=0, S_n =\sum_{k=1}^n X_k，若\text{Var}(S_n) = o(n^2) \\ 则\frac{S_n -\mathbb E S_n }{n}\underset P {\overset{L^2}\longrightarrow } 0 (n\to \infty)$$

证明：

$$\mathbb E |\frac{S_n -\mathbb E S_n }{n} |^2 = \frac{\text{Var}(S_n)}{n^2} \to 0 (n\to \infty)$$

从而

$$\frac{S_n -\mathbb E S_n }{n}\underset P {\overset{L^2}\longrightarrow } 0 (n\to \infty)$$

推论

$$设\lbrace X_n ,n\ge 1\rbrace 两两不相关 ，方差有界，则上述结论成立$$

例1

$$\lbrace X_n\rbrace \ iid, X_n \sim \left( \begin{matrix} 0 & 1 \\ 1-p & p \end{matrix} \right)，则 \frac{S_n }{n}\underset P {\overset{L^2}\longrightarrow } p (n\to \infty)$$

定理 7.1.2

$$在上述推论的条件下， \frac{S_n -\mathbb E S_n }{n}{\overset{a.s}\longrightarrow } 0 (n\to \infty)$$

证明：不妨假定$\mathbb E S_n=0$，方差上界为$M$，所以

$$\sum_{n=1}^{\infty} \mathbb P ( |\frac{S_{n^2}}{n^2}| \ge \epsilon) \le \sum_{n=1}^{\infty} \frac{n^2 M}{\epsilon ^2 n^4}= \frac{ M}{\epsilon ^2} \sum_{n=1}^{\infty}\frac 1 {n^2}$$

从而

$$\frac{S_{n^2} }{n^2}{\overset{a.s}\longrightarrow } 0$$

现在任取$n \ge 1$，存在$k_n$，使得$k_n^2 \le n < (k_n +1)^2$，因此

$$\begin{aligned} \frac{S_n}{n} &= \frac{S_{k_n^2} +S_n - S_{k_n^2}}{n} \\ &=\frac{S_{k_n^2}}{k_n^2} \frac {k_n^2}{n} + \frac{S_n - S_{k_n^2}}{n} \\ &= \Delta_1 ^{(n)} + \Delta_2 ^{(n)} \end{aligned}$$

因为

$$\frac{S_{k_n^2}}{k_n^2} {\overset{a.s}\longrightarrow } 0 , \frac{k_n ^2}{n} \le 1$$

所以

$$\Delta_1 ^{(n)} {\overset{a.s}\longrightarrow } 0$$

而$\forall \epsilon >0$，我们有

$$\begin{aligned} \sum_{n=1}^{\infty}\mathbb P(|\Delta_2 ^{(n)} | \ge \epsilon ) &\le \sum_{n=1}^{\infty} \frac 1 {\epsilon^2} \mathbb E (\Delta_2 ^{(n)})^2\\ &=\sum_{n=1}^{\infty} \frac{\mathbb E (S_n - S_{k_n^2})^2}{\epsilon^2 n^2} \\ &\le \frac{M}{\epsilon^2}\sum_{n=1}^{\infty} \frac{2k_n +1}{n^2}\\ &\le \frac{M}{\epsilon^2}\sum_{n=1}^{\infty} \frac{3\sqrt n }{n^2}\\ &<\infty \end{aligned}$$

倒数第三个不等号是因为

$$\begin{aligned} \mathbb E (S_n - S_{k_n^2})^2 &= \mathbb E ( X_{k_n^2+1} + ... X_{n})^2\\ &=\sum_{i=k_{n }^2+1} ^{n} \mathbb EX_i ^2 \\ &\le \sum_{i=k_{n }^2+1} ^{(k_n +1)^2} \mathbb EX_i ^2 \\ &\le M (2k_n +1) \end{aligned}$$

倒数第二个不等号是因为

$$k_n \le \sqrt{n} , 1\le \sqrt {n}$$

从而

$$\Delta_2 ^{(n)} {\overset{a.s}\longrightarrow } 0 \\ \frac{S_n }{n} = \Delta_1 ^{(n)} + \Delta_2 ^{(n)} {\overset{a.s}\longrightarrow } 0$$

从定理 7.1.1的推导的过程中，不难看出如果$\text{Var}(S_n) = o(a_n^2)$，则

$$\frac{S_n -\mathbb E S_n }{a_n }\underset P {\overset{L^2}\longrightarrow } 0 (n\to \infty)$$

所以有如下推广的大数定律：

定义

$$设\lbrace X_n\rbrace 是一列单调r.v ,b_n \uparrow +\infty， \lbrace a_n\rbrace 是一列实数，S_n =\sum_{k=1}^n X_k,\\ 若\frac{S_n -a_n }{b_n} {\overset{P}\longrightarrow } 0 (n\to \infty)，则称\lbrace X_n\rbrace 满足大数定律$$

例2

从$\lbrace 1,…,n\rbrace $中放回抽样，$X_m$为第$m$次取的数，那么$X_1,…,X_m \ \ i.i.d$，记$\tau _k = \inf \lbrace m | |{x_1,…, x_m}| = k\rbrace $，我们的目标是计算$\text{Var}(\tau_n)$。

记$\tau_0 = 0$，那么

$$\tau _n = \sum_{k=1}^n (\tau_k - \tau_{k-1})$$

不难看出$\tau_k - \tau_{k-1}$独立，其含义为在已经抽取了$k-1$个不同的数的条件下，抽到第$k$个不同的数的次数，所以$\tau_k - \tau_{k-1}$服从参数为$p =\frac{n-(k-1)} {n}$的几何分布，所以

$$\text{Var}(\tau_k - \tau _{k-1}) = \frac{q}{p^2} =\frac{1- \frac{n-(k-1)} {n} }{(\frac{n-(k-1)} {n})^2} = \frac{n^2}{(n+1-k)^2} - \frac{n}{n+1-k}$$

所以

$$\begin{aligned} \text{Var}(\tau _n ) &= \sum_{k=1}^n \text{Var}(\tau_k - \tau_{k-1})\\ &=\sum_{k=1}^n \frac{n^2}{(n+1-k)^2} - \sum_{k=1}^n\frac{n}{n+1-k} \\ &=n^2 \sum_{k=1}^n \frac{1}{k^2} - n \sum_{k=1}^n \frac{1}{k} \end{aligned}$$

备注：这部分和老师的结果有所不同，但是暂时没找出问题。

习题

习题1

（课本P223/8.5/4）

将题目中的相对紧修改为tight

证明：$\Rightarrow$：因为$\lbrace F_\alpha\rbrace $ tight，所以

$$\forall \epsilon>0, \exists L >0 ,s.t\\ \sup_{\alpha} \lbrace F_{\alpha}(-L)+ 1 - F_{\alpha}(L)\rbrace <\epsilon$$

所以当$x \ge L$时，$\forall \epsilon$

$$F_{\alpha}(-x)\le F_\alpha(-L) <\epsilon, \\ 1-F_{\alpha}(x) \le 1- F_\alpha(L) < \epsilon$$

从而$F_{\alpha}$对$\alpha$一致收敛

$\Leftarrow$：因为$F_{\alpha}$对$\alpha$一致收敛，所以

$$\forall \epsilon>0, \exists L >0 ,s.t当x \ge L时，\forall \alpha,有\\ F_{\alpha}(-x)<\frac \epsilon 2, \\ 1-F_{\alpha}(x)< \frac \epsilon 2$$

因此

$$\sup_{\alpha} \lbrace F_{\alpha}(-L)+ 1 - F_{\alpha}(L)\rbrace <\epsilon$$

所以$\lbrace F_\alpha\rbrace $ tight

习题2

（课本P223/8.5/5）

将题目中的相对紧修改为tight

证明：不妨设上界为$M$，则

$$\forall \alpha,\mathbb E[|X_\alpha|^r] \le M$$

现在$\forall \epsilon > 0$，取$L = (\frac M \epsilon)^{\frac 1 r}$，那么

$$\mathbb E[|X_\alpha|^r1_{\lbrace |X_\alpha|^r \ge L^r\rbrace }] \le \mathbb E[|X_\alpha|^r] \le M$$

注意到

$$L^r\mathbb P(|X_\alpha| \ge L)= L^r\mathbb P(|X_\alpha|^r \ge L^r) \le \mathbb E[|X_\alpha|^r1_{\lbrace |X_\alpha|^r \ge L^r\rbrace }]$$

所以

$$L^r\mathbb P(|X_\alpha| \ge L) \le M\\ F(-L)+1-F(L)=\mathbb P(|X_\alpha| \ge L) \le \frac M {L^r} =\epsilon (\forall \alpha)$$

因此$\lbrace F_\alpha\rbrace $ tight

习题3

（课本P243/9.1/3）

证明：

$$\begin{aligned} \mathbb E[1_{\lbrace X_{n2}\le f(X_{n1})\rbrace }] &=\mathbb P(X_{n2}\le f(X_{n1})) \\ &=\int_{0}^1 \int_{0}^{f(r)} ds dr \\ &= \int_{0}^1 f(r) dr \end{aligned}$$

注意到

$$\mathbb E[1^2_{\lbrace X_{n2}\le f(X_{n1})\rbrace }]= \mathbb E[1_{\lbrace X_{n2}\le f(X_{n1})\rbrace }]=\int_{0}^1 f(r) dr$$

所以

$$\text{Var}(1_{\lbrace X_{n2}\le f(X_{n1})\rbrace }) =(\int_{0}^1 f(r) dr)(1-\int_{0}^1 f(r) dr) \le \frac 1 4$$

又因为$X_1,…,X_n$独立同分布，所以满足强大数定律，从而

$$\frac 1 n \sum_{k=1}^n 1_{\lbrace X_{k2}\le f(X_{k1})\rbrace } \underset{\mathbb P}{\overset{a.s.}\to} \int_{0}^1 f(r) dr (n\to \infty)$$

习题4

$$X_n\ a.s有限，则可以找到A_n \to +\infty,\\ s.t. \Big| \frac{X_n}{A_n}\Big|{\overset{a.s.}\to} 0$$

证明：因为$\lbrace X_n\rbrace $ a.s有限，所以$\exists M_n >0$，使得

$$\mathbb P(|X_n|> M_n) <\frac 1 {2^n}$$

取$A_n =(\max \lbrace n,M_n\rbrace )^2$，则

$$\frac{|X_n|}{A_n} =\frac{|X_n| 1_{\lbrace |X_n| \le M_n\rbrace }}{A_n}+\frac{|X_n| 1_{\lbrace X_n > M_n\rbrace }}{A_n}=\Delta_{1}^{(n)} +\Delta_{2}^{(n)}$$

注意到

$$A_n \ge n^2 \to \infty \\ A_n^2 \ge n^2 M_n^2$$

现在$\forall \epsilon >0$，利用Markov不等式可得

$$\begin{aligned} \sum_{n=1}^{\infty} \mathbb P(\Delta_{1}^{(n)} \ge \epsilon) &\le \sum_{n=1}^{\infty} \frac{\mathbb E[X_n^21_{\lbrace X_n \le M_n\rbrace }]}{\epsilon^2 A_n^2}\\ &\le \sum_{n=1}^{\infty} \frac{M_n^2}{\epsilon^2 A_n^2} \\ &\le \sum_{n=1}^{\infty} \frac{M_n^2}{\epsilon^2 n^2 M_n^2} \\ &= \sum_{n=1}^{\infty} \frac{1}{\epsilon^2 n^2}\\ & <\infty \end{aligned}$$

所以$\Delta_{1}^{(n)}\overset{a.s}\to 0$。接着考虑第二项

$$\begin{aligned} \sum_{n=1}^{\infty} \mathbb P(\Delta_{2}^{(n)} \ge \epsilon) &\le \sum_{n=1}^{\infty} \mathbb P(X_n > M_n) \\ &< \sum_{n=1}^{\infty} \frac 1 {2^n}\\ &<\infty \end{aligned}$$

所以$\Delta_{2}^{(n)}\overset{a.s}\to 0$。从而

$$\Big| \frac{X_n}{A_n}\Big|{\overset{a.s.}\to} 0$$