高等概率论第十五讲

记录本校的高等概率论课程笔记,参考教材《测度与概率》

本讲介绍了强大数定律,特征函数以及中心极限定理。

2.(弱)大数定律(LLN)

定理7.1.1

证明:仅证明$\Leftarrow$:$\forall n \ge 1, 1\le k \le n$,定义

不难看出$y_k=X_{nk}​$独立同分布,则

回顾公式

那么对上式取$r=2$可得

由条件可知

所以

上述第一项$\to 0$,第二项$< 2\epsilon$,从而

因此

接下来计算$\mathbb P (|\frac{S_n}{n}- \frac {\mathbb E [\hat S_n]}{n}| \ge \epsilon )$

注意到

综上

此时

推论

证明:注意有如下命题

此时

由上一定理可得

从而

3.(强)大数定律(SLLN)

定理7.3.1 (Kolmogrov)

引理

定理7.3.3

证明:$\Leftarrow$:定义

则$\hat X_n$独立,且

由定理定理7.3.1可得

备注:倒数第二个不等号是因为

回顾之前的结论

所以

所以由第12讲的B-C引理可得

这说明

接下来证明

利用定义即可

利用控制收敛定理可得

从而

结论得证。

$\Rightarrow$:反证法,若$\mathbb E[|X_1|]=+\infty$,那么$\forall A >0$

所以

因为$\{ {|X_n|}\ge n{A}\}$独立,所以由Borel 0-1律可得(见第12讲)

注意到

所以

从而

由$A$的任意性可得

这就与条件矛盾,从而$\mathbb E[|X_1|]$有限,$\mathbb E[X_1]$有限,接着利用之前的证明可得

注意条件为

所以

Chapter 8

1.特征函数

1.特征函数的定义

定义:

2.特征函数的性质

特征函数有如下性质

(1)证明:

(2)证明:

(3)(4)(5)利用定义即可验证

3.几个常见分布的特征函数

(1)

(2)

(3)

(4)

(1)(2)(3)直接利用定义计算即可,这里只证明第(4)个结论。

首先计算标准正态分布的特征函数:

关于$t$求导可得

所以

一般的,若$X\sim \mathcal N(\mu, \sigma^2)$,则

关于特征函数有如下定理:

定理8.1.1(连续性定理)

定理8.1.2(唯一性定理)

2.多元特征函数

1.多元特征函数的定义

定义:

利用定义不难计算出

\overset{\to} X= (X_1,…,X_n)^T服从n维\text{Gauss}分布,如果它的特征函数具有形式:\\
\varphi(t_1,…,t_n) =e^{i\overset {\to} a ^T \overset {\to} t-\frac 1 2 \overset {\to} t^T \Sigma \overset {\to} t}\\
其中\overset {\to}a= (a_1,…,a_n)^T是常数向量,\Sigma =(\sigma_{ij})是n维半正定阵,\\
特别,若|\Sigma|>0,则称\overset{\to} X 服从n维正态分布

\text{Gauss}分布有如下性质:\\
\overset {\to}a= (\mathbb E[X_1],…,\mathbb E[X_n])^T,\Sigma=(\text{Cov}(X_i,X_j))

\frac{\partial \varphi(0)}{\partial t_j} =e^{i\overset {\to} a ^T \overset {\to} t-\frac 1 2 \overset {\to} t^T \Sigma \overset {\to} t}(ia_j -\sum_{k=1}^n \sigma_{jk}t_k)\Big |_{t=0}
=ia_j
=i\mathbb E[X_j]

\mathbb E[X_j] =a _j \\
\overset {\to}a= (\mathbb E[X_1],…,\mathbb E[X_n])^T

\begin{aligned}
\frac{\partial^{2} \varphi(0)}{\partial t_k\partial t_j}
&=\frac{\partial}{\partial t_k}\Big(e^{i\overset {\to} a ^T \overset {\to} t-\frac 1 2 \overset {\to} t^T \Sigma \overset {\to} t}(ia_j -\sum_{m=1}^n \sigma_{jm}t_m)\Big) \\
&= e^{i\overset {\to} a ^T \overset {\to} t-\frac 1 2 \overset {\to} t^T \Sigma \overset {\to} t}(-\sigma_{jk}) + e^{i\overset {\to} a ^T \overset {\to} t-\frac 1 2 \overset {\to} t^T \Sigma \overset {\to} t}(ia_j -\sum_{m=1}^n \sigma_{jm}t_m)(ia_k -\sum_{m=1}^n \sigma_{km}t_m)
\Big |_{t=0} \\
&= -\sigma_{jk} -a_j a_k \\
&= -\sigma_{jk} -\mathbb E[X_j] \mathbb E[X_k] \\
&=-\mathbb E[X_jX_k]
\end{aligned}

\sigma_{jk}= \mathbb E[X_jX_k]-\mathbb E[X_j] \mathbb E[X_k]=\text{Cov}(X_j,X_k)\\
\Sigma=(\sigma_{jk})=(\text{Cov}(X_j,X_k))

若\overset{\to} X= (X_1,…,X_n)^T\sim \mathcal N(\overset {\to} a,\Sigma),\\
A=(a_{ij})_{m\times n }, \overset {\to} b = (b_1,…,b_m)^T,\\
则A\overset{\to} X+\overset {\to} b \sim \mathcal N(A\overset {\to}a+ \overset {\to}b, A\Sigma A^T)

\begin{aligned}
\varphi_{A\overset{\to} X+\overset {\to} b}(t_1,…,t_n)
&=\mathbb E[e^{i\overset {\to}t^T (A\overset{\to} X+\overset {\to} b)}]\\
&= e^{i\overset {\to}t^T\overset {\to} b}\mathbb E[e^{i(A^T\overset {\to}t)^T \overset{\to} X}]\
&= e^{i\overset {\to}t^T\overset {\to} b} e^{i\overset {\to} a ^T A^T\overset {\to}t-\frac 1 2 \overset {\to} t^T A\overset {\to} \Sigma \overset {\to} A^T\overset {\to}t} \\
&=\exp \Big(i\overset {\to} b^T\overset {\to}t+ i\overset {\to} a ^T A^T\overset {\to}t-\frac 1 2 \overset {\to} t^T A\overset {\to} \Sigma \overset {\to} A^T\overset {\to}t \Big) \\
&=\exp \Big(i\overset {\to} (A\overset {\to} a +\overset {\to}b)^T\overset {\to}t-\frac 1 2 \overset {\to} t^T A\overset {\to} \Sigma \overset {\to} A^T\overset {\to}t \Big)
\end{aligned}

A\overset{\to} X+\overset {\to} b \sim \mathcal N(A\overset {\to}a+ \overset {\to}b, A\Sigma A^T)

若\overset{\to} X= (X_1,…,X_n)^T=
\left(
\begin{matrix}
\overset{\to}{X^{(1)} } \\
\overset{\to}{X^{(2)} }
\end{matrix}
\right)
\sim \mathcal N(\overset {\to} a,\Sigma),\\
\overset{\to}{X^{(1)} }=(X_1,…,X_k)^T,
\overset{\to}{X^{(2)} }=(X_{k+1},…,X_n)^T\\
相应地将\Sigma表达为 \left(
\begin{matrix}
\Sigma_{11} & \Sigma_{12} \\
\Sigma_{21} & \Sigma_{22}
\end{matrix}
\right)\\
则\overset{\to}{X^{(1)} } \perp \overset{\to}{X^{(2)} }\Leftrightarrow
\Sigma_{12}=\Sigma_{21} =0

\overset{\to} X= (X_1,…,X_n)^T服从n维\text{Gauss}分布\Leftrightarrow
\forall \lambda_1,…,\lambda_n, \sum_{j=1}^n \lambda_j X_j服从一维\text{Gauss}分布

设\{X_n\} i id,a =\mathbb E[X_1], 0< \sigma^2 =\text{Var}(X_1) <\infty , \\
则\frac{S_n -na}{\sigma \sqrt n} \overset {d}{\to} \mathcal N(0,1)

\begin{aligned}
\varphi_{\frac{S_n -na}{\sigma \sqrt n} }(t)
&= \varphi_{ {S_n -na} }(\frac t { {\sigma \sqrt n} }) \\
&= (\varphi_{ {X_1 -a} }(\frac t { {\sigma \sqrt n} }))^n \\
&=(1-\frac 1 {2n}t^2 +o(\frac {t^2}n))^n \\
&\to e^{-\frac {t^2}2}
\end{aligned}

R_n =\frac{S_n -na}{\sigma \sqrt n} \overset {d}{\to} \mathcal N(0,1)

若\varphi(t)是特征函数,那么e^{\varphi(t)-1}也是特征函数

(1)若\varphi_1(t),…,\varphi_n(t)是n个特征函数,那么\sum_{i=1}^n \lambda_i \varphi_i(t)也是特征函数,其中\lambda_i \ge 0,\sum_{i=1}^n \lambda_i=1 \\
(2)若\varphi_1(t),…,\varphi_n(t)是n个特征函数,那么\prod_{i=1}^n\varphi_i(t)是特征函数,\\
特别地,若\varphi(t)是特征函数,那么
\varphi^n(t)是特征函数

e^{\varphi(t)-1} =\frac 1 e \sum_{i=1}^{\infty}\frac 1 {i!} \varphi^i(t)

\varphi_n(t)= \frac 1 {x_n} \sum_{i=1}^{n}\frac 1 {i!} \varphi^i(t)\\
x_n =\sum_{i=1}^{n}\frac 1 {i!}

\frac 1 {x_n} \sum_{i=1}^{n}\frac 1 {i!} =1

\lim_{n\to\infty}\varphi_n(t) =e^{\varphi(t)-1}

R_n =\sum_{i=1}^n \frac{X_i-a_i}{\sqrt{\sum_{j=1}^n \sigma_j^2} } ,则 \\
R_n \overset {d}\to \mathcal N(0,1)且\lim_{n\to\infty}\max_{1\le j \le n} \frac{\sigma^2_j}{ B_n^2}=0
\Leftrightarrow \forall\epsilon>0,\lim_{n\to \infty} \frac 1 {B_n^2} \sum_{k=1}^n
\mathbb E[|X_k-a_k|^21_{\{ |X_k-a_k|\ge \epsilon B_n\} }]=0\\
其中B_n^2 =\sum_{j=1}^n \sigma_j^2 = \text{Var}(S_n)

\forall |z_k|\le 1, |w_k |\le 1\\
\Big|\prod_{k=1}^n z_k-\prod_{k=1}^n w_k\Big| \le \sum_{k=1}^n\Big|z_k-w_k \Big|

\begin{aligned}
\Big|\prod_{k=1}^m z_k-\prod_{k=1}^m w_k\Big|
&=\Big|\prod_{k=1}^m z_k-\prod_{k=1}^{m-1} z_kw_m+\prod_{k=1}^{m-1} z_kw_m-\prod_{k=1}^m w_k\Big|\\
&=\Big|(z_m-w_m)\prod_{k=1}^{m-1} z_k+w_m(\prod_{k=1}^{m-1} z_k-\prod_{k=1}^{m-1} w_k)\Big|\\
&\le \Big|z_m-w_m\Big| \Big|\prod_{k=1}^{m-1} z_k\Big|+\Big|w_m\Big|
\Big|\prod_{k=1}^{m-1} z_k-\prod_{k=1}^{m-1} w_k\Big|\\
&\le \Big|z_m-w_m\Big| + \sum_{k=1}^{m-1}\Big|z_k-w_k \Big|\\
&=\sum_{k=1}^n\Big|z_k-w_k \Big|
\end{aligned}

若 \varphi_{Y_i}(t)是特征函数,那么e^{ \varphi_{Y_i}(t)-1}是特征函数,因此e^{\sum_{i=1}^n (\varphi_{Y_i}(t)-1)}是特征函数

| \varphi_{Y_i}(t)|\le 1,|e^{\varphi_{Y_i}(t)-1}|=e^{\text{Rez}(\varphi_{Y_i}(t)-1)} \le 1

|\prod_{i=1}^n \varphi_{Y_i}(t)-e^{\sum_{i=1}^n (\varphi_{Y_i}(t)-1)}|\le
\sum_{i=1}^n |\varphi_{Y_i}(t)-e^{\varphi_{Y_i}(t)-1}|

若\exists \delta>0,使得\\
\frac{1}{B_n^{2+\delta} }\sum_{k=1}^n \mathbb E[|X_k-a_k|^{2+\delta}]\to 0(n\to \infty),\\
则\text{CLT}成立
$$

本文标题:高等概率论第十五讲

文章作者:Doraemonzzz

发布时间:2019年01月31日 - 22:00:50

最后更新:2019年02月12日 - 21:11:34

原始链接:http://doraemonzzz.com/2019/01/31/高等概率论第十五讲/

许可协议: 署名-非商业性使用-禁止演绎 4.0 国际 转载请保留原文链接及作者。