高等概率论第十五讲

距离上次更新已经 1399 天了，文章内容可能已经过时。

记录本校的高等概率论课程笔记，参考教材《测度与概率》。

本讲介绍了强大数定律，特征函数以及中心极限定理。

2.(弱)大数定律(LLN)

定理7.1.1

$$\mathrm{设}\{X_n\}iid,\mathrm{那}\mathrm{么}\mathrm{存}\mathrm{在}\{a_n\}\mathrm{使}\mathrm{得}\frac{S_n}{n}-a_n\stackrel{\mathbb{P}}{\to }0\iff \underset{x\to \mathrm{\infty }}{lim}x\mathbb{P}(|X_1|>x)=0$$

证明：仅证明$\Leftarrow$：$\mathrm{\forall }n\ge 1,1\le k\le n$，定义

$$X_{nk}\triangleq X_k{1}_{\{|X_k|\le n\}},{\hat{S}}_n=\sum _{k=1}^n{X}_{nk}$$

不难看出$y_k=X_{nk}$独立同分布，则

$$\begin{array}{rl}\frac{1}{n^2}\text{Var}({\hat{S}}_n)& =\frac{1}{n^2}\sum _{k=1}^n\text{Var}(X_{nk})\\ & \le \frac{1}{n^2}\sum _{k=1}^n\mathbb{E}[X_{nk}^2]\\ & =\frac{1}{n}\mathbb{E}[X_{n1}^2]\end{array}$$

回顾公式

$$\mathrm{如}\mathrm{果}X\mathrm{非}\mathrm{负}，\mathbb{E}[X^r]=r{\int }_0^{\mathrm{\infty }}{x}^{r-1}\mathbb{P}(X>x)dx$$

那么对上式取$r=2$可得

$$\begin{array}{rl}\frac{1}{n}\mathbb{E}[X_{n1}^2]& =\frac{2}{n}{\int }_0^{\mathrm{\infty }}x\mathbb{P}(|X_{n1}|>x)dx\\ & =\frac{2}{n}{\int }_0^{n}x\mathbb{P}(|X_1|>x)dx\end{array}$$

由条件可知

$$\begin{gathered} \mathrm{\forall }ϵ>0,\mathrm{\exists }N,\mathrm{\forall }n\ge N,\mathrm{\exists }{x}_0,\mathrm{当}x>x_0\mathrm{时}， \\ x\mathbb{P}(|X_1|>x)<ϵ \end{gathered}$$

所以

$$\begin{array}{rl}\frac{1}{n}\mathbb{E}[X_{n1}^2]& =\frac{2}{n}{\int }_0^{n}x\mathbb{P}(|X_1|>x)dx\\ & =\frac{2}{n}{\int }_0^{x_0}x\mathbb{P}(|X_1|>x)dx+\frac{2}{n}{\int }_{x_0}^{n}x\mathbb{P}(|X_1|>x)dx\end{array}$$

上述第一项$\to 0$，第二项$<2ϵ$，从而

$$\frac{1}{n^2}\text{Var}({\hat{S}}_n)\to 0$$

因此

$$\frac{{\hat{S}}_n-\mathbb{E}[{\hat{S}}_n]}{n}\stackrel{L^2}{\underset{p}{\to }}0$$

接下来计算$\mathbb{P}(|\frac{S_n}{n}-\frac{\mathbb{E}[{\hat{S}}_n]}{n}|\ge ϵ)$

$$\begin{array}{rl}\mathbb{P}(|\frac{S_n}{n}-\frac{\mathbb{E}[{\hat{S}}_n]}{n}|\ge ϵ)& =\mathbb{P}(|\frac{S_n}{n}-\frac{\mathbb{E}[{\hat{S}}_n]}{n}|\ge ϵ,S_n={\hat{S}}_n)+\mathbb{P}(|\frac{S_n}{n}-\frac{\mathbb{E}[{\hat{S}}_n]}{n}|\ge ϵ,S_n\ne {\hat{S}}_n)\\ & \le \mathbb{P}(|\frac{{\hat{S}}_n}{n}-\frac{\mathbb{E}[{\hat{S}}_n]}{n}|\ge ϵ)+\mathbb{P}(S_n\ne {\hat{S}}_n)\end{array}$$

注意到

$$\begin{array}{rl}\mathbb{P}(S_n\ne {\hat{S}}_n)& =\mathbb{P}(\bigcup _{k=1}^n\{X_{nk}\ne X_k\})\\ & \le \sum _{k=1}^n\mathbb{P}(X_{nk}\ne X_k)\\ & \le \sum _{k=1}^n\mathbb{P}(X_k>n)\\ & =n\mathbb{P}(X_1>n)\\ & \to 0\end{array}$$

综上

$$\mathbb{P}(|\frac{S_n}{n}-\frac{\mathbb{E}[{\hat{S}}_n]}{n}|\ge ϵ)\le \mathbb{P}(|\frac{{\hat{S}}_n}{n}-\frac{\mathbb{E}[{\hat{S}}_n]}{n}|\ge ϵ)+\mathbb{P}(S_n\ne {\hat{S}}_n)\to 0$$

此时

$$a_n=\frac{\mathbb{E}[{\hat{S}}_n]}{n}=\frac{\sum _{k=1}^n\mathbb{E}[X_{nk}]}{n}=\mathbb{E}[X_{n1}]=\mathbb{E}[X_1{1}_{\{|X_1|\le n\}}]\stackrel{n\to \mathrm{\infty }}{\to }\mathbb{E}[X_1]$$

推论

$$\mathrm{若}\mathbb{E}[X_1]<\mathrm{\infty }，\mathrm{则}\frac{S_n}{n}\stackrel{\mathbb{P}}{\to }a=\mathbb{E}[X_1]$$

证明：注意有如下命题

$$\mathbb{E}[|X_1|]<\mathrm{\infty }\iff \underset{n\to \mathrm{\infty }}{lim}{\int }_{\{|X_1|>n\}}{X}_{1}d\mathbb{P}\to 0$$

此时

$$\underset{x\to \mathrm{\infty }}{lim}x\mathbb{P}(|X_1|\ge x)=\underset{x\to \mathrm{\infty }}{lim}{\int }_{|X_1|\ge x}xd\mathbb{P}\le \underset{x\to \mathrm{\infty }}{lim}{\int }_{|X_1|\ge x}|X_1|d\mathbb{P}\to 0$$

由上一定理可得

$$\frac{S_n}{n}\stackrel{\mathbb{P}}{\to }{a}_n=\mathbb{E}[X_{n1}]$$

而

$$\mathbb{E}[X_{n1}]\to \mathbb{E}[X_n]=a$$

从而

$$\frac{S_n}{n}\stackrel{\mathbb{P}}{\to }a$$

3.(强)大数定律(SLLN)

定理7.3.1 (Kolmogrov)

$$\begin{gathered} \mathrm{设}\{X_n\}\mathrm{相}\mathrm{互}\mathrm{独}\mathrm{立}，\mathrm{若}\sum _{n=1}^{\mathrm{\infty }}\frac{\text{Var}(X_n)}{n^2}<\mathrm{\infty }, \\ \mathrm{则}\sum _{n=1}^{\mathrm{\infty }}\frac{X_n-\mathbb{E}[X_n]}{n}a.s\mathrm{收}\mathrm{敛} \end{gathered}$$

引理

$$\begin{gathered} \mathrm{设}\{x_n\}\mathrm{是}\mathrm{一}\mathrm{列}\mathrm{实}\mathrm{数}，\{a_n\}\mathrm{是}\mathrm{一}\mathrm{列}\mathrm{正}\mathrm{数}，a_n\uparrow \mathrm{\infty }， \\ \mathrm{若}\sum _{n=1}^{\mathrm{\infty }}\frac{x_n}{a_n}\mathrm{收}\mathrm{敛}，\mathrm{则} \\ \underset{n\to \mathrm{\infty }}{lim}\frac{1}{a_n}\sum _{k=1}^n{x}_k=0 \end{gathered}$$

定理7.3.3

$$\begin{gathered} \mathrm{设}\{X_n\}iid，S_n=\sum _{k=1}^n{X}_k，\mathrm{则}\frac{S_n}{n}\stackrel{a.s}{\to }\mathrm{某}\mathrm{个}\mathrm{有}\mathrm{限}\mathrm{常}\mathrm{数}a\iff \\ \mathbb{E}[X_1]\mathrm{有}\mathrm{限}，\mathrm{此}\mathrm{时}a=\mathbb{E}[X_1] \end{gathered}$$

证明：$\Leftarrow$：定义

$${\hat{X}}_n\triangleq X_n{1}_{\{|X_n|\le n\}},{\hat{S}}_n=\sum _{k=1}^n{\hat{X}}_k$$

则${\hat{X}}_n$独立，且

$$\begin{array}{r}\begin{array}{rl}\sum _{n=1}^{\mathrm{\infty }}\frac{\text{Var}({\hat{X}}_n)}{n^2}& \le \sum _{n=1}^{\mathrm{\infty }}\frac{\mathbb{E}[{\hat{X}}_n^2]}{n^2}\\ & =\sum _{n=1}^{\mathrm{\infty }}\frac{\mathbb{E}[X_n^2{1}_{\{|X_n|\le n\}}]}{n^2}\\ & =\sum _{n=1}^{\mathrm{\infty }}\frac{1}{n^2}\sum _{k=1}^n\mathbb{E}[X_n^2{1}_{\{k-1\le |X_n|<k\}}]\\ & \le \sum _{n=1}^{\mathrm{\infty }}\frac{1}{n^2}\sum _{k=1}^{n}k\mathbb{E}[|X_n|1_{\{k-1\le |X_n|<k\}}]\\ & \stackrel{\text{Fubini定理}}{=}\sum _{k=1}^{\mathrm{\infty }}(\sum _{n=k}^{\mathrm{\infty }}\frac{1}{n^2})k\mathbb{E}[|X_1|1_{\{k-1\le |X_1|<k\}}]\\ & \le \sum _{k=1}^{\mathrm{\infty }}\frac{2}{k}k\mathbb{E}[|X_1|1_{\{k-1\le |X_1|<k\}}]\\ & =2\mathbb{E}[|X_1|]\\ & <\mathrm{\infty }\end{array}\end{array}$$

由定理定理7.3.1可得

$$\frac{{\hat{S}}_n-\mathbb{E}[{\hat{S}}_n]}{n}\stackrel{a.s}{\to }0$$

备注：倒数第二个不等号是因为

$$\begin{gathered} \frac{1}{n^2}\le {\int }_n^{n+1}\frac{2}{x^2}dx \\ \sum _{n=k}^{\mathrm{\infty }}\frac{1}{n^2}<\sum _{n=k}^{\mathrm{\infty }}{\int }_n^{n+1}\frac{2}{x^2}dx={\int }_k^{\mathrm{\infty }}\frac{2}{x^2}dx=\frac{2}{k} \end{gathered}$$

回顾之前的结论

$$\sum _{n=1}^{\mathrm{\infty }}\mathbb{P}(|X_1|>n)\le \mathbb{E}[|X|]\le 1+\sum _{n=1}^{\mathrm{\infty }}\mathbb{P}(|X_1|>n)$$

所以

$$\sum _{n=1}^{\mathrm{\infty }}\mathbb{P}(X_n\ne {\hat{X}}_n)=\sum _{n=1}^{\mathrm{\infty }}\mathbb{P}(|X_1|>n)\mathrm{有}\mathrm{限}$$

所以由第12讲的B-C引理可得

$$\mathbb{P}(X_n\ne {\hat{X}}_n\mathrm{发}\mathrm{生}\mathrm{无}\mathrm{穷}\mathrm{多}\mathrm{次})=0$$

这说明

$$\frac{S_n-\mathbb{E}[{\hat{S}}_n]}{n}\to 0$$

接下来证明

$$\frac{\mathbb{E}[{\hat{S}}_n]}{n}\to \frac{\mathbb{E}[S_n]}{n}=\mathbb{E}[X_1]$$

利用定义即可

$$\begin{array}{rl}\frac{\mathbb{E}[{\hat{S}}_n]}{n}& =\frac{{\sum }_{k=1}^{\mathrm{\infty }}\mathbb{E}[X_n,|X_n|\le k]}{n}\\ & =\frac{1}{n}\sum _{k=1}^n\mathbb{E}[X_1,|X_1|\le k]\end{array}$$

利用控制收敛定理可得

$$\underset{k\to \mathrm{\infty }}{lim}\mathbb{E}[X_1,|X_1|\le k]=\mathbb{E}[X_1]$$

从而

$$\begin{array}{r}\frac{\mathbb{E}[{\hat{S}}_n]}{n}=\frac{1}{n}\sum _{k=1}^n\mathbb{E}[X_1,|X_1|\le k]\stackrel{n\to \mathrm{\infty }}{\to }\mathbb{E}[X_1]\end{array}$$

结论得证。

$\Rightarrow$：反证法，若$\mathbb{E}[|X_1|]=+\mathrm{\infty }$，那么$\mathrm{\forall }A>0$

$$\begin{array}{rl}+\mathrm{\infty }& =\mathbb{E}[\frac{|X_1|}{A}]\\ & ={\int }_0^{\mathrm{\infty }}\mathbb{P}(\frac{|X_1|}{A}>x)dx\\ & =\sum _{n=1}^{\mathrm{\infty }}{\int }_{n-1}^n\mathbb{P}(\frac{|X_1|}{A}>x)dx\\ & \le \sum _{n=1}^{\mathrm{\infty }}\mathbb{P}(|X_1|\ge (n-1)A)\end{array}$$

所以

$$\sum _{n=1}^{\mathrm{\infty }}\mathbb{P}(|X_n|\ge nA)=\sum _{n=1}^{\mathrm{\infty }}\mathbb{P}(|X_1|\ge nA)=+\mathrm{\infty }$$

因为$\{|X_n|\ge nA\}$独立，所以由Borel 0-1律可得（见第12讲）

$$\mathbb{P}(\{|X_n|\ge nA\}\mathrm{发}\mathrm{生}\mathrm{无}\mathrm{穷}\mathrm{多}\mathrm{次})=1$$

注意到

$$\{|S_n-S_{n-1}|=|X_n|\ge nA\}\Rightarrow \{S_n\ge \frac{nA}{2}\}\bigcup \{S_{n-1}\ge \frac{nA}{2}\}$$

所以

$$\mathbb{P}(\{S_n\ge \frac{nA}{2}\}\bigcup \{S_{n-1}\ge \frac{nA}{2}\}\mathrm{发}\mathrm{生}\mathrm{无}\mathrm{穷}\mathrm{多}\mathrm{次})=1$$

即

$$\mathbb{P}(\{S_n\ge \frac{nA}{2}\}\mathrm{发}\mathrm{生}\mathrm{无}\mathrm{穷}\mathrm{多}\mathrm{次})=1$$

从而

$$\underset{n\to \mathrm{\infty }}{\bar{\lim }}\frac{|S_n|}{n}\ge \frac{A}{2}$$

由$A$的任意性可得

$$\underset{n\to \mathrm{\infty }}{\bar{\lim }}\frac{|S_n|}{n}=+\mathrm{\infty }$$

这就与条件矛盾，从而$\mathbb{E}[|X_1|]$有限，$\mathbb{E}[X_1]$有限，接着利用之前的证明可得

$$\frac{S_n}{n}\stackrel{a.s}{\to }\mathbb{E}[X_1]$$

注意条件为

$$\frac{S_n}{n}\stackrel{a.s}{\to }\mathrm{某}\mathrm{个}\mathrm{有}\mathrm{限}\mathrm{常}\mathrm{数}a$$

所以

$$a=\mathbb{E}[X_1]$$

Chapter 8

1.特征函数

1.特征函数的定义

定义：

$$\begin{gathered} \mathrm{设}X\mathrm{是}\mathrm{定}\mathrm{义}\mathrm{在}(\mathrm{\Omega },\mathcal{F},\mathbb{P})\mathrm{上}\mathrm{的}（\mathrm{一}\mathrm{维}）r.v,\mathrm{定}\mathrm{义}\mathrm{其}\mathrm{特}\mathrm{征}\mathrm{函}\mathrm{数}\mathrm{为}： \\ {\phi }_X(t)=\phi (t)=\mathbb{E}[e^{itX}]={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{itx}dF(x)={\int }_{\mathbb{R}}{e}^{itx}\mu (dx)=\mathbb{E}[\cos (tX)]+i\mathbb{E}[\sin (tX)](t\in \mathbb{R}) \end{gathered}$$

2.特征函数的性质

特征函数有如下性质

$$\begin{array}{rl}& (1)|\phi (t)|\le 1=\phi (0)\\ & (2)\phi \mathrm{在}\mathbb{R}\mathrm{中}\mathrm{一}\mathrm{致}\mathrm{连}\mathrm{续}\\ & (3)\mathrm{若}X\perp Y，\mathrm{则}{\phi }_{X+Y}(t)={\phi }_X(t){\phi }_Y(t)\\ & (4){\phi }_{aX+b}(t)=e^{ibt}{\phi }_X(at)\\ & (5)\mathrm{若}\mathbb{E}[|X{|}^n]<\mathrm{\infty }，\mathrm{则}\mathrm{\forall }k\le n,{\phi }^{(k)}(t)=i^k\mathbb{E}[X^k{e}^{itX}],\\ & \mathrm{特}\mathrm{别}\mathrm{的}，\mathrm{\forall }k\le n,{\phi }^{(k)}(0)=i^k\mathbb{E}[X^k],\\ & \mathrm{从}\mathrm{而}\phi (t)=1+i\mathbb{E}[X]t-\frac{\mathbb{E}[X^2]}{2}{t}^2+...+\frac{i^n\mathbb{E}[X^n]}{n!}{t}^n+o(t^n)\end{array}$$

(1)证明：

$$|\phi (t)|=|\mathbb{E}[e^{itX}]|\le |\mathbb{E}[1]|=1=\phi (0)$$

(2)证明：

$$\begin{array}{rl}\underset{t}{sup}|\phi (t+h)-\phi (t)|& =\underset{t}{sup}|\mathbb{E}[e^{i(t+h)X}-e^{itX}]|\\ & =\underset{t}{sup}|\mathbb{E}[e^{itX}(e^{ihX}-1)]|\\ & \le \underset{t}{sup}\mathbb{E}|e^{ihX}-1|\\ & \stackrel{(h\to 0)}{\to }0\end{array}$$

(3)(4)(5)利用定义即可验证

3.几个常见分布的特征函数

(1)

$$\begin{gathered} 0-1\mathrm{分}\mathrm{布}，X\sim \left(\begin{array}{cc}0& 1\\ 1-p& p\end{array}\right)， \\ \mathrm{则}{\phi }_X(t)=p{e}^{it}+q(q=1-p) \end{gathered}$$

(2)

$$\begin{gathered} \mathrm{二}\mathrm{项}\mathrm{分}\mathrm{布}b(n,p),X=\sum _{k=1}^n{X}_k,X_{k}iid\sim \left(\begin{array}{cc}0& 1\\ 1-p& p\end{array}\right), \\ \mathrm{则}{\phi }_X(t)=(p{e}^{it}+q{)}^n \end{gathered}$$

(3)

$$\begin{gathered} \text{Possion}\mathrm{分}\mathrm{布}P(\lambda ), \\ \mathrm{则}{\phi }_X(t)=e^{\lambda (e^{it}-1)} \end{gathered}$$

(4)

$$\begin{gathered} X\sim \mathcal{N}(\mu ,{\sigma }^2), \\ \mathrm{则}{\phi }_X(t)=e^{i\mu t-\frac{{\sigma }^2{t}^2}{2}} \end{gathered}$$

(1)(2)(3)直接利用定义计算即可，这里只证明第(4)个结论。

首先计算标准正态分布的特征函数：

$$\begin{array}{rl}\phi (t)& =\frac{1}{\sqrt{2\pi }}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{itx}{e}^{-\frac{x^2}{2}}dx\\ & =\frac{1}{\sqrt{2\pi }}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{-\frac{x^2}{2}}\cos (tx)dx+i\frac{1}{\sqrt{2\pi }}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{-\frac{x^2}{2}}\sin (tx)dx\\ & =\frac{1}{\sqrt{2\pi }}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{-\frac{x^2}{2}}\cos (tx)dx\end{array}$$

关于$t$求导可得

$$\begin{array}{rl}{\phi }^{\prime }(t)& =\frac{1}{\sqrt{2\pi }}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}-x{e}^{-\frac{x^2}{2}}\sin (tx)dx\\ & =\frac{1}{\sqrt{2\pi }}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\sin (tx)d(e^{-\frac{x^2}{2}})\\ & =\frac{1}{\sqrt{2\pi }}\sin (tx)e^{-\frac{x^2}{2}}{|}_{-\mathrm{\infty }}^{\mathrm{\infty }}-\frac{1}{\sqrt{2\pi }}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}t\cos (tx)e^{-\frac{x^2}{2}}dx\\ & =-\frac{1}{\sqrt{2\pi }}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}t\cos (tx)e^{-\frac{x^2}{2}}dx\\ & =-t\phi (t)\end{array}$$

所以

$$\begin{gathered} \frac{d\phi }{\phi }=-tdt \\ \phi (t)=c{e}^{-\frac{t^2}{2}} \\ c=\phi (0)=1 \\ \phi (t)=e^{-\frac{t^2}{2}} \end{gathered}$$

一般的，若$X\sim \mathcal{N}(\mu ,{\sigma }^2)$，则

$$\begin{gathered} Y=\frac{X-\mu }{{\sigma }^2}\sim \mathcal{N}(0,1) \\ {\phi }_X(t)={\phi }_{\sigma Y+\mu }(t)=e^{i\mu t}{\phi }_Y(\sigma t)=e^{i\mu t-\frac{{\sigma }^2{t}^2}{2}} \end{gathered}$$

关于特征函数有如下定理：

定理8.1.1(连续性定理)

$$\mathrm{分}\mathrm{布}\mathrm{函}\mathrm{数}\mathrm{与}\mathrm{特}\mathrm{征}\mathrm{函}\mathrm{数}\mathrm{相}\mathrm{互}\mathrm{唯}\mathrm{一}\mathrm{决}\mathrm{定}$$

定理8.1.2(唯一性定理)

$$\begin{gathered} \mathrm{若}\{X,X_n,n\ge 1\}\mathrm{的}\mathrm{特}\mathrm{征}\mathrm{函}\mathrm{数}\mathrm{为}\{\phi ,{\phi }_n,n\ge 1\}， \\ \mathrm{则}{X}_n\stackrel{d}{\to }X\iff {\phi }_n\to \phi \end{gathered}$$

2.多元特征函数

1.多元特征函数的定义

定义：

$$\begin{gathered} \overrightarrow{X}=(X_1,...,X_n{)}^T\mathrm{是}n\mathrm{维}r.v，\mathrm{定}\mathrm{义}\mathrm{其}\mathrm{特}\mathrm{征}\mathrm{函}\mathrm{数}\mathrm{为} \\ \begin{array}{rl}\phi (t_1,...,t_n)& =\mathbb{E}[e^{i{\overrightarrow{t}}^T\overrightarrow{X}}]\\ & ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}...{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{i\sum _{j=1}^n{t}_j{x}_j}dF(x_1,...,x_n)\\ & ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}...{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{i\sum _{j=1}^n{t}_j{x}_j}\mu (d{x}_1...d{x}_n)\end{array} \\ \mathrm{其}\mathrm{中}\overrightarrow{t}=(t_1,...,t_n{)}^T\in {\mathbb{R}}^n \end{gathered}$$

利用定义不难计算出

$$\frac{{\partial }^{k_1+...+k_n}\phi (0)}{\partial t_1^{k_1}...\partial t_n^{k_n}}=i^{k_1+...+k_n}\mathbb{E}[X_1^{k_1}...X_n^{k_n}]$$

2.多维Gauss分布

定义：

$$\begin{gathered} \overrightarrow{X}=(X_1,...,X_n{)}^T\mathrm{服}\mathrm{从}n\mathrm{维}\text{Gauss}\mathrm{分}\mathrm{布}，\mathrm{如}\mathrm{果}\mathrm{它}\mathrm{的}\mathrm{特}\mathrm{征}\mathrm{函}\mathrm{数}\mathrm{具}\mathrm{有}\mathrm{形}\mathrm{式}： \\ \phi (t_1,...,t_n)=e^{i{\overrightarrow{a}}^T\overrightarrow{t}-\frac{1}{2}{\overrightarrow{t}}^T\mathrm{\Sigma }\overrightarrow{t}} \\ \mathrm{其}\mathrm{中}\overrightarrow{a}=(a_1,...,a_n{)}^T\mathrm{是}\mathrm{常}\mathrm{数}\mathrm{向}\mathrm{量}，\mathrm{\Sigma }=({\sigma }_{ij})\mathrm{是}n\mathrm{维}\mathrm{半}\mathrm{正}\mathrm{定}\mathrm{阵}， \\ \mathrm{特}\mathrm{别}，\mathrm{若}|\mathrm{\Sigma }|>0，\mathrm{则}\mathrm{称}\overrightarrow{X}\mathrm{服}\mathrm{从}n\mathrm{维}\mathrm{正}\mathrm{态}\mathrm{分}\mathrm{布} \end{gathered}$$

性质

$$\begin{gathered} \text{Gauss}\mathrm{分}\mathrm{布}\mathrm{有}\mathrm{如}\mathrm{下}\mathrm{性}\mathrm{质}： \\ \overrightarrow{a}=(\mathbb{E}[X_1],...,\mathbb{E}[X_n]{)}^T,\mathrm{\Sigma }=(\text{Cov}(X_i,X_j)) \end{gathered}$$

证明：关于$\phi (t)$求一次偏导可得

$$\frac{\partial \phi (0)}{\partial t_j}=e^{i{\overrightarrow{a}}^T\overrightarrow{t}-\frac{1}{2}{\overrightarrow{t}}^T\mathrm{\Sigma }\overrightarrow{t}}(i{a}_j-\sum _{k=1}^n{\sigma }_{jk}{t}_k){|}_{t=0}=i{a}_j=i\mathbb{E}[X_j]$$

所以

$$\begin{gathered} \mathbb{E}[X_j]=a_j \\ \overrightarrow{a}=(\mathbb{E}[X_1],...,\mathbb{E}[X_n]{)}^T \end{gathered}$$

关于$\phi (t)$求两次偏导可得

$$\begin{array}{rl}\frac{{\partial }^2\phi (0)}{\partial t_k\partial t_j}& =\frac{\partial }{\partial t_k}(e^{i{\overrightarrow{a}}^T\overrightarrow{t}-\frac{1}{2}{\overrightarrow{t}}^T\mathrm{\Sigma }\overrightarrow{t}}(i{a}_j-\sum _{m=1}^n{\sigma }_{jm}{t}_m))\\ & =e^{i{\overrightarrow{a}}^T\overrightarrow{t}-\frac{1}{2}{\overrightarrow{t}}^T\mathrm{\Sigma }\overrightarrow{t}}(-{\sigma }_{jk})+e^{i{\overrightarrow{a}}^T\overrightarrow{t}-\frac{1}{2}{\overrightarrow{t}}^T\mathrm{\Sigma }\overrightarrow{t}}(i{a}_j-\sum _{m=1}^n{\sigma }_{jm}{t}_m)(i{a}_k-\sum _{m=1}^n{\sigma }_{km}{t}_m){|}_{t=0}\\ & =-{\sigma }_{jk}-a_j{a}_k\\ & =-{\sigma }_{jk}-\mathbb{E}[X_j]\mathbb{E}[X_k]\\ & =-\mathbb{E}[X_j{X}_k]\end{array}$$

从而

$$\begin{gathered} {\sigma }_{jk}=\mathbb{E}[X_j{X}_k]-\mathbb{E}[X_j]\mathbb{E}[X_k]=\text{Cov}(X_j,X_k) \\ \mathrm{\Sigma }=({\sigma }_{jk})=(\text{Cov}(X_j,X_k)) \end{gathered}$$

定理8.1.3

$$\begin{gathered} \mathrm{若}\overrightarrow{X}=(X_1,...,X_n{)}^T\sim \mathcal{N}(\overrightarrow{a},\mathrm{\Sigma })， \\ A=(a_{ij}{)}_{m\times n},\overrightarrow{b}=(b_1,...,b_m{)}^T, \\ \mathrm{则}A\overrightarrow{X}+\overrightarrow{b}\sim \mathcal{N}(A\overrightarrow{a}+\overrightarrow{b},A\mathrm{\Sigma }{A}^T) \end{gathered}$$

证明：利用特征函数的定义

$$\begin{array}{rl}{\phi }_{A\overrightarrow{X}+\overrightarrow{b}}(t_1,...,t_n)& =\mathbb{E}[e^{i{\overrightarrow{t}}^T(A\overrightarrow{X}+\overrightarrow{b})}]\\ & =e^{i{\overrightarrow{t}}^T\overrightarrow{b}}\mathbb{E}[e^{i(A^T\overrightarrow{t}{)}^T\overrightarrow{X}}]\\ & =e^{i{\overrightarrow{t}}^T\overrightarrow{b}}{e}^{i{\overrightarrow{a}}^T{A}^T\overrightarrow{t}-\frac{1}{2}{\overrightarrow{t}}^{T}A\overrightarrow{\mathrm{\Sigma }}{\overrightarrow{A}}^T\overrightarrow{t}}\\ & =\exp (i{\overrightarrow{b}}^T\overrightarrow{t}+i{\overrightarrow{a}}^T{A}^T\overrightarrow{t}-\frac{1}{2}{\overrightarrow{t}}^{T}A\overrightarrow{\mathrm{\Sigma }}{\overrightarrow{A}}^T\overrightarrow{t})\\ & =\exp (i\overrightarrow{(}A\overrightarrow{a}+\overrightarrow{b}{)}^T\overrightarrow{t}-\frac{1}{2}{\overrightarrow{t}}^{T}A\overrightarrow{\mathrm{\Sigma }}{\overrightarrow{A}}^T\overrightarrow{t})\end{array}$$

利用唯一性定理可得

$$A\overrightarrow{X}+\overrightarrow{b}\sim \mathcal{N}(A\overrightarrow{a}+\overrightarrow{b},A\mathrm{\Sigma }{A}^T)$$

定理8.1.4

$$\begin{gathered} \mathrm{若}\overrightarrow{X}=(X_1,...,X_n{)}^T=\left(\begin{array}{c}\overrightarrow{X^{(1)}}\\ \overrightarrow{X^{(2)}}\end{array}\right)\sim \mathcal{N}(\overrightarrow{a},\mathrm{\Sigma })， \\ \overrightarrow{X^{(1)}}=(X_1,...,X_k{)}^T,\overrightarrow{X^{(2)}}=(X_{k+1},...,X_n{)}^T \\ \mathrm{相}\mathrm{应}\mathrm{地}\mathrm{将}\mathrm{\Sigma }\mathrm{表}\mathrm{达}\mathrm{为}\left(\begin{array}{cc}{\mathrm{\Sigma }}_{11}& {\mathrm{\Sigma }}_{12}\\ {\mathrm{\Sigma }}_{21}& {\mathrm{\Sigma }}_{22}\end{array}\right) \\ \mathrm{则}\overrightarrow{X^{(1)}}\perp \overrightarrow{X^{(2)}}\iff {\mathrm{\Sigma }}_{12}={\mathrm{\Sigma }}_{21}=0 \end{gathered}$$

定理8.1.5

$$\overrightarrow{X}=(X_1,...,X_n{)}^T\mathrm{服}\mathrm{从}n\mathrm{维}\text{Gauss}\mathrm{分}\mathrm{布}\iff \mathrm{\forall }{\lambda }_1,...,{\lambda }_n,\sum _{j=1}^n{\lambda }_j{X}_j\mathrm{服}\mathrm{从}\mathrm{一}\mathrm{维}\text{Gauss}\mathrm{分}\mathrm{布}$$

2.中心极限定理(CLT)

定理8.2.1

$$\begin{gathered} \mathrm{设}\{X_n\}iid，a=\mathbb{E}[X_1],0<{\sigma }^2=\text{Var}(X_1)<\mathrm{\infty }, \\ \mathrm{则}\frac{S_n-na}{\sigma \sqrt{n}}\stackrel{d}{\to }\mathcal{N}(0,1) \end{gathered}$$

证明：

$$\begin{array}{rl}{\phi }_{\frac{S_n-na}{\sigma \sqrt{n}}}(t)& ={\phi }_{S_n-na}(\frac{t}{\sigma \sqrt{n}})\\ & =({\phi }_{X_1-a}(\frac{t}{\sigma \sqrt{n}}){)}^n\\ & =(1-\frac{1}{2n}{t}^2+o(\frac{t^2}{n}){)}^n\\ & \to e^{-\frac{t^2}{2}}\end{array}$$

所以

$$R_n=\frac{S_n-na}{\sigma \sqrt{n}}\stackrel{d}{\to }\mathcal{N}(0,1)$$

关于特征函数有如下命题：

命题

$$\mathrm{若}\phi (t)\mathrm{是}\mathrm{特}\mathrm{征}\mathrm{函}\mathrm{数}，\mathrm{那}\mathrm{么}{e}^{\phi (t)-1}\mathrm{也}\mathrm{是}\mathrm{特}\mathrm{征}\mathrm{函}\mathrm{数}$$

证明该结论之前需要利用如下两个结论：

$$\begin{gathered} (1)\mathrm{若}{\phi }_1(t),...,{\phi }_n(t)\mathrm{是}n\mathrm{个}\mathrm{特}\mathrm{征}\mathrm{函}\mathrm{数}，\mathrm{那}\mathrm{么}\sum _{i=1}^n{\lambda }_i{\phi }_i(t)\mathrm{也}\mathrm{是}\mathrm{特}\mathrm{征}\mathrm{函}\mathrm{数}，\mathrm{其}\mathrm{中}{\lambda }_i\ge 0,\sum _{i=1}^n{\lambda }_i=1 \\ (2)\mathrm{若}{\phi }_1(t),...,{\phi }_n(t)\mathrm{是}n\mathrm{个}\mathrm{特}\mathrm{征}\mathrm{函}\mathrm{数}，\mathrm{那}\mathrm{么}\prod _{i=1}^n{\phi }_i(t)\mathrm{是}\mathrm{特}\mathrm{征}\mathrm{函}\mathrm{数}， \\ \mathrm{特}\mathrm{别}\mathrm{地}，\mathrm{若}\phi (t)\mathrm{是}\mathrm{特}\mathrm{征}\mathrm{函}\mathrm{数}，\mathrm{那}\mathrm{么}{\phi }^n(t)\mathrm{是}\mathrm{特}\mathrm{征}\mathrm{函}\mathrm{数} \end{gathered}$$

结论(1)的证明：

假设${\phi }_i(t)$对应的分布函数为$F_i(x)$，那么$\sum _{i=1}^n{\lambda }_i{F}_i(t)$也是分布函数，由定义即可验证其特征函数为$\sum _{i=1}^n{\lambda }_i{\phi }_i(t)$

结论(2)的证明：

假设${\phi }_i(t)$对应的变量为$X_i$，$X_i$相互独立，则$X=\sum _{i=1}^n{X}_i$的特征函数为$\prod _{i=1}^n{\phi }_i(t)$

接下来利用上述结论证明该命题。

证明：将$e^{\phi (t)-1}$进行泰勒展开可得

$$e^{\phi (t)-1}=\frac{1}{e}\sum _{i=1}^{\mathrm{\infty }}\frac{1}{i!}{\phi }^i(t)$$

因此考虑如下函数

$$\begin{gathered} {\phi }_n(t)=\frac{1}{x_n}\sum _{i=1}^n\frac{1}{i!}{\phi }^i(t) \\ {x}_n=\sum _{i=1}^n\frac{1}{i!} \end{gathered}$$

不难看出

$$\frac{1}{x_n}\sum _{i=1}^n\frac{1}{i!}=1$$

所以由之前的结论可知${\phi }_n(t)$是特征函数，注意到

$$\underset{n\to \mathrm{\infty }}{lim}{\phi }_n(t)=e^{\phi (t)-1}$$

所以由唯一性定理可得存在随机变量$X$，其特征函数为$e^{\phi (t)-1}$，即$e^{\phi (t)-1}$是特征函数。

独立不同分布时有如下定理：

定理8.2.2(Lindeberg-Feller定理)

$$\begin{gathered} R_n=\sum _{i=1}^n\frac{X_i-a_i}{\sqrt{\sum _{j=1}^n{\sigma }_j^2}},\mathrm{则} \\ {R}_n\stackrel{d}{\to }\mathcal{N}(0,1)\mathrm{且}\underset{n\to \mathrm{\infty }}{lim}\underset{1\le j\le n}{max}\frac{{\sigma }_j^2}{B_n^2}=0\iff \mathrm{\forall }ϵ>0,\underset{n\to \mathrm{\infty }}{lim}\frac{1}{B_n^2}\sum _{k=1}^n\mathbb{E}[|X_k-a_k{|}^2{1}_{\{|X_k-a_k|\ge ϵB_n\}}]=0 \\ \mathrm{其}\mathrm{中}{B}_n^2=\sum _{j=1}^n{\sigma }_j^2=\text{Var}(S_n) \end{gathered}$$

（备注，这部分是结合课本补充的，老师没有讲，可以忽略）

这里简述下证明思路，首先要利用如下引理：

引理

$$\begin{gathered} \mathrm{\forall }|z_k|\le 1,|w_k|\le 1 \\ |\prod _{k=1}^n{z}_k-\prod _{k=1}^n{w}_k|\le \sum _{k=1}^n|z_k-w_k| \end{gathered}$$

利用归纳法证明该不等式。

$n=1$时显然，假设$n=m-1$时结论成立，$n=m$时

$$\begin{array}{rl}|\prod _{k=1}^m{z}_k-\prod _{k=1}^m{w}_k|& =|\prod _{k=1}^m{z}_k-\prod _{k=1}^{m-1}{z}_k{w}_m+\prod _{k=1}^{m-1}{z}_k{w}_m-\prod _{k=1}^m{w}_k|\\ & =|(z_m-w_m)\prod _{k=1}^{m-1}{z}_k+w_m(\prod _{k=1}^{m-1}{z}_k-\prod _{k=1}^{m-1}{w}_k)|\\ & \le |z_m-w_m||\prod _{k=1}^{m-1}{z}_k|+|w_m||\prod _{k=1}^{m-1}{z}_k-\prod _{k=1}^{m-1}{w}_k|\\ & \le |z_m-w_m|+\sum _{k=1}^{m-1}|z_k-w_k|\\ & =\sum _{k=1}^n|z_k-w_k|\end{array}$$

从而结论成立。

由之前的命题可知，

$$\mathrm{若}{\phi }_{Y_i}(t)\mathrm{是}\mathrm{特}\mathrm{征}\mathrm{函}\mathrm{数}，\mathrm{那}\mathrm{么}{e}^{{\phi }_{Y_i}(t)-1}\mathrm{是}\mathrm{特}\mathrm{征}\mathrm{函}\mathrm{数}，\mathrm{因}\mathrm{此}{e}^{\sum _{i=1}^n({\phi }_{Y_i}(t)-1)}\mathrm{是}\mathrm{特}\mathrm{征}\mathrm{函}\mathrm{数}$$

所以我们考虑$\prod _{i=1}^n{\phi }_{Y_i}(t)-e^{\sum _{i=1}^n({\phi }_{Y_i}(t)-1)}$，注意到

$$|{\phi }_{Y_i}(t)|\le 1,|e^{{\phi }_{Y_i}(t)-1}|=e^{\text{Rez}({\phi }_{Y_i}(t)-1)}\le 1$$

所以利用上述引理可得

$$|\prod _{i=1}^n{\phi }_{Y_i}(t)-e^{\sum _{i=1}^n({\phi }_{Y_i}(t)-1)}|\le \sum _{i=1}^n|{\phi }_{Y_i}(t)-e^{{\phi }_{Y_i}(t)-1}|$$

接下来计算$\sum _{i=1}^n|{\phi }_{Y_i}(t)-e^{{\phi }_{Y_i}(t)-1}|$，若上式$\to 0$，那么命题得证，此定理的条件可以推出这点，更具体的部分可以参考课本。

上述定理的条件不好验证，有如下更好验证的条件：

定理8.2.3(李雅普诺夫中心极限定理)

$$\begin{gathered} \mathrm{若}\mathrm{\exists }\delta >0,\mathrm{使}\mathrm{得} \\ \frac{1}{B_n^{2+\delta }}\sum _{k=1}^n\mathbb{E}[|X_k-a_k{|}^{2+\delta }]\to 0(n\to \mathrm{\infty })， \\ \mathrm{则}\text{CLT}\mathrm{成}\mathrm{立} \end{gathered}$$