距离上次更新已经 1650 天了,文章内容可能已经过时。

课程主页:https://ocw.nctu.edu.tw/course_detail.php?bgid=8&gid=0&nid=558

老师主页:http://shannon.cm.nctu.edu.tw/

课程视频:https://www.bilibili.com/video/BV1sW411U7xK?from=search&seid=2411740640027894887,

https://www.youtube.com/watch?v=IsQSWVbAKy0&list=PLj6E8qlqmkFvw7Rt63yBqai2HmPKF0V0J

这次回顾第三讲,继续介绍基本概念,对应视频7-8。

半随机电报信号

继续上一讲的泊松过程,这里假设λ(t)=λ,定义:

u(t)={1, if n[0,t) is even 1, if n[0,t) is odd 

计算u(t)的期望以及自相关函数。

解:

E[u(t)]=1Pr[n[0,t)=0,2,4,]+(1)Pr[n[0,t)=1,3,5,]=1eλt[1+(λt)22!+]+(1)eλt[λt+(λt)33!+]=eλtcosh(λt)eλtsinh(λt)=eλt(eλt+eλt2)eλt(eλteλt2)=e2λt

对于t1t2

E[u(t1)u(t2)]=Pr[n[0,t1)=evenn[0,t2)=even]+Pr[n[0,t1)=oddn[0,t2)=odd]Pr[n[0,t1)=evenn[0,t2)=odd]Pr[n[0,t1)=oddn[0,t2)=even]=Pr[n[0,t1)=evenn[t1,t2)=even]+Pr[n[0,t1)=oddn[t1,t2)=even]Pr[n[0,t1)=evenn[t1,t2)=odd]Pr[n[0,t1)=oddn[t1,t2)=odd]=Pr[n[0,t1)=even]Pr[n[t1,t2)=even]+Pr[n[0,t1)=odd]Pr[n[t1,t2)=even]Pr[n[0,t1)=even]Pr[n[t1,t2)=odd]Pr[n[0,t1)=odd]Pr[n[t1,t2)=odd]=(Pr[n[0,t1)=even]+Pr[n[0,t1)=odd])(Pr[n[t1,t2)=even]Pr[n[t1,t2)=odd])=Pr[n[t1,t2)=even]Pr[n[t1,t2)=odd]=eλ(t2t1)cosh[λ(t2t1)]eλ(t2t1)sinh[λ(t2t1)]=eλ(t2t1)(eλ(t2t1)+eλ(t2t1)2)eλ(t2t1)(eλ(t2t1)eλ(t2t1)2)=e2λ(t2t1)

同理当t1>t2时,

E[u(t1)u(t2)]=e2λ(t1t2)

因此

Ruu(t1,t2)=E[u(t1)u(t2)]=e2λt1t2|

泊松分布的和与差

  • 如果x1(t)Poisson(λ1t),x2(t)Poisson(λ2t),并且两个过程独立

  • 那么z(t)=x1(t)+x2(t)Poisson((λ1+λ2)t)

  • 但是y(t)=x1(t)x2(t)不是泊松过程,计算概率可得:

    Pr[y(t)=n]=k=max{0,n}Pr[x1(t)=n+k]Pr[x2(t)=k]=k=max{0,n}eλ1t(λ1t)n+k(n+k)!eλ2t(λ2t)kk!(k~=kmax{0,n})=e(λ1+λ2)tk~=0(λ1t)n+k~+max{0,n}(n+k~+max{0,n})!(λ2t)k~+max{0,n}(k~+max{0,n})!=e(λ1+λ2)t(λ1λ2)n/2k~=0(tλ1λ2)n+2max{0,n}+2k~(n+k~+max{0,n})!(k~+max{0,n})!=e(λ1+λ2)t(λ1λ2)n/2k~=0(tλ1λ2)|n|+2k~(|n|+k~)!k~!=e(λ1+λ2)t(λ1λ2)n/2I|n|(2tλ1λ2)(n=0,±1,±2,)

其中

In(x)k=0(x/2)n+2kk!(n+k)!

n阶贝塞尔函数。

泊松点的随机选择

x(t)Poisson(λt),生成泊松点列{t1,t2,t3,},每个ti以概率p被独立标记,令y(t)为区间[0,t)的标记点数,z(t)为区间[0,t)的未被标记点数,那么

y(t)Poisson(pλt),z(t)Poisson((1p)λt)

证明:

(1)首先证明

Pr[y(t)=k]=epλt(pλt)kk!

原因如下:

Pr[y(t)=k]=n=kPr[x(t)=n]Pr[k out of n are tagged x(t)=n]=n=k(eλt(λt)nn!)[(nk)pk(1p)nk]=eλt(pλt)kk!n=k[(1p)λt]nk(nk)!=eλt(pλt)kk!r=0[(1p)λt]r(r)!=eλt(pλt)kk!e(1p)λt=epλt(pλt)kk!

另一方面,任取区间[t1t2),我们有

Pr[y([t1,t2))=k]=n=kPr[x([t1,t2))=n]Pr[k out of n are tagged x([t1,t2))=n]=n=kPr[x(t2t1)=n]Pr[k out of n are tagged x(t2t1)=n]==epλ(t2t1)(pλ(t2t1))kk!

(2)其次证明独立性。

假设[t1t2)[t3t4)是非重叠区间,那么

Pr[y([t1,t2))=k1,y([t3,t4))=k2]=n1=k1n2=k2Pr[x([t1,t2))=n1,x([t3,t4))=n2]×Pr[k1 out of n1 are tagged ,k2 out of n2 are tagged x([t1,t2))=n1,x([t3,t4))=n2]=(n1=k1Pr[k1 out of n1 are tagged x([t1,t2))=n1]Pr(x([t1,t2))=n1))×(n2=k2Pr[k2 out of n2 are tagged x([t3,t4))=n2]Pr(x([t3,t4))=n2))=Pr[y([t1,t2))=k1]Pr[y([t3,t4))=k2]

泊松点和二项分布

命题:对于泊松过程x(t)以及t1<t2,事件[x(t1)=k given x(t2)=n]服从二项分布B(n,t1/t2)

证明:

Pr[x(t1)=kx(t2)=n]=Pr[x(t1)=kx(t2)=n]Pr[x(t2)=n]=Pr[n[0,t1)=kn[t1,t2)=nk]Pr[n[0,t2)=n]=Pr[n[0,t1)=k]Pr[n[t1,t2)=nk]Pr[n[0,t2)=n]=eλt1(λt1)kk!eλ(t2t1)(λ(t2t1))nk(nk)!eλt2(λt2)nn!=(nk)(t1t2)k(1t1t2)nk for k=0,1,2,,n

平稳族

  • 平稳性:如果随机过程x(t)的统计特性对于原点偏移不变,则称为严平稳(SSS)。
  • 联合平稳性:如果两个随机过程的联合统计特性对于原点偏移不变,则它们是联合平稳的。
  • 宽平稳性:如果随机过程x(t)的均值和自相关函数对于原点偏移不变,则称为宽平稳(WSS)。
  • 联合宽平稳性:如果两个随机过程x(t)y(t)的均值和自相关函数以及它们的互相关函数对于原点偏移均不变,则它们是联合宽平稳的。
  • 协方差平稳性:如果自协方差函数对于原点偏移不变,则过程x(t)是协方差平稳的。
  • n阶平稳性:如果任何n维统计量都关于原点偏移不变,则过程x(t)n阶平稳的。
  • 区间平稳性:如果过程x(t)在该某区间内的统计特性对于原点的移动不变,则该过程在该区间中是平稳的。 即{x(ti)}i=1n{x(ti+c)}i=1n具有相同的统计量,只要所有t1ti+c都属于该区间。
  • 渐近平稳:如果y(t)=limcx(t+c)是平稳的,则过程x(t)是渐近平稳的,前提是存在极限。

重要定理

定理:

过程x(t)=acos(ωt)+bsin(ωt)是SSS,当且仅当a,b的联合密度f(a,b)是圆对称的,即

f(a,b)=g(r) for some g(r)

其中r=a2+b2

证明:

1.

如果x(t)是SSS,那么xT=[x(0),x(π/2ω)]T=[a,b]TyT=[x(t),x(t+π/2ω)]T具有相同的概率密度f,注意到

y=g(x)=[cos(ωt)sin(ωt)sin(ωt)cos(ωt)]x

所以利用变量替换公式可得

fy(y1,y2)=fx([cos(ωt)sin(ωt)sin(ωt)cos(ωt)][y1y2])|cos(ωt)sin(ωt)sin(ωt)cos(ωt)|=fx(y1cos(ωt)y2sin(ωt),y1sin(ωt)+y2cos(ωt))

注意到

fx=fy=f

所以

f(y1,y2)=f(y1cos(ωt)y2sin(ωt),y1sin(ωt)+y2cos(ωt))

由于

(y1cos(ωt)y2sin(ωt))2+(y1sin(ωt)+y2cos(ωt))2=y12+y22

以及t的任意性,所以

f(a,b)=g(r)

2.

对于固定的τ,考虑

x1(t)=x(t+τ)=acos(ω(t+τ))+bsin(ω(t+τ))=a(cos(ωt)cos(ωτ)sin(ωt)sin(ωτ))+b(sin(ωt)cos(ωτ)+cos(ωt)sin(ωτ))a1cos(ωt)+b1sin(ωt)

其中

a1=acos(ωτ)+bsin(ωτ) and b1=bcos(ωτ)asin(ωτ)

注意到

a12+b12=a2+b2

所以(a,b),(a1,b1)的概率分布相同,而x1(t)的统计特性由(a1,b1)完全确定,x(t)的统计特性由(a,b)完全确定,所以x(t)x(t+τ)的统计特性相同。

推论1

如果a,b不相关,0均值,方差相同,那么过程x(t)=acos(ωt)+bsin(ωt)是WSS。

证明:

期望:

E[x(t)]=E[a]cos(ωt)+E[b]sin(ωt)=0

自相关函数:

E[x(t1)x(t2)]=E{[acos(ωt1)+bsin(ωt1)][acos(ωt2)+bsin(ωt2)]}=E[a2]cos(ωt1)cos(ωt2)+E[b2]sin(ωt1)sin(ωt2)=E[a2]cos(ω(t1t2))
推论2

如果φ是在[π,π)的均匀分布,那么过程x(t)=acos(ωt+φ)是WSS。

证明:

期望:

E[x(t)]=E[E[acos(ωt+φ)ω=ω]]=0

自相关函数:

E[x(t1)x(t2)]=E{a2cos(ωt1+φ)cos(ωt2+φ)}=E{a2cos[ω(t1t2)]+cos[ω(t1+t2)+2φ]2}=a22E[cos(ω(t1t2))]
推论3

如果φ是在[π,π)的均匀分布,那么过程z(t)=aej(ωt+φ)是WSS。

证明:

z(t)=aej(ωt+φ)=a(cos(ωt+φ)+jsin(ωt+φ))

然后利用推论2的证明过程即可。

推论4

如果过程x(t)=acos(ωt)+bsin(ωt)是SSS,且a,b独立,那么x(t)是正态过程。

证明:

第一部分,证明a,b服从正态分布。

  • 首先由定理可得a,b的联合密度f(a,b)=g(r)是圆对称的,其中r=a2+b2

  • 其次由a,b的独立性可得g(r)=fa(a)fb(b)

  • 求导可得:

    1r(g(r)/r)g(r)=1r(g(r)/r)g(r)(r/a)(r/a)=1r(g(r)/a)g(r)1(r/a)=1r([fa(a)fb(b)]/a)[fa(a)fb(b)]1(a/r)=1a(fa(a)/a)fa(a)

下面证明:

1r(g(r)/r)g(r)=1a(fa(a)/a)fa(a)= constant (=1σ2)

利用反证法,如果存在某个αβ,使得

1a(fa(a)/a)fa(a)|a=α1a(fa(a)/a)fa(a)|a=β

考虑(a,b)=(α,β)(a,b)=(β,α),我们有

1r(g(r)/r)g(r)|(a,b)=(α,β)=1a(fa(a)/a)fa(a)|a=α1r(g(r)/r)g(r)|(a,b)=(β,α)=1a(fa(a)/a)fa(a)|a=β1r(g(r)/r)g(r)|(a,b)=(α,β)1r(g(r)/r)g(r)|(a,b)=(β,α)

但是(α,β)(β,α)对应的模长相同,这就与上述事实矛盾。

  • 1a(fa(a)/a)fa(a)= constant (=1σ2)

    积分可得

    fa(a)=cea2/2σ2

    由对称性得到

    fb(b)=ceb2/2σ2

    利用

    fa(a)fb(b)dadb=1

    可得

    g(r)|r=a2+b2=fa(a)fb(b)=12πσ2e(a2+b2)/(2σ2)
  • 总结:圆对称和独立性可以推出高斯。

第二部分,证明x(t)是正态过程。

只要证明任意有限维服从联合正态分布即可,可以利用如下事实得到:

[x(t1)x(t2)x(tk)]=[ab][cos(ωt1)cos(ωt2)cos(ωtk)sin(ωt1)sin(ωt2)sin(ωtk)]

相关时间

WSS过程x(t)的相关时间τc定义为:

τc=1Cxx(0)0Cxx(τ)dτ
例子

对于a独立WSS过程x(t),即Cxx(τ)=0,|τ|>a。因此,

|τc|=|1Cxx(0)0Cxx(τ)dτ|1Cxx(0)0|Cxx(τ)|dτ=1Cxx(0)0a|Cxx(τ)|dτ0adτ=a

其中

|Cxx(τ)|Cxx(0)

是利用了协方差矩阵半正定:

[Cxx(0)Cxx(τ)Cxx(τ)Cxx(0)]=[Cxx(0)Cxx(τ)Cxx(τ)Cxx(0)]

以及

Cxx(τ)=E[x(t+τ)x(t)]=E[x(t)x(t+τ)]=Cxx(τ)

备注:这里假设过程为实过程。