当前位置:首页 >> 工学 >>

随机过程与马尔可夫过程


随机过程与马尔可夫过程

2010-7-26

1

目录 随机过程
引言 随机过程的定义 随机过程的分类 随机过程的概率分布 二维随机过程
2010-7-26

2

随机过程
引言
现实世界中的许多现象是随时间的进展而变化与 发展的,这些现象通常称为过程.可分为两类: (1)确定性的变化过程 (2)不确定的变化过程 如果质点在一个随机的力(它由各种随机因素形 成)的作用下,那么质点的运动也是随机的.

2010-7-26

3

如何描述这样的变化过程:
1. 如果对其变化过程的全过程做一次观察,得到一个位 置与时间关系的函数x1(t ),若再次观察,又得到函数 x2(t ),… ,因而得到一族函数. 2. 如果在时刻t观察质点的位置x(t ),则x(t )是一个随机 ( ( 变量,这样对于每个时刻t便得到一个随机变量X(t ), ( 于是我们就得到一族随机变量{X(t),t≥0},(最初始时 刻为t=0),它描述了此随机变量的运动过程.我们称这 种随时间的进展而变化与发展的随机现象为随机过程
2010-7-26

4

目录 随机过程
引言 随机过程的定义 随机过程的分类 随机过程的概率分布 二维随机过程
2010-7-26

5

一,随机过程的定义
1.定义1
设E是一随机实验,样本空间为Ω={ω},参数

T(-∞,+∞),如果对每个ω∈ ,总有一个确定的时间函数 X(ω,t)与之对应,这样对于所有的ω∈ ,就得到一族时间t的 函数,我们称此族时间t的函数为随机过程,而族中每一个函数 称为这个随机过程的样本函数.

2010-7-26

6

定义2 定义2:设E是一随机实验,样本空间为Ω={ω},参数
T(-∞,+∞),如果对任意t ∈T ,有一定义在Ω上的随机变 ( ) ),t 量X(ω,t)与之对应,则称{X(ω,t), ∈T}为随机过程,简记 ( ) ( ), 为{X(t), ∈T }或{X(t)},也可记为X(t). ( ), ),t () ()

注释:(1) 随机过程{X(t), ∈T}是定义在 ×T上的 ),t ( ),
二元函数,因此可以从两个角度去理解, 因而有如上的 两个定义. 在理论分析往往用随机变量族的描述方式,在实际 测量和处理中往往采用样本函数族的描述方式.
2010-7-26

7

(2)通常将随机过程{X(t), ∈T }解释为一个物理系统, ( ), ),t X(t)表示系统在时刻t所处的状态,X(t)的所有可能状 () () 态所构成的集合称为状态空间,记为I,对于给定的 t0 ∈T,及x ∈I,X(t0)= 说成是在时刻t0系统处于状态x. ( )=x (3)从定义2的角度上看,随机过程是有限维随机变量的 推广.

2.随机过程的例子

2010-7-26

8

例1:(分枝过程)一个个体(第0代)可能生产 0,1,2……
个子女形成第一代,每一个子女再生子女,他们合在一 起形成第二代,等等,假定第n代的个体数目为Xn,则 {Xn, n=0,1,2….}是随机过程.

例2: 考虑抛掷一颗骰子的试验,(i)设Xn是第n次(n≥1) X n
抛掷的点数,对于n=1,2……的不同值,Xn是不同的随机变 量,因而{Xn, n ≥1}构成一随机过程,称为贝努利过程 或贝努利随机序列,(ii)设Xn是前n次抛掷中出现的最大 点数,{Xn,n≥1}也是一随机过程. 9

2010-7-26

随机过程{Xn},t∈T}中参数t通常解释为时间集, 便于理解,符合实际.但参数t可以表示为其它的量, 例如序号,距离等等.

例2: 某寻呼台在时间段[0,t]内接到的呼唤次数是与t有
关的随机变量X(t ),对于固定的t, X(t )是一个取非 ( ( 负整数的随机变量,故{X(t ),t≥0}是随机过程. (

2010-7-26

10

目录 随机过程
引言 随机过程的定义 随机过程的分类 随机过程的概率分布 二维随机过程
2010-7-26

11

二,随机过程的分类
1.按状态空间I和时间是可列集还是连续集分类: 按状态空间I和时间是可列集还是连续集分类:
(1). 连续型随机过程:T是连续集,且t∈T,X(t)是连续型 () 随机变量,则称过程{X(t),t∈T}为连续型随机过程. () (2).离散型随机过程:T是连续集,且t∈T,X(t)是离散型 () 随机变量,则称过程{X(t),t∈T}为离散型随机过程. () (3).连续型随机序列: T是可列集,且t∈T,X(t)是连续型 () 随机变量,则称过程{X(t),t∈T}为连续型随机序列. () 12

2010-7-26

(4).离散型随机序列:T是可列集, 且t∈T, X(t)为离 () 散型随机变量, 则称过程{X(t),t∈T}为离散型随机 () 序列.通常T取为T ={0,1,2…}或T ={0, ± 1, ±2…},此时随机序列常记成{Xn,n=0,1,…}或 {Xn,n≥0}.

2.按分布特性分类: 按分布特性分类:
依照过程在不同时刻状态的统计依赖关系分类. 例如:独立增量过程,马尔可夫过程,平稳过程等.

2010-7-26

13

目录 随机过程
引言 随机过程的定义 随机过程的分类 随机过程的概率分布 二维随机过程
2010-7-26

14

三,随机过程的概率分布
1.n维分布函数: 维分布函数:
设{X(t),t∈T}是随机过程,对于任意整数n≥1及T中 () 任意n个不同的参数t1,t2,…,tn,称随机向量 (X(t1),X(t2),…,X(tn))的分布函数

F { x1 , x 2 , , x n ; t 1 , t 2 , , t n } = P{ X (t 1 ) ≤ x1 , X (t 2 ) ≤ x 2 , , X (t n ) ≤ x n }
为随机过程{X(t),t∈T}的n维分布函数. ()

2010-7-26

15

变化n及t1,t2,…,tn所得到的有限维分布函数的 全体

F { x 1 , x 2 , , x n ; t 1 , t 2 , , t n }, F = t 1 , t 2 , , t n ∈ T , t ∈ T , n ≥ 1
称为{X(t),t∈T}的有限维分布函数族. () 当n=1时,得到一维分布函数F(x;t)=P{ (t)≤ }, ( ; )=P{ )≤ )=P{X( )≤x} 一维分布函数的全体{F(x;t), t∈T}称为一维分布函数 { ( ; ), ∈ } 族.

2010-7-26

16

2.随机过程的数字特征
① 函数

X (t ) = E[ X (t )], t ∈ T
为{X(t),t∈T}的均值函数 () 均值函数. 均值函数



2 ψ X (t) = E[ X 2 (t)] 为{X(t),t∈T}的均方值函数 均方值函数. () 均方值函数

2 ③ σ X (t ) = D X (t ) = D[ X (t )]

为{X(t),t∈T}的方差函数. () 方差函数. 方差函数 ④ C X ( s, t ) = Cov ( X ( s ), X (t ))

= E {[ X ( s) X ( s)][ X (t ) X (t )]}
为{X(t),t∈T}的协方差函数 () 协方差函数. 协方差函数

2010-7-26

17

⑤ Rx(s,t)=E[X(s)X(t)]为{X(t),t∈T}的自相关函数, () 简称相关函数 相关函数

3.各数字特征的关系: 各数字特征的关系: 各数字特征的关系
2 ψ X (t ) = R X (t , t ),

C X ( s , t ) = R X ( s, t ) X ( s ) X ( t )

2 2 2 σ X (t ) = C X (t , t ) = ψ X (t ) X (t )

2010-7-26

18

例3: 设随机过程 X(t)=Ycosωt+Zsinωt,t≥0,其中
Y,Z是相互独立的随机变量,且E(Y)=E(Z)=0,

D(Y)=D(Z)=σ 2,求{X(t),t≥0}均值函数 x(t)和自
相关函数Rx(s,t).

解: x(t)=E[X(t)]=E[Ycosωt+Zsinωt] =cosωtE(Y)+sinωt E(Z)=0,
因为Y与Z相互独立,于是

2010-7-26

19

R X ( s, t ) = E[ X ( s) X (t )]

= E {[Y cos ω s + Z sin ω s][Y cos ω t + Z sin ω t ]}

= cos ω s cos ω t E (Y 2 ) + sin ω s sin ω t E ( Z 2 )
= σ 2 cos ω ( t s )

例4: 考虑随机过程 X(t)=acos(ωt+Θ),t∈(-∞,+∞) ∈
其中a和ω是常数,Θ是在(0,2π)上服从均匀分布的 随机变量,通常称此随机过程为随机相位正弦波,求随机 相位正弦波的均值函数,方差函数和自相关函数.

2010-7-26

20

解: Θ的概率密度为

1 f (θ ) = 2π 0
2π 0

θ ∈ (0,2π ) θ (0,2π )

于是 X (t ) = E[ X ( t )] = E[a cos(ω t + Θ)]

=∫

R X ( s , t ) = E[ X ( s ) X ( t )] = E [a 2 cos(ω s + Θ ) cos(ω t + Θ )]
=a
2

{

1 a cos(ω t + θ ) dθ = 0 2π

}



2π 0

1 cos(ω s + θ ) cos(ω t + θ ) dθ 2π

a2 cos ω (t s ) = 2
2010-7-26

21

a2 2 2 . σ X (t ) = R X (t , t ) X (t ) = 2

例5: 设随机过程X(t)=Y+Zt, t∈T=(-∞,+∞),其中
Y,Z是相互独立的服从N(0,1)的随机变量,求

{X(t),-∞<t<+∞}的一,二维概率密度. 解: t∈T,由正态分布的性质知X(t)服从正态分布: E[X(t)]=E(Y)+tE(Z)=0, D[X(t)]=D(Y)+t 2 =1+t 2
2010-7-26

22

所以一维概率密度为

f ( x, t ) =

1 2π (1 + t 2 )



x2 2 ( 1+ t 2 )

e

又由正态分布的性质知,对于任意 s,t∈T, ∈ X(s), t)) ),X( ))服从二维正态分布而 (X(s),X(t)) E[X(s)]= E[X(t)]=0;D[X(s)]=1+s2 ,D[X(t)]=1+t2 ;
C X ( s, t ) = R X ( s, t ) = E[(Y + Zs )(Y + Zt )] = 1 + s t
ρ X (s , t ) =

(1 + s )(1 + t )
2 2

1+ st

2010-7-26

23

所以二维概率密度为
f ( x1 , x2 ; t1 , t 2 ) = 1
2 2π (1 + t12 ) + (1 + t 2 ) 1 ρ 2 2 1 x2 x1 x2 x2 1 exp 2ρ + 2 2 2 2(1 ρ 2 ) 1 + t12 1 + t2 (1 + t1 )(1 + t 2 )

其中ρ=ρx(t1, t2).

2010-7-26

24

目录 随机过程
引言 随机过程的定义 随机过程的分类 随机过程的概率分布 二维随机过程
2010-7-26

25

四,二维随机过程
1.定义 定义: 定义
X(t),Y(t)为定义在同一样本空间Ω和同一参数集T () () ),Y( ))是二维随机 上的随机过程,对于任意t∈T,若(X(t), (t)) ( ( ), )) 变量,则称{(X(t), (t)) ∈T}为二维随机过程. ( ( ), )) ),Y( )),t

2.有限维分布函数和独立性 有限维分布函数和独立性
(1) {(X(t), (t)) ∈T}为二维随机过程,对于任意的正整数n ( ( ), )) ),Y( )),t 和m,以及任意的t1,t2,…,tn;t′1, t′2,…,t′m∈T ,称 ,

n+m元函数
2010-7-26

26

F(x1,x2,…,xn;y1,y2,…,ym;t1,t2,…,tn;t′1,t′2,…,t′m) =P{X(t1)≤x1,…, X(tn) ≤xn;Y(t′1) ≤y1,…,Y(t′m) ≤ym}
为{(X(t), (t)) ∈T}的n+m维分布函数,类似的可定义 ),Y( )),t ( ), )) 有限维分布函数族. (2)若对于任意的正整数n和m,以及任意的t1,t2,…,tn; ,

t′1, t′2,…,t′m∈T,任意的x1,x2,…,xn;y1,y2,…,ym ∈R,


F(x1,x2,…,xn;y1,y2,…,ym;t1,t2,…,tn;t′1,t′2,…,t′m) =FX{X(t1)≤x1,…, X(tn) ≤xn} FY{Y(t′1) ≤y1,…,Y(t′m) ≤ym}
2010-7-26

27

称{X(t)}与{Y(t)}相互独立,其中FX,FY分别为{X(t)}, () () () {Y(t)}的有限维分布函数. ()

3.二维随机过程的数字特征
(1) 互相关函数: 称 RXY(s,t)=E[X(s)Y(t)] 为{(X(t), (t)) ∈T}的互相关函数. ( ),Y( )),t ), )) 若对于任意的s,t∈T, RXY(s,t)=0,称{X(t)}与 () {Y(t)}正交. ()

2010-7-26

28

(2)互协方差函数: :

[ 称 C XY ( s , t ) = E { X ( s ) X ( s )][ X ( t ) Y ( t )]}
为{(X(t), (t)) ∈T}的互协方差函数. ),Y( )),t ( ), )) 显然

C XY ( s, t ) = R XY ( s, t ) X ( t ) Y ( t )

若对于任意的s,t∈T,有CXY(s,t)=0, 称{X(t)}, () {Y(t)}不相关. () 若{X(t)},{Y(t)}相互独立,且二阶矩存在, () () 则{X(t)},{Y(t)}不相关. () () 29

2010-7-26

例6: 设有两个随机过程X(t)=g1(t+ε )和Y(t)= 2(t +ε ),其 )=g () ( )=
中g1(t )和g2(t )都是周期为L的周期函数,ε 是在(0, )上 (0,L) (0, 服从均匀分布的随机变量.求互相关函数RXY(s,t)的表达 式. 解: R XY ( s, t ) = E[ X ( s ) X ( t )] = E[ g1 ( s + ε ) g 2 ( t + ε )] L 1 = ∫ g 1 ( s + x )g 2 ( t + x ) dx 0 L 令v=s+x , 利用g1(t )和g2(t )的周期性,有 1 S+L R XY ( s , t ) = ∫ g 1 (v )g 2 ( t s + x )dv L S
1 L = ∫ g 1 ( v )g 2 ( t s + v )dv L 0
2010-7-26

30

例7: 设X(t)为信号过程,Y(t)为噪声过程,令 () ()
W(t)=X(t)+Y(t),则 () () () (1) W(t)的均值函数为 W(t)= X(t)+ Y(t). () (2) 其自相关函数为 RW(s,t)=E{[X(s)+Y(s)][X(t)+Y(t)]} ( ( () () =RX(s,t)+RXY(s,t)+RYX(s,t)+RY(s,t) 两个随机过程的之和的自相关函数为各个随机过程 的相关函数与它们的互相关函数之和.若两个随机过程 的均值函数均恒为零,且互不相关时,有 RW(s,t)= Rx(s,t)+RY(s,t)
2010-7-26

31

目录 马尔可夫过程
马尔可夫过程及其概率分布 多步转移概率的确定 遍历性 平稳分布的定义

2010-7-26

32

一.马尔可夫过程及其概率分布
对任意n ≥ 3, t1 < t2 < < tn , x1 ,..., xn
= P { X (tn ) ≤ xn | X ( tn 1 ) = xn 1} P { X (tn ) ≤ xn | X ( t1 ) = x1 X ( tn 1 ) = xn 1}

则称过程 { X (t ), t ∈ T } 为马尔可夫过程.
33

2010-7-26

Markov性的直观含义 :
令A = { X (t1 ) = x1 ,..., X (tn 2 ) = xn 2 }........过去

B = { X (tn 1 ) = xn 1}.............现在 C = { X (tn ) ≤ xn }............将来

M arkov 性 : P (C | A B ) = P (C | B )
已知到现在为止的所有信息来预测将来, 则只与现在状态有关,与过去状态无关.
2010-7-26

34

如果{ X n; n = 0,1, 2,...}是状态离散 的Markov过程, 则称它为Markov链.
即对t1 < t2 < ... < tk < m < n, i1 ,..., ik , i, j ∈ I (状态空间) P{ X n = j | X t1 = i1 ,..., X tk = ik , X m = i} = P{ X n = j | X m = i} == pij ( m, n) 在m时处于状态i的条件下,到n时转移到状态j的转移概率
记为

2010-7-26

35

性质 : (1) pij (m, n) ≥ 0,

∑ p (m, n) = 1
j∈I ij

(2) pii (m, m) = 1, pij ( m, m) = 0若j ≠ i

对所有i, j , m, n, 若pij (m, n)只与i, j , n m有关时, 称为齐次Markov链

2010-7-26

36

记pij (k ) := pij (m, m + k ).................k步转移概率 记P (k ) := ( pij (k )) I × I .................k步转移概率矩阵 令pij := pij (1).................1步转移概率
P = P (1).................1步转移概率矩阵

2010-7-26

37

例1:(0-1传输系统)
X0 1 X1 2 X2



Xn-1

n

Xn



设各级的传真率为p,误码率为q=1-p.X0是初始输入,Xn 是第n级的输出(n≥1),那么{Xn,n=0,1,2…}是一随机过 程,状态空间I={0,1}. 当Xn=i为已知时,Xn+1所处的状态的概率分布只与Xn=i有 关,而与时刻n以前所处的状态无关,所以它是一个马氏 链,而且还是齐次的.
p j = i Pij = P ( X n +1 = j | X n = i ) = i, j = 0,1 q j ≠ i p P= q
2010-7-26

q p

38

1

2

3

4

5

例2:一维随机游动 一维随机游动.设一醉汉在I={1,2,3,4,5}作随机游 一维随机游动 动:如果现在位于点i(1<i<5),则下一时刻各以1/3的概率 向左或向右移动一格,或以 1/3的概率留在原处;如果现在 处于1(或5)这一点上,则下一时刻就以概率1移动到2(或4) 这点上,1和5这两点称为反射壁,这种游动称为带有两个反 射壁随机游动. 以Xn表示时刻n时的位置, 说明{Xn,n= 0,1,2 …}是一 齐次马氏链,并写出它的一步转移概率矩阵.

2010-7-26

39

1

2

3

4

5

解:

如果把1这点改为吸收壁,即Q一旦到达1 这一点, 则永远留在点1时,此时的转移概率矩阵为:
1 1 2 P=3 4 5
2010-7-26

2 1
1 3 1 3

3 4 0
1 3 1 3 1 3

5 0 0 0 1 3 0

1 1 1 2 1 3 P = 3 0 4 0 5 0

2 0
1 3 1 3

3 4 0
1 3 1 3 1 3

5 0 0 0 1 3 0

0 1 3 0 0 0

0 0
1 3 1 3

0 0
1 3 1 3

0 0

0 0

0

1

0

1

40

定义:记p j ( 0 ) = P { X 0 = a j } a j ∈ I , j = 1, 2, 称它为马氏链的初始分布. 马氏链在任一时刻n ∈ T = {0,1, 2,}的一维分布: p j ( n ) = P { X n = a j } a j ∈ I , j = 1, 2,
公式: P { X n = a j } = ∑ P { X 0 = ai , X n = a j }
i =1 ∞ ∞

= ∑ P { X 0 = ai } P { X n = a j | X 0 = ai }
i =1



p j ( n ) = ∑ pi ( 0 ) Pij ( n )
i =1



j = 1, 2,

2010-7-26

41

目录 马尔可夫过程
马尔可夫过程及其概率分布 多步转移概率的确定 遍历性 平稳分布的定义

2010-7-26

42

二.多步转移概率的确定 C K 方程
Pij ( u + v ) = ∑ Pik ( u ) Pkj ( v )
k =1 ∞

ak

aj

ai

0

s

s+u s+u +v

t

2010-7-26

43

C K 方程的证明:
全概率公式 ∞

Pij ( u + v ) = P { X ( s + u + v ) = a j | X ( s ) = ai }
k =1

=== ∑ P { X ( s + u ) = ak | X ( s ) = ai } × P { X ( s + u + v ) = a j | X ( s ) = ai , X ( s + u ) = ak }

===

马氏性

∑ P{X ( s + u) = a | X ( s) = a } × P{X ( s + u + v) = a | X ( s + u ) = a }
k =1 k i j k



===
2010-7-26

齐次性

∑ P (u ) P (v )
k =1 ik kj



证毕! 证毕!
44

( P (u )
i1

Pi 2 ( u ) Pi 3 ( u ) ) 是u步转移概率矩阵的第i行, P2 j ( v ) P3 j ( v ) ) 是v步转移概率矩阵的第j列,
T

( P (v)
1j

C K 方程可以写成矩阵形式: ( u + v ) = P ( u ) P ( v ) P

P ( n ) = P

n

有限维分布由初始分布与一步转移概率完全确定

2010-7-26

45

例1:设 { X n , n ≥ 0} 是具有三个状态0,1, 2的齐次马氏链, 一步转移概率矩阵为: 初始分布pi ( 0 ) = P { X 0 = i} = 1 3 i = 0,1, 2 试求:

0 1 2
3 4 1 4 1 2 3 4

(1) ( 2) ( 3)

P { X 0 = 0, X 2 P { X 2 = 1, X 4

0 1 = 1, X = 1} ; P = 1 4 2 0 = 1, X = 0 | X = 0}
4 5 0

0 1 4 1 4

P { X 2 = 1, X 4 = 1, X 5 = 0}
46

2010-7-26

解:由C K 方程可得二步转移概率矩阵为:
5 5 1 8 16 16 5 2 3 1 P ( 2 ) = P = 16 2 16 3 9 16 16 1 4 5 (1) P { X 0 = 0, X 2 = 1, X 4 = 1} = p0 ( 0 ) P01 ( 2 ) P11 ( 2 ) = 1 × 16 × 1 3 2

( 2)

P { X 2 = 1, X 4 = 1, X 5 = 0 | X 0 = 0} = P01 ( 2 ) P ( 2 ) P 11 10

= 5 96

= 5 ×1×1 = 5 16 2 4 128

( 3)

P { X 2 = 1, X 4 = 1, X 5 = 0} = P { X 2 = 1} P (2) P 11 10

= { p0 (0) P01 (2) + p1 (0) P (2) + p2 (0) P21 (2)}P (2) P 11 11 10 = 1 ( 5 + 1 + 9 ) × 1 × 1 = 11 3 16 2 16 2 4 192
2010-7-26

47

目录 马尔可夫过程
马尔可夫过程及其概率分布 多步转移概率的确定 遍历性 平稳分布的定义

2010-7-26

48

三. 遍历性
0 1 a P= 1 b
n

a 1 b

0 < a, b < 1

P00 ( n ) P (n) = P = 10 P (n)

b + a (1 a b )n P01 ( n ) a+b = P ( n ) b b (1 a b )n 11 a+b
n

n a a (1 a b ) a+b n a + b (1 a b ) a+b

当n → ∞时, a b ) → 0, (1
b 记为 π , 故 lim P00 ( n ) = lim P ( n ) = = 0 n →∞ n →∞ 10 a+b a 记为 π lim P ( n ) = lim P ( n ) = = 1 n →∞ 01 n →∞ 11 a+b
2010-7-26

49

上述极限的意义是: 对固定的状态j , 不管链在某一时刻从什么 状态i ( = 0或1)出发,通过长时间的转移,到达 状态j的概率都趋近于π j , 这就是遍历性. 又由于π 0 + π 1 = 1,所以 (π 0 , π 1 ) = π 构成一分布律, 称它为链的极限分布.
记为

2010-7-26

50

定义:设齐次马氏链的状态空间为I , 若对于所有 ai , a j ∈ I , 转移概率Pij ( n ) 存在极限:
lim Pij ( n ) = π j ( 不依赖于i ) 或
n →∞

π 1 π 1 P ( n ) = P n n →∞ → π 1 则称此链具有遍历性
j

π 2 π j π 2 π j
π 2 π j

又若∑ π j = 1, 则称π = (π1, π 2 ,) 为链的极限分布
2010-7-26

51

0 1 例1.P = , 0 1
则P = P → P
n

遍历

2010-7-26

52

0 例2.P = 1 1 2 则P = 0
所以P
2 n +1

1 , 0
0 1
2n

= P, P

=P

2

极限不存在,所以不遍历
2010-7-26

53

定理: (遍历性的一个充分条件) 状态有限的Markov链, 若存在m 使得Pij ( m ) > 0, i, j , 则此链具有遍历性. 则此链具有遍历性.

2010-7-26

54

在定理的条件下,马氏链的极限分布π 是满足

π =π P, π j > 0, ∑ π j = 1
的唯一解, 此时称π 为平稳分布, 平稳分布, 即π j = ∑ π i Pij

2010-7-26

55

由定理知,此链有遍历性;设极限分布π = (π 1 , π 2 , π 3 ),
π 1 = π 1 = 1 π 2 3 方程组 π 3 = 1 π 2 π 2 = 3 π + π + π = 1 π = 2 3 1 3
2010-7-26

例3:一质点在1,2,3三个点上作随机游动,1和3是 两个反射壁,当质点处于2时,下一时刻处于1,2,3 是等可能的.写出一步转移概率矩阵,判断此链是 否具有遍历性,若有,求出极限分布. 1 0 1 0 1 1 1 3 3 3 1 1 1 , 7 解:P = 2 3 3 3 P ( 2) = P2 = 1 9 1 , 9 9 3 0 1 0 1 1 1 3 3 3
1 5 3 5 1 5

56

解:P = 1 2 0

例4:一质点在1,2,3三个点上作随机游动,1和3是 两个反射壁,当质点处于2时,下一时刻转移到1和3 的概率各为.写出一步转移概率矩阵,判断此链是 否具有遍历性,若有,求出极限分布. 一般地, 0 1 0
0 1 , 0
1 2

P ( 2n + 1) = P,
1 2

P ( 2) = P2
0 P ( 3) = P ( 2 ) P = 1 2 0 2010-7-26 1 0 1

1 0 2 = 0 1 1 0 2 0 1 2 = P 0

故对任一固定的j j = 1, 2,3 , ( ) , 0 极限 lim Pij ( n ) 都不存在 1 n →∞ 2 按定义,此链不具有遍历性.

P ( 2n ) = P ( 2 ) .

57

目录 马尔可夫过程
马尔可夫过程及其概率分布 多步转移概率的确定 遍历性 平稳分布的定义

2010-7-26

58

四.平稳分布的意义
设初始分布为平稳分布π={π 1 , π 2, ...}, 则 ()所有X n的分布均为π, 1 (2)对k ≥ 2,(X n1 , …, X nk )的分布仅与 时间差n 2 n1 ,… , nk nk 1有关. 当初始分布为平稳分布时, Markov链为严平稳过程.
2010-7-26

59

证:(1)X n的分布为π P n = (π P) P n 1 = π P n 1 与X n 1的分布相同,所以所有X n的分布均为π . (2)P(X n1 = i1 , X n2 = i2 …, X nk = ik ) )P( = P( X n1 = i1 ) pi1,i2 (n2 n1 ) pi2,i3 (n3 n2 )...... pik 1,ik (nk nk 1 ) = π i1 pi1,i2 (n2 n1 ) pi2,i3 (n3 n2 )...... pik 1,ik (nk nk 1)

2010-7-26

60

例5:设有6个球(2个红球,4个白球)随机平分放入甲, 乙两个盒中.今每次从两盒中各任取一球并进行交换. X 0 表示开始时甲盒中的红球数,Xn(n>0)表示经n次交换 后甲盒中的红球数. (1)求此马氏链的初始分布; (2)求一步转移概率矩阵; (3)计算 P ( X 0 = 1, X 2 = 1, X 4 = 0), P ( X 2 = 2) ; (4)判断此链是否具有遍历性,若有,求出极限分布.
2010-7-26

61

3 3 1 2 3 解:(1)P ( X 0 = 0) = C4 C6 = 1 5, P( X 0 = 1) = C2C4 C6 = 3 5, 2 1 3 P( X 0 = 2) = C2 C4 C6 = 1 5,

1 2 0 即:X 0 ~ 1 5 3 5 1 5
0 1 3 2 3 0 (2) P = 1 2 9 5 9 2 9 , 2 0 2 3 1 3
0 (3) P(2) = 1 7 27 16 27 4 27 16 81 49 81 16 81 , 2 4 27 16 27 7 27

P ( X 0 = 1, X 2 = 1, X 4 = 0) = P( X 0 = 1) P (2) P (2) 11 10
= 3 5 × 49 81×16 81 = 2352 32805 = 0.072
P( X 2 = 2) = P( X 0 = 0) P02 (2) + P ( X 0 = 1) P (2) + P( X 0 = 2) P22 (2) 12

= 1 5 × 4 27 + 3 5 ×16 81 + 1 5 × 7 27 = 1 5 = 0.2
2010-7-26

62

0 (4) P = 1 2

1 3 2 3 0 0 2 9 5 9 2 9 , P (2) = 1 0 2 3 1 3 2

7 27 16 27 4 27 16 81 49 81 16 81 , 4 27 16 27 7 27

设极限分布π = (π 0 , π 1 , π 2 ), 由定理知,此链有遍历性;
2 π 0 = 1 π 0 + 9 π 1 3 5 π1 = 2 π 0 + 9 π1 + 2 π 2 3 3 方程组 2 π 2 = 9 π1 + 1 π 2 3 π + π + π = 1 0 1 2

5 π1 = 3 5 π2 = 1 5
63

π0 = 1

2010-7-26

课件结束! 课件结束

2010-7-26

64


相关文章:
随机过程与马尔可夫过程_图文.ppt
随机过程与马尔可夫过程 - 随机过程与马尔可夫过程 2018/9/2 1 目录
随机过程-2马尔可夫过程.ppt
随机过程-2马尔可夫过程_数学_自然科学_专业资料。随机过程硕士研究生学位课程《应用数学基础》 马尔可夫过程 (Markoff process) (演示文稿) 主讲教师 段禅伦 2008年...
随机过程马尔可夫过程的应用.doc
随机过程马尔可夫过程的应用 - 随机过程马尔可夫过程的应用 年级:201
随机过程-马尔可夫过程应用.pdf
随机过程-马尔可夫过程应用 - 马尔可夫过程的应用 1 马氏过程概念及定义 马尔可夫过程,也称为“健忘”过程,是在20世纪初由前苏联学者马尔可 夫在研究随机过程中得到...
应用随机过程-马尔可夫过程的发展和应用.doc
60 年代,法国学派基于马尔可夫过程和位势 理论中的一些思想与结果,在相当大的程度上发展了随机过程的一般理论,包括截口定 理与过程的投影理论等,中国学者在平稳过程...
随机过程作业马尔可夫过程._图文.ppt
随机过程作业马尔可夫过程. - 马尔可夫过程 随机过程要点回顾 随机过程 从统计特性上分析随机过程性质 x1(t) x2(t) x3(t) x4(t) t1 f(x,t) x t2 t3 ....
第五章 随机过程中的马尔可夫过程_图文.ppt
2006年9月 陕西师范大学物理学与信息技术学院 《随机过程》 5.1 马尔可夫过程的定义设随机过程 { X (t ); t ? T } 的状态空间 S 可列或有限,...
随机过程与马尔可夫过程.ppt
随机过程与马尔可夫过程_工学_高等教育_教育专区。这个PPT是对随机过程和马尔可夫过程的一个概述。随机过程与马尔可夫过程 2010-7-26 1 目录 随机过程引言 随机过程...
马尔可夫过程的发展和应用.doc
60 年代,法国学派基于马尔可夫过程和位势 理论中的一些思想与结果,在相当大的程度上发展了随机过程的一般理论,包括截口定 理与过程的投影理论等,中国学者在平稳过程...
随机过程_马尔可夫过程-1_图文.ppt
马尔可夫过程的概念 5.1.1 有关定义随机过程马尔可夫性:(物理描述)当随机过程在时刻 ti 所处的状态为已知的条件下,过 程在时刻 t(>ti)所处的状态,与过程在...
几种常用的随机过程.doc
几种常用的随机过程 - 第十讲 几种常用的随机过程 10.1 马尔可夫过程 10.1.1 马尔可夫序列 马尔可夫序列是指时间参数离散,状态 连续的马尔可夫过程。 一个随机...
随机过程第五章_图文.ppt
随机过程第五章_数学_自然科学_专业资料。第五章:连续时间的马尔可夫链连续...I 分别称{pj(t),j∈I}和{pj,j∈I}为齐次马尔可夫过程的绝对概率分布和...
概率论与随机过程考点总结.doc
也可以根据 X (t ) 之间的概率关系分类, 如独立增量过程, 马尔可夫过程,平稳过程等。 2.随机过程的分布律和数字特征 用有限维分布函数族来刻划随机过程的统计...
随机过程_马尔可夫过程-2_图文.ppt
随机过程_马尔可夫过程-2_数学_自然科学_专业资料。5 马尔可夫过程马尔可夫过程的概念 离散参数马尔可夫链连续参数马尔可夫链 生灭过程及应用 5 马尔可夫过程有限维...
随机过程课件-马尔可夫链_图文.ppt
随机过程课件-马尔可夫链 - 第十一章 马尔可夫链 关键词: 马尔可夫性 时齐马尔可夫链 n步转移概率 C-K方程 马氏链的有限维分布律 常返 暂留 正常返 零常...
应用随机过程-马尔可夫过程的发展和应用.doc
应用随机过程-马尔可夫过程的发展和应用 - Harbin Institute o
随机过程与数学建模.ppt
随机过程与数学建模 吉林大学 方沛辰 1.随机型问题随机性和确定性是一对矛盾,...维纳过程是平稳独立增量过程。 维纳过程是正态过程。 维纳过程是马尔可夫过程。 ...
随机过程-正态马尔可夫过程_图文.ppt
随机过程-正态马尔可夫过程 - §3.3 正态马尔可夫过程 3.3.1 高斯随机过程 如果随机过程{ ξ(t),t∈T }的任意有限维分布都是正 ,∈ 态分布,则称之为“...
随机过程 第4章 马尔可夫链_图文.pdf
马尔可夫序列 ? ? 纯不连续马尔可夫过程 ? ? 连续马尔可夫过程(或扩散过程) ? 7.1 马尔可夫链的概念及转移概率 [定义] 设有随机过程 { Xn , n ?T }, ...
随机过程 第五章 连续时间的马尔可夫链.doc
随机过程 第五章 连续时间的马尔可夫链_工学_高等教育_教育专区。刘次华的随机...定理 5.2 齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质: (1) p ...
更多相关标签: