马尔科夫模型是一种概率图模型,它描述了一类重要的随机过程(随机过程又称为随机函数,是随时间而随机变化的过程)。我们常常需要考察一个随机变量序列,这些随机变量序列并不是相互独立的,每个随机变量的值都依赖于这个序列前边的状态。
如果一个系统有N个有限状态
系统在时间
t 处于状态sj的概率取决于其在时间1,2…,t−1的状态,该概率为:
P(qt=sj|qt−1=si,qt−2=sk,…)如果在特定的条件下,系统在时间t的状态只与它之前
t−1 的状态有关,即
P(qt=sj|qt−1=si,qt−2=sk,…)=P(qt=sj|qt−1=si)(1)
则该系统构成一个离散的 一阶马尔科夫链。如果只考虑(1)式独立于时间t的随机过程:
P(qt=sj|qt−1=si)=aij,其中,1≤i,j≤N
则该随机过程称为马尔科夫模型。其中,状态转移概率aij满足以下条件:
aij≥0∑j=1Naij=1
显然,有 N个状态的一阶马尔科夫过程有N2 次状态转移,状态转移概率可以表示为一个状态转移矩阵。马尔科夫模型可以视为随机的有限状态机。