马尔可夫链笔记

1 引言

之前学习了伯努利过程和泊松过程,它们是无记忆性,不依赖于过去的状态,今天学习了马尔可夫链,它会依赖于过去的过程,更准确的说是依赖于过去的某种状态。

2 离散时间的马尔可夫链(Markov Chain, MC)

在这里插入图片描述

另一种是转移概率图(transition probability graph),类似:
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3 状态分类

一些状态被访问一次后,一定还会被继续访问,而对于另一些状态来说却不是这样的。我们来给我们的状态的可访问性提供一些严格的定义。
在这里插入图片描述
  如果i是常返的,A(i)可以称作常返类,A(i)中的所有状态都是相互可达的,A(i)之外的状态不是从这些状态可达的。用数学语言表达就是对任意的j∈A(i),有A(i)=A(j)。上图状态3和4可以是一个常返类,状态1自身形成一个常返类。
  我们还可以发现一个直观的事实,从任何一个非常返状态出发,至少有一个常返状态是从它可达的,对于一个马尔可夫链至少存在一个常返状态、从而也就至少存在一个常返类.所以,我们可以得到以下结论:

  • 一个马尔可夫链的状态集合可以分解成一个或多个常返类,加上可能的一些非常返状态。
  • 一个常返态从它所属的类里任何一个状态出发是可达的。
  • 从任何一个常返状态出发都不可到达非常返状态。
  • 从一个非常返状态出发,至少有一个常返状态是可达的。

下图我们举了一些例子:
在这里插入图片描述
  我们可以总结出这些规律:

  • 一旦一个状态进入(或开始于)一个常返类,它将停留在这个类里,因为在这个类里的所有状态都是相互可达的,类里所有状态将被无限次的回访。
  • 如果初始状态是非常返的,那么状态转移的路径开始部分包含非常返状态,最后一定是由来自同一个类的常返状态组成的。
    在这里插入图片描述

所以,在一个有周期的常返类中,我们从子集的一个状态出发,一次通过每一个子集,经过d步后又重新回到原来的子集。
  我们还有一个更简单的办法来判断一个常返类是非周期的。给定一个有周期的常返类,对于链中任意一个正时刻n,以及类中的状态i,则必存在一个或多个状态j使得rij(n)=0。原因是从状态i出发,时刻n只可能到达其中一个集合Sk。所以要证明一个给定的常返类R是非周期的,只需验证是否存在一个特定的时刻n≥1和特定的状态i∈R,使得经过n步以后,可以到达R中所有的状态,也就是说,对于所有的j∈R有rij(n)>0。反过来说也是对的,即类R如果是非周期的,当且仅当存在时刻n使得对于任何i,j∈R满足rij(n)>0。

4 稳定性质

我们之前说过,当n非常大时,rij(n)有渐进行为。如果有两个或者更多个常返状态类,很显然rij(n)的极限值一定依赖于初始状态(未来访问j的概率依赖于状态j是否和初始状态i处于相同的类),所以我们将链限定于只有一个常返类,再加上一些可能存在的非常返状态。对于单个常返类的情况研究清楚以后,多个常返类的情况也就变得简单明白了。因为我们知道,一旦状态进入一个特定的常返类,它将一直处于这个类中。所以,可以利用单一类链的渐近行为去理解具有多个常返类的马尔可夫链的渐近行为。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

长期频率概率

考虑一个与机器相关的马尔可夫链,每天工作结束的时候机器有两种状态,正常工作或出现故障,每次出现故障时,就立即花1美元进行维修。我们应该如何建立模型,计算长期的每天平均修理费?

  • 一种可能是将它看成未来任意一天的修理费的均值,这就需要计算故障状态的稳态概率。
  • 另一种方法是首先可以计算n天内的总期望花费,当n很大时再除以n。
    在这里插入图片描述

生灭过程(birth and death process)

我们来谈谈生灭过程,一个生灭过程也是马尔可夫链,它的状态是线性排列的,生灭过程的状态空间为{0,1,⋯,m},且转移只发生在相邻状态之间,或者状态保持不变。实际生活中的排队论就是一个例子。下表示了一个生灭过程的一般结构,也介绍了转移概率的一般情况:

在这里插入图片描述

5 吸收概率(absorption probability)

前面我们考虑的是马尔可夫链的长期行为,下面我们将学习马尔可夫链的短期行为。
  考虑开始于非常返状态的情形,我们感兴趣的是首次访问常返态的分布以及对应的到达时间的分布。在这种情况下,马尔可夫链的后续行为(到达常返态之后)是不重要的,所以我们重点讨论每一个常返态k为吸收的,即:
在这里插入图片描述
在这里插入图片描述

关于吸收概率方程组的解的唯一性这里就不单独证明了。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

6 连续的马尔可夫链

我们之前讨论的都是离散时间的马尔可夫链,假设状态都是在单位时间内发生的。接下来我们要考虑连续时间的马尔可夫链,它被用于很多按照连续时间到达的过程,例如通信网络中的分布中心,其中新信号的到达是按照泊松过程到达的。
  
  我们将考虑一个过程,它按照一定的转移概率从一个状态转移到下一个状态,但是我们令两次转移之间的时间是一个连续随机变量,假设状态的个数是有限的,状态空间是集合S={1,⋯,m},记Xn为第n次转移后的概率,Yn为第n次转移的时间,Tn为第n−1次转移和第n次转移的间隔时间。
  
  假设X0表示初始状态,令Y0=0,我们给出假设:

  • 如果当前状态是i,到下一个转移的时间服从已给参数vi的指数分布,且独立于之前的历史过程和下一个状态。
  • 如果当前状态是i,按照给定的概率pij到达下一个状态j,而且独立于之前的历史过程和转移到下一个状态的时间间隔。
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

7 Conclusion

马尔可夫链区别于一般随机过程的核心性质是转移概率pij的性质,在当前状态为i的条件下,下一个时刻为状态j的转移概率为pij,这与i所在的时刻是无关的,且独立于时刻以前的状态。所以,给定当前一个状态,未来的状态与过程的过去状态是相互独立的。
  马尔可夫链模型通常涉及到这几个问题:

有关有限时间上过程的统计量的问题。(C-K方程)
有关马尔可夫链的稳态概率的问题。(常返的,周期的,平衡方程组,归一化方程)
有关马尔可夫链的状态转移性质的问题。(吸收概率,平均首访和回访时间)
  最后我们也考虑连续时间的马尔可夫链在这类模型中,给定当前状态下,下一个状态由类似于离散时间的马尔可夫链的相同机制所决定。但是,直到下个转移发生的时间是指数型随机变量,参数只依赖于当前状态连续时间的马尔可夫链在许多方面可以类比离散时间的马尔可夫链,它们具有相同的马尔可夫性质(在给定当前情况下,未来与过去独立)。事实上,人们可以将连续时间的马尔可夫链看成 时间轴上进行细分离散化的离散时间的马尔可夫链。建立这个联系后,连续时间的马尔可夫链与离散时间的马尔可夫链的稳态特性是相似的:假设只有一个常返类,那么处于任何状态的概率,当时间趋于无穷的时候都收敛于一个稳态概率,而且该概率不依赖于初始状态稳态概率可以通过求解平衡方程组和归一化方程得到。

8 Refer

  • 概率导论https://book.douban.com/subject/26694188/

原文: http://chengfeng96.com/blog/2019/04/28/马尔可夫链笔记/  作者: Hazza Cheng

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/345500.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【渝粤题库】国家开放大学2021春2768养禽技术题目

试卷代号: 2768 2021年春季学期期末统一考试 养禽技术 试题 2021年7月 一、单项选择题(每小题3分,共30分) 1.下列品种中属于兼用型鸭品种的是( )。 A.高邮鸭 B.北京鸭 C.绍兴鸭 D.金定鸭 2.鸡的第一限制性氨基酸是( )。 A.蛋氨酸 …

【渝粤题库】国家开放大学2021春3608矿井水害防治题目

试卷代号:3608 2021年春季学期期末统一考试 矿井水害防治 试题 2021年7月 一、单项选择题(本题型共10题,每题3分,共30分。以下各题每题只有一个正确答案,将正确答案的代号填入题中的括号内) 1.划分为水文地…

解决气味

有时我们可能会在代码库中遇到一些巨大的if语句。 这些语句必须维护并一次又一次地更改相同的代码块。 在if语句检查变量是否属于某个值范围内的情况下,这也是常见的。 假设您有一个枚举 public enum FoodType {FRUIT,VEGETABLES,RED_MEAT,WHITE_MEAT,FISH,DIARY,…

「协方差」与「相关系数」的概念

一、协方差: 可以通俗的理解为:两个变量在变化过程中是同方向变化?还是反方向变化?同向或反向程度如何? 你变大,同时我也变大,说明两个变量是同向变化的,这时协方差就是正的。 你…

【渝粤题库】国家开放大学2021春3929电气安全技术题目

试卷代号:3929 2021年春季学期期末统一考试 电气安全技术 试题(开卷) 2021年7月 一、单选题(每小题3分,共30分) 1.定时过电流保护的动作电流应躲过( )。 A.线路末端的最大短路电流 B.线路末端的最小短路电流…

【渝粤题库】国家开放大学2021春4010渠道管理题目

试卷代号:4010 2021年春季学期期末统一考试 渠道管理 试题 2021年7月 一、单项选择题(在备选答案中,有一个正确答案,请将正确答案的字母填入括号内。每小题2分,共20分) 1.渠道管理人员一般位于企业的中低层…

在matlab中输出、读取多个文件

%% 输出及读取多个文件 % filepathD:\new\;%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% 输出多个文件 t_start 1; % start time t_end 100; % ending time min arr_rate 50; % data arrival rate at HAP******* for k1:5 M int2str(k); N .txt.; L ./; output [L M N];…

【渝粤题库】广东开放大学 外贸会计1 形成性考核

选择题 题目: 题干 下列选项中,属于反映会计信息的基本过程和手段的是()。 选择一项或多项: 题目: 当受益人对信用证开证行能否有效执行付款缺乏信心时,受益人可以要求开证申请人另外申请一家…

垃圾收集 java_关于Java垃圾收集

垃圾收集 java本文讨论的是使用的最流行的框架之一带来的开销–我敢打赌,几乎没有应用程序不使用java.util.Collections。 本文基于以下事实:框架为例如集合的初始大小提供了默认值。 因此,我们有一个假设,即大多数人不会费心地自…

在git bush中如何退出vim编辑器

编辑器有三种模式: 命令行模式末行模式输入模式 常用命令 按Esc退出输入模式进入命令行模式也是系统默认模式。 o,i,a都可以进入输入模式。在命令模式下键入ZZ或者:wq保存修改并且退出 。如果只想保存文件,则键入:w&#xff0c…

【渝粤题库】广东开放大学 互联网营销 形成性考核

选择题 题目:下面的哪个调研内容属于经济环境调研?() 题目:()的目的就是加强与客户的沟通,它是是网络媒体也是网络营销的最重要特性。 题目:4Ps策略中4P是指产品、价格、…

【渝粤题库】广东开放大学 信息安全数学基础 形成性考核 (2)

选择题 题目:2.设a,b都是非零整数,若a|p,b|a, 则( ) . 题目:3.大于20且小于50的素数有()个. 题目:4.下列四个选项中,( ) 是安全素数. 题目:5.设b6,则余数r ( )为最小正余数. 题目:16…

带Spring Boot的GWT

介绍 我最近一直在研究用Java编写UI代码的选项。 在我以前的文章中,我研究了Eclipse RAP,发现它可以与Spring Boot集成在一个可执行jar中。 这次我想对GWT做同样的技巧。 每个人都喜欢Spring Boot。 它使很多事情变得更加干净和容易。 但是从历史上看&a…

matlab中统计数组中各数字(元素)出现的次数

1. tabulate 调用MATLAB自带的函数tabulate统计一个数组中各数字(元素)出现的频数、频率 【例1】统计数值型数组中各元素出现的频数、频率。 >> x [2 2 6 5 2 3 2 4 3 4 3 4 4 4 4 2 26 0 4 7 2 5 8 3 1 3 2 5 3 …

【渝粤题库】广东开放大学 大学英语B 形成性考核

选择题 题目: Do you still get free plastic bags from the supermarkets? Things have changed. China has banned free plastic bags at shops and supermarkets, and people have to pay for using plastic bags. The rule started on June 1. It came becaus…

Latex \bibliographystyle+修改字体字号的大小

1. bibliography style LaTeX 标准选项及其样式共有以下8种: plain ,按字母的顺序排列,比较次序为作者、年度和标题. unsrt ,样式同plain,只是按照引用的先后排序. alpha ,用作者名首字母年份后两位作标号…

【渝粤题库】广东开放大学 文化产业经济学 形成性考核

选择题 题目:受传统文化影响,中国的父母生孩子的意义和其他国家截然不同。父母一方面节衣缩食给孩子提供最好的物质条件,一方面对孩子"四体不勤”给予最大的宽容。这说明()。 题目:当今国际竞争的实质…

【渝粤题库】广东开放大学 标准的研制与编制 形成性考核

​👉关注我,看答案👈 选择题 题目:采纳( )制定为本国标准,可将国外先进标准转化为国内标准。 题目:标准的编制包括了标准的( )及标准三稿的形成过程。 题目:编制标准通常在此前已有标…

boxplot

1. 简介 箱形图,又称为盒须图、盒式图、盒状图或箱线图,是一种用作显示一组数据分散情况资料的统计图。箱形图于1977年由美国著名统计学家约翰图基(John Tukey)发明。它能显示出一组数据的最大值、最小值、中位数、上下四分位数及…

【渝粤题库】广东开放大学 社会学基础 形成性考核

选择题 题目: 在1838年出版的《实证哲学教程》第四卷中,孔德第一次提出了"社会学”这一术语。( ) 选择一项: 题目: 家庭这种群体之所以经久不衰,就在于它具有满足人类个体和社会需求的一…