对于围棋, 如果某个时刻形成了一个局面, 那么以后棋局的进展与这个局面是怎么形成的应该说是无关的. 我的意思是说, 可能有很多不同的途径形成同一个局面. 如果两个棋手都是心理素质超好的人, 那么他们就会忘掉这个局面 形成的过程而专心于后面的比赛, 从而后面的比赛不会受前面过程的影响.

注释：当然, 现实的情况是, 心理素质完美无缺的人是很难见到的, 也许只有机器人能做到这 一点. 说到这点, 我们知道, 现在的围棋人机大战中, 机器已经完胜人类了, 而机 器下棋的过程, 就是依赖Markov过程做出决定的过程.

醉汉, 花粉, 柳䋈, 落叶, 围棋…, 这些物体的运动和人类的活动, 都有一 个共同的特点, 即站在现在的位置, 过去的历程无法影响末来的运动, 而末来的运 动只与现在的状态有关: 恰便似从前种种譬如昨日死, 以后种种譬如今日生.

而这种与现在的状态有关的运动, 也不是传统运动学或动力学意义上的有关: 现在的状态并不能完全确定以后的精确运动轨迹, 而只能给出沿什么轨迹运动的概率.

这样的运动过程, 我们称为Markov过程; 这个概率, 称为转移概率.

Markov过程的重要意义: 马氏过程是实际问题的数学模型, 而对它的研究则极大地丰富了概率论的基础理论, 同时催生了许多重要的研究领域, 例如随机积分与随机微分 方程理论的直接动因是构造具有给定的无穷小生成元的Markov过程的轨道.

理论的发展又反过来服务于实践: 例如, 今天, Markov过程已成为人工智能理论和实践不可或缺的部分, 在深度学习、信息存储、决策等方面发挥着越来越重要的作用.

1. 马氏过程与转移概率

1.1. Markov过程

定义5.2.1 (Markov过程) 设