基本元素
- 状态集:表示智能体所处所有状态的全部可能性的集合。类似的集合,行为集,回报集
- 决策:规定我在某个状态下,我做出某个action
- 马尔可夫链:学术上来说是无记忆性质。说白了就是我只在乎我目前的状态。比如说我有一个trajectory,他走到了某个状态s1.那我只关心他目前已经到了s1,并且我考虑的也只有s1这个状态,至于他怎么到的s1我不关心。也就是跟到s1的过去无关,所以叫无记忆性质。
例子
用迷宫游戏很好理解。游戏规则就是我需要走到S9蓝色位置,黄色位置都是墙不能走。然后我每一个位置我都可以上下左右不动,五种操作。然后目标就是我尽量越短越好。
首先需要对环境进行抽象,环境很简单,我目前棋子处于哪个位置。所以state就是棋盘上的位置。然后按照规则,行为就是上下左右不动。
决策就是指规定了每一个位置应该做出那个action。
然后决策微观一点来看,就是规定我在某个状态需要进行如何action,所以我关心的是我在这个state需要往哪走,而不会关心我怎么来的到了这个state。所以这个就具备了这个马尔可夫的性质。
至于怎么找到最优的决策这不是我要关心的。但每一个决策都具备这个马尔科夫的这个性质。
MDP可以理解为如此。只要我的决策确定下来了,那么就规定了我一个状态我需要做那个行动转移到另外一个状态。并且我的这个action只参照于我所处的状态。