强化学习的数学原理：时序差分算法

概述

之前第五次课时学习的蒙特卡洛的方法是全课程当中第一次介绍的第一种 model-free 的方法，而本次课的 Temporal-Difference Learning 简称 TD learning （时序差分算法）就是第二种 model-free 的方法。而对于蒙特卡洛方法其是一种 non-incremental 的方法，而 TD 则是一种 incremental 的方法。

另外下一节课讲 Value Function Approximation 值函数近似这一节时，也是基于本节课要讲的 TD 方法，只不过本节课的 TD 方法是基于 table 的，即 tabular representation（表格表示法）。而下一节课的则是基于 function 的 representation。非常经典的 Deep Q learning 也会在下一节课中介绍。

本节课大纲如下：

在这里插入图片描述

Motivating examples

在这一部分我们会考虑几个例子，然后使用上节课中的 RM 算法来进行求解，这是为了建立上节课和这节课之间的关系，这样就不会在学习 TD 算法的时候觉得唐突了。

在这里插入图片描述

小结一下：

在这里插入图片描述

TD learning of state values

接下来我们介绍第一种 TD 算法，对于 TD 算法我们首先要明确它是在干嘛，它是在求解一个给定的策略 Π 的 state value，为什么要求解这个 state value 呢？是因为求解出来之后我们就做了 policy evaluation，那么之后和 policy improvement 相结合，我们就可以去找最优的策略了。

首先要注意的是，TD 算法其实既可以指一大类的这样一个算法，像本节课讲的所有算法都属于 TD 算法，包括 Q-learning，但是我们接下来要讲的这个 TD 算法是最经典最原始的一种 TD 算法，其就是用来估计 state value 的，有一个非常明确的表达式，所以这个时候的 TD 算法指的是一个特定的算法，要注意区分。

直接给出该算法，然后再慢慢分析：

在这里插入图片描述

可以看见上图中 TD 算法有两个式子，其中第一个表达式后面会说，先看第二个表达式，第二个式子的意思是在 t 时刻的时候不是已经访问了 st 了吗？那么所有其它的状态都没有被访问，那所有没被访问的话它的 v 是保持不动的，所以 V(t+1)(s) = V(t)。实际上平时在其它地方看到 TD 算法的时候是看不到第二个式子的，因为第二个式子是隐含掉了。

那么接下来仔细分析一下第一个式子：

在这里插入图片描述

接下来我们分析 TD target 和 TD error 该怎么理解。

在这里插入图片描述

下面是 TD 算法的一些基本的性质：

在这里插入图片描述

TD 算法究竟在干一个什么事情呢？它实际上就是我要给定一个策略，然后我要估计出它的 state value，所以我们刚才介绍的这个 TD 算法它只是来估计 state value，只是来做 policy evaluation 这个事情，那么它不能做什么呢？它不能来估计 action value，它也不能直接搜索到最优的策略。

但是在这个基础之上，我们马上会介绍一系列的 TD 算法，然后它们能够来估计 action value，并且和 policy improvement 的这一个步骤相结合，就能够来搜索最优的策略。

因此刚才所介绍的这个 TD 算法虽然非常简单，但是它是后面一系列算法的基础。

最后再从数学上来看一下 TD 算法到底在干什么：

在这里插入图片描述

其实就是为了解决在没有模型的情况下求解一个给定策略 Π 的贝尔曼公式。

接下来就是一些数学证明：

在这里插入图片描述

TD learning of action values：Sarsa

在这里插入图片描述

在上一小节当中我们介绍的 TD 算法是用来估计一个给定策略的 state value。我们知道在我们要去改进策略的时候我们是需要估计出 action value 的，这样哪一个 action value 大我们就选择哪一个作为新的策略。而上一节中的 TD 算法显然不能估计 action value，因此我们使用到 Sarsa 算法来完成这个事情。

Sarsa 估计出来 action value 之后其实际上在做的也就是 policy evaluation，就是你给我一个策略我怎么把策略的 action value 给估计出来，但这个还是不能找到最优的策略，而强化学习的目的是要找到最优的策略，怎么办？可以把 Sarsa policy evaluation 这个算法和 policy improvement 那个算法相结合起来，这样就可以找到最优的策略。

在这里插入图片描述

下面就是将 Sarsa 和 policy improvement 结合起来实现的伪代码：

在这里插入图片描述

大多数情况下大家听到的 Sarsa 算法基本都是把 policy evaluation 和 policy improvement 这两个结合之后的方法。

在这里插入图片描述

例子例证 Sarsa：

在这里插入图片描述

TD learning of action values： Expected Sarsa

在这里插入图片描述

TD learning of action values： N-step Sarsa

在这里插入图片描述

TD learning of action values： Q-Learning

接下来就来到了 Q-learning，万众瞩目的时刻，Q-learning 是非常非常经典的一种算法，直到今天Q-learning也在被广泛地使用，当然指的是 Deep Q-learning，也就是 Q-learning 的一种变形。

Q-learning 和 Sarsa 以及之前介绍的算法主要有什么区别呢？

从数学上说，Q-learning 是直接估计 optimal action value，所以它不需要去做 policy evaluation 和 policy improvement 这两个之间来回交替运行，因为它直接就把最优的 action value 给估计出来了。

在这里插入图片描述

Q-learning 求解的是贝尔曼最优方程，但是这个贝尔曼最优方程和之前所介绍的贝尔曼最优方程不一样，这里面第一个是它有一个 expectation，第二个是它不是基于 state value 而是基于 action value的。尽管如此，但它依然是一个贝尔曼最优方程，证明可以参考赵老师的书籍。

我们只要知道 Q-learning 实际上就是求解这样一个贝尔曼最优公式就行了，其最后求解得到的 q 值并非是说哪一个策略的 q 值而是最优的 q 值。当然这个最优的 q 值是对应的最优的那个策略。

下面再介绍一些 Q-learning 的性质：

在这里插入图片描述