强化学习

策略网络输入状态s，输出动作a的概率分布如下： $$\pi (a|s)$$

多次训练轨迹如下

• r表示回报
• 横轴为T, 1个回合的步骤数
• 纵轴为N, 回合数，1行代表1条轨迹，符合概率分布P

$$\left[\begin{array}{c}{s}_{11}{a}_{11}{r}_{11}\dots \dots s_{1t}{a}_{1t}{r}_{1t}\dots \dots s_{1T}{a}_{1T}{r}_{1T}\\ \dots \dots \dots \dots \dots \dots \\ s_{n1}{a}_{n1}{r}_{n1}\dots \dots s_{nt}{a}_{nt}{r}_{nt}\dots \dots s_{nT}{a}_{nT}{r}_{nT}\\ \dots \dots \dots \dots \dots \dots \\ s_{N1}{a}_{N1}{r}_{N1}\dots \dots s_{Nt}{a}_{Nt}{r}_{Nt}\dots \dots s_{NT}{a}_{NT}{r}_{NT}\end{array}\right]$$

策略轨迹 $$\tau =s_1{a}_1,s_2{a}_2，\dots \dots ，s_T{a}_T$$

发生的概率
$$P(\tau )=P(s_1{a}_1,s_2{a}_2，\dots \dots ，s_T{a}_T)$$
$$=P(s_1)\pi (a_1|s_1)P(s_2|s_1,a_1)\pi (a_2|s_2)P(s_3|s_1,a_1,s_2,a_2)\dots \dots$$
$$=P(s_1)\prod _{t=1}^{T-1}\pi (a_t|s_t)P(s_{t+1}|s_1,a_1,......,s_t,a_t)$$

根据 马尔科夫性(Markov Property)，简化为：
$$P(\tau )=P(s_1)\prod _{t=1}^{T-1}\pi (a_t|s_t)P(s_{t+1}|s_t,a_t)$$