On-policy vs Off-policy

• 今天跟环境互动，并学习是on-policy

• 只是在旁边看，就是Off-policy
  

• 从p中选q个重要的，需要加一个weight p(x)/q(x)

• p和q不能相差太多
  
  

• 采样数太少导致分布差很多，导致weight发生变化

On-Policy -> Off-Policy

得到新的loss函数

PPO

• 衡量$\theta$和${\theta }^{\prime }$之间的kl散度，衡量二者行为上的相似性，而不是参数上的相似性

• Adaptive KL Penalty

• 绿色的线是第一项，蓝色是第二项