EAAI 2023
paper

Intro

model-free的离线强化学习由于价值函数估计问题存在训练的稳定性以及鲁棒性较低。本文提出基于模型的方法，同构构建稳定的动力学模型帮助策略的稳定训练。

method

本文基于模型的方法，所构造的转移模型输入状态动作，输出的状态差异$\Delta s=s_{t+1}-s_t$而非直接预测下一状态值。
$$L(\varphi )=\sum _t\Vert f_{\varphi }(s_t,a_t)-\frac{(s_{t+1}-s_t)-{\mu }^{\Delta \mathbf{s}}}{{\sigma }^{\Delta \mathbf{s}}}{\Vert }_2$$

文章假设转移误差符合分布$(s^{\prime }-\widehat{s^{\prime }})\sim \mathcal{N}(0,-\log p_{e,\beta }(s,a))$。最小化模型误差的等价于如下
$$\begin{array}{rl}& \underset{\theta }{\mathrm{argmin}}\mathbb{E}[(s^{\prime }-\widehat{s^{\prime }}{)}^2]\\ & =\underset{\theta }{\mathrm{argmin}}\mathbb{E}[-\log p_{e,\beta }(\hat{s},\hat{a})]\\ & =\underset{\theta }{\mathrm{argmax}}\mathbb{E}[p_{e,\beta }(\hat{s},\hat{a})]\\ & =\underset{\theta }{\mathrm{argmax}}\mathbb{E}[{\mu }_{\beta }^e(\hat{s})\beta (\hat{a}|\hat{s})]\end{array}$$

进一步，文章利用一个VAE近似${\mu }_{\beta }^e(\hat{s})\beta (\hat{a}|\hat{s})$，通过最小化ELBO实现参数优化
$$\begin{gathered} L(\omega )={\mathbb{E}}_{q_{\omega }(z|s,a)}[-\log p_{\omega }(s,a|z)]+D_{KL}(q_{\omega }(z|s,a)||p(z)) \\ p(z)\sim \mathcal{N}(0,1) \end{gathered}$$
然后通过最小化累计负对数似然，利用该模型限制策略以产生让模型偏差最小化的样本
$$\mathbb{E}[P]=\sum _t{\mathbb{E}}_{q_{\omega }(z|s,a),(s,a)\sim \pi ,f}[-\log p_{\omega }(s,a|z)]$$

同时，基于离线数据构建集成模型预测奖励函数，使得确定性策略下的模型预测结果为保守的估计
$$\begin{gathered} \mathbb{E}[R]=\eta \underset{k}{\min }\left\{\sum _t{\gamma }^{t}r(s_t,{\pi }_{\theta }(s_t),f_k(s_t,{\pi }_{\theta }(s_t)))\right\} \\ +(1-\eta )\frac{1}{K}\sum _k\left[\sum _t{\gamma }^{t}r(s_t,{\pi }_{\theta }(s_t),f_k(s_t,{\pi }_{\theta }(s_t)))\right] \end{gathered}$$
奖励模型与状态转移模型联合作为正则化项优化策略:$L(\theta )=-\lambda \mathbb{E}[R]+(1-\lambda )\mathbb{E}[P]$

伪代码