SAC（Soft Actor-Critic）是一种深度强化学习算法，结合了最大熵强化学习和基于策略梯度的方法。SAC通过最大化期望回报和策略熵，使得策略既能探索环境又能利用已知信息，从而提高了策略的稳定性和性能。
SAC的基本概念
-
强化学习（RL）：
强化学习旨在通过与环境交互，学习能够最大化累积奖励的策略。常用的强化学习框架包括状态（state）、动作（action）、奖励（reward）和策略（policy）。 -
最大熵强化学习：
最大熵方法在优化目标中加入了策略的熵，以鼓励策略在同样能获得高回报的情况下保持高熵（即随机性），从而促进探索。 -
策略梯度方法：
基于策略梯度的方法直接优化策略，使得动作的选择依赖于参数化的策略模型。
SAC的工作原理
-
环境交互：
- 策略网络根据当前状态生成动作，与环境交互，收集状态、动作、奖励和下一个状态。
-
经验回放：
- 将收集到的经验存储在经验回放缓冲区中，批量采样用于更新网络。
-
更新Q网络：
- 计算目标Q值，公式如下ÿ
