贝尔曼方程（Bellman Equation）
贝尔曼方程（Bellman Equation）是动态规划和强化学习中的核心概念，用于描述最优决策问题中的价值函数的递归关系。它为状态值函数和动作值函数提供了一个重要的递推公式，帮助我们计算每个状态或状态-动作对的预期回报。
贝尔曼方程的原理
贝尔曼方程基于一个基本的思想：某个状态的价值等于在该状态下可获得的即时奖励，加上从该状态出发未来所有可能路径的折扣回报的期望值。这一思想可以应用于状态值函数和动作值函数。
状态值函数 V(s)
状态值函数 V(s) 表示在状态 𝑠下开始，按照某个策略 π 行动时的期望总回报。贝尔曼方程将状态值函数定义为：
贝尔曼方程的意思是，当前状态的价值等于当前即时奖励，加上在未来状态的折扣价值的期望。
动作值函数 Q(s,a)
动作值函数 Q(s,a) 表示在状态 s 下采取动作 a，然后按照策略 π 行动时的期望总回报。贝尔曼方程将动作值函数定义为：
其中：
- Q(s,a) 是在状态 s 执行动作 a 后的价值。
- 其他符号含义同上。
对于最优策略 π∗ ，贝尔曼方程可以进
