前言

        在强化学习（Reinforcement Learning, RL）中，策略训练需要大量的交互数据（状态、动作、奖励、下一状态），而这些数据通常来自仿真器或真实硬件。传统高保真仿真器虽然能在一定程度上模拟飞行器的动力学，但往往计算量大、开发成本高，且仍可能与真实环境存在差距。为此，使用数据驱动模型替代仿真器成为一种日益受到关注的方案，既能在训练过程中减少对真实硬件的依赖，又能快速迭代策略以适应复杂、多变的飞行环境。

---

1. 背景：仿真器在强化学习中的作用

1.1 仿真器的角色

        • 强化学习中的策略优化需要大量交互数据。

        • 初期通常在仿真环境中收集数据，避免对真实硬件或实验场景造成损耗或危险。

1.2 仿真器的优点

        • 安全、低成本的训练环境。

        • 大幅减少早期对真实飞行器测试的需求。

1.3 仿真器的局限

        • 高保真仿真器计算量大：非定常气动力、复杂执行器模型都会增加模拟时间。

        • 精度有限：无法完美复刻真