总体思路

• 作者首先指出大语言模型虽然取得了很好的效果，但是仍然存在幻觉和时间顺序混乱的问题，因此需要额外知识库和LLM内部知识库相结合，来修正；
• 因此优化传统的retriever-reader的方案成为需要；
• 目前的研究方案当中使用prompt优化的方法是黑盒的不可修改；
• 因此作者提出了采用大模型重写query的rewrite的方法来优化；
• 同时作者也提出这种重写的方法可以不是局限于大语言模型的，直接使用可训练的语言模型也能完成相关任务；
• 在实验当中这种方法对下游任务reader的效果取得了良好的效果。（也就是没有直接评测，而是评测了下游任务）
  直接看这个图大致就可以获得作者提出的方案和原始方案的区别了。

训练细节

• 作者基础版本的使用LLM的rewriter当中也是使用meta-prompt进行query改写；
• 作者在训练版本使用了T5作为被训练模型，在开始真正训练之前，因为T5模型本身不能完成这个query获取的任务，因此先使用pseudo数据进行训练，使得其具有这个能力，这些数据就是上一步LLM实现query改写获得的数据；
• 在训练的过程中主要有几个组成：状态（序列×字母可能性）、动作、概率（实际上的改写策略，默认是上一步预热得到的模型）、reward（使用结果得出的结论）、γ（最终得到的reader输出结果，有无限多种）的强化学习方法