论文解读：Large Language Models as Analogical Reasoners

一、动机

大模型在各种类型的NLP任务上均展现出惊艳的表现。基于CoT propmt能够更好地激发大模型解决复杂推理问题的能力，例如解决数学解题，可以让模型生成reasoning path。现有的经典的CoT方法有few-shot cot、zero-shot cot等。
然后现有的cot面临两个核心挑战：
- 需要提供相关的exemplars作为指导；
- 需要尽可能减少人工标注的成本；
Zero-shot CoT避免了人工标注来引导推理，但是对于一些复杂的任务难以完成推理，例如code generation；而few-shot CoT则可以通过引入task相关的exemplar来让大模型生成相应的推理，但是此时则需要人工标注或挑选exemplar
因此引发一个研究问题：如何能够同时兼顾两者的优势？
本文提出一种“归纳学习”的提示方法。首先设计instruction让大模型生成出与当前问题比较相关的exemplars，并补全exemplars，最后让模型recall relevant problem and aolutions来解决当前的问题。

二、方法

本文关注problem-solving task。
给定一个问题 $x$ ，首先通过一个prompt method将问题映射到文本输入 $\phi(x)$ ，任务目标是调用LLM解决这个问题并生成目标答案 $y$ ，生成的目标答案可以包含reasoning path $r$ 和答案 $a$ 。

本文则是关注在设计 $\phi$ 。

Self-Generated Exemplars

**归纳提示学习（analogical prompting）**旨在模型在解决一个新的问题时，能够自发性地寻找相似的已有的知识。因此提出Self-Generated Exemplars方法，即让模型从在训练阶段掌握的problem-solving knowledge中生成出相关的问题和解决方法。
设计指令来达到这个目的：

基于这个instruction的一个实例如下所示：

大模型能够根据给定的instruciton，在对于一个新的问题 $x$ 时候，能够先生成出3个相关的且互不相同的problem并给出相应的解决方案，然后再对目标问题进行解决。

self-generated instruction的三个核心部分：

需要明确地让模型生成relevant切diverse exemplars。因为打磨学会偏向于重复地生成一些经典的问题，误导模型生成。

generate problems that are distinct from each other.

single-pass & independent exemplar generation。实验发现single-pass效果最好：
- single-pass：本文提出的方法，一个instruction让模型生成3个exemplar；
- independent exemplar generation：让模型分别生成若干exemplar，然后采样3个exemplar之后再重新设计prompt让大模型进行生成。
exemplar number $K$ ：发现3～5最佳。

Self-generated Knowledge + Exemplars

对于像code-generation等复杂的任务，low-level exemplar generation不一定能过让模型很好地解决此类问题，因此本文提出一种high-level generation方法。通过设计如下指令来实现：

对应的具体的例子如下所示：

本质来说，就是在self-generated exemplar prompt的基础上，添加新的任务，即让模型生成核心知识。例如代码生成中，需要让模型先思考选择什么algorithm，以及algorithm对应的tutorial。
Knowledge的优势主要体现在两个方面：

knowledge act as high-level takeaways that complement low-level exemplars, which prevents LLMs from overly relying on specific exemplars and helps to generalize to new problems;
LLMs identify the core concepts of the problem and produce exemplars that align more closely in fundamental problem-solving approaches