随着大模型（LLMs）的快速发展，它们在自然语言处理（NLP）任务上取得了前所未有的成就。特别是，LLMs展现出了强大的推理和规划能力，这得益于它们的少样本和零样本学习能力。然而，现有的方法仍存在一些限制，例如在少样本设置中，性能对示例选择非常敏感，而在零样本设置中，由于缺乏对LLMs的指导，性能受限。
为了解决这些限制，论文提出了COSP，这是一种不需要手工示例或真实标签的算法。作为一种新颖的提示设计方法，它旨在提升大模型（LLMs）在零样本（Zero-Shot）推理任务中的表现。该方法不依赖于手工制作的响应或真实标签，而是通过利用LLM自身生成的输出来构建上下文示例，从而引导模型进行更准确的推理。COSP包含两个主要阶段：
第一阶段：构建生成响应池和示例选择器
在这一阶段，COSP首先通过零样本链式思考（Zero-shot CoT）对所有测试问题进行查询，收集LLM生成的响应。这一过程涉及以下步骤：
-
候选池构建：对于每个测试问题，LLM被查询多次以生成多个推理路径和可能的答案。这些路径和答案构成了候选池，其中的每个元素都是一个潜在的示例。
-
一致性驱动的示例选择：从候选池中选择一组示例。这一选择过程非常关键，因为：
- 需要从大量候选项中选择少量（通常小于等于10）示例。
- 候选池本身可能包含错误，因为它们是在没有真实标签的情况下生成的。
为了解决这些问题，COSP使用自一致性来精简候选池，并在没有真实标签的情况下选择示例。具体来说，对于每个测试问题，COSP首先计算所有预测答案的多数投票预测，并保留导致多数投票预测的推理路径，同时剪枝掉其他可能错误的推理-答案对。
-
结果熵计算：COSP使用结果熵作为自一致性的度量，以识别适合的问答对。结果熵是一个受自一致性启发的度量，用于捕捉LLM对其预测的不确定性。
-
惩罚重复性：COSP还引入了一种量化措施来惩罚重复性，因为重复的示例往往会导致性能下降。
第二阶段：使用生成的上下文示例进行查询
在第二阶段，COSP将选定的示例作为上下文信息与测试问题结合，并再次查询LLM。这一阶段的步骤如下：
-
上下文示例的拼接：将选定的示例作为上下文信息与测试问题拼接，形成新的查询。
-
LLM的再次查询：使用新的查询对LLM进行查询，以生成第二轮的推理路径和答案。
-
最终预测的形成：通过对第一阶段和第二阶段生成的所有答案进行多数投票，形成每个问题的最终预测。
COSP方法的一个关键创新之处在于它如何从LLM自身的输出中选择和构建示例集。通过精心设计的评分函数，COSP在考虑一致性、多样性和重复性的基础上，选择最有助于提升LLM推理能力的示例。此外，COSP还可以适应性地调整每个问题所使用的示例数量，以及在少数样本设置中利用标记样本来增强性能。
实验结果
在实验部分，COSP方法在多种算术和逻辑推理任务上的表现进行了全面评估，涉及了PaLM-62B、PaLM-540B和GPT-3三种大型语言模型。实验的目的在于验证COSP在零样本学习环境下提升LLMs推理能力的有效性。结果显示，在没有任何真实标签指导的情况下，COSP通过自适应选择和构建示例集，显著提高了模型的推理准确率，平均提升幅度达到了10-15%。这一改进在统计上具有显著性，证明了COSP方法在缺乏明确示例和标签时，依然能够有效地引导LLMs进行逻辑推理。
特别值得一提的是，COSP在多数任务上的表现不仅超越了传统的零样本基线，而且达到了与少数样本学习方法相当的水平。这一发现表明，COSP提供的自适应提示对于LLMs来说是一种有效的推理引导手段，能够在没有额外标注数据的情况下，复现类似少数样本学习的性能提升。此外，COSP的方法还显示出了良好的通用性和适应性，这意味着它可以被广泛应用于多种不同的LLMs和任务类型中。
尽管COSP在实验中取得了令人鼓舞的结果，但论文也指出了该方法的一些局限性。例如，COSP依赖于模型的自一致性来预测准确性，这可能在某些任务上不总是有效的。此外，当面对极端困难的任务时，COSP可能无法提供显著的性能改进。尽管如此，COSP仍然为零样本推理任务提供了一个有前景的解决方案，并且它的设计理念为未来LLMs的应用和进一步的研究开辟了新的可能性。
论文链接：http://arxiv.org/pdf/2305.14106
