【人工智能】减轻 LLM 幻觉的 7 大策略

一、说明

大型语言模型（LLM）的引入为人工智能（AI）和机器学习（ML）领域带来了重大的范式转变。凭借其显着的进步，LLM 现在可以生成不同主题的内容，解决复杂的查询，并大大提高用户满意度。然而，随着他们的进展，一个新的挑战浮出水面：幻觉。当 LLM 产生错误、无意义或脱节的文本时，就会发生这种现象。此类事件给利用这些模型的组织带来了潜在的风险和挑战。特别令人担忧的是涉及传播错误信息或制造攻击性材料的情况。

截至2024年1月，公开模型的幻觉率约为3%-16%[1]。在本文中，我们将描述有效降低这种风险的各种策略

二、上下文提示工程/调优

提示工程是设计和优化馈送到大型语言模型的指令以检索最佳结果的过程。需要专业知识和创造力的结合来制作最佳提示，以引起 LLM 的特定反应或行为。设计包含明确指令、上下文提示或特定框架技术的提示有助于指导 LLM 生成过程。通过提供清晰的指导和上下文，GPT 提示工程减少了歧义，并帮助模型生成更可靠和连贯的响应。

2.1 提示的元素

这些是构成精心设计的提示的元素列表：

上下文：介绍背景细节或提供简要介绍有助于法学硕士理解主题，并作为讨论的起点。
指示：精心设计清晰简洁的问题可确保模型的回答始终集中在所需的主题上。例如，人们可能会要求模型“用简单的英语用不到 100 个单词总结本章”。
输入示例：为模型提供具体示例有助于生成量身定制的响应。例如，如果客户抱怨“我收到的产品损坏了”，该模型可以提出适当的回复并建议潜在的报销选择。
输出格式：指定响应所需的格式，例如项目符号列表、段落或代码片段，可以指导 LLM 相应地构建其输出。例如，人们可能会要求“使用编号列表的分步说明”。
推理：根据模型的响应迭代调整和细化提示可以显著提高输出质量。例如，思维链提示将多步骤问题分解为中间步骤，从而实现超越标准提示方法的复杂推理能力。
提示微调：根据特定用例或领域调整提示可提高模型在特定任务或数据集上的性能。
通过交互式查询进行优化：根据模型的响应迭代调整和完善提示可以提高输出质量，并使 LLM 能够使用推理来推导出最终答案，从而显着减少幻觉。

2.2 正提示框架

据观察，使用积极的指令而不是消极的指令会产生更好的结果（即“做”而不是“不做”）。
负框架示例：一次不要向用户询问超过 1 个问题。积极框架的示例：当您向用户询问信息时，一次最多询问 1 个问题。

另请参阅： LLM 在制作有说服力的错误信息方面是否比人类更聪明？

三、检索增强生成（RAG）

检索增强生成（RAG）是为 LLM 模型提供特定领域和最新知识的过程，以提高模型响应的准确性和可审计性。这是一种强大的技术，它将提示工程与从外部数据源进行上下文检索相结合，以提高 LLM 的性能和相关性。通过将模型建立在附加信息的基础上，它可以实现更准确和上下文感知的响应。

这种方法对各种应用程序都有好处，例如问答聊天机器人、搜索引擎和知识引擎。通过使用 RAG，LLM 可以提供具有源归因的准确信息，从而增强用户信任并减少对新数据进行持续模型训练的需要。

四、模型参数调整

不同的模型参数（如温度、频率惩罚和 top-p）会显著影响 LLM 创建的输出。较高的温度设置鼓励更多的随机性和创造力，而较低的设置使输出更具可预测性。提高频率惩罚值会提示模型更谨慎地使用重复的单词。同样，增加存在惩罚值会增加生成输出中尚未使用的单词的可能性。

top-p 参数通过设置单词选择的累积概率阈值来调节响应多样性。总体而言，这些参数允许进行微调，并在生成不同的响应和保持准确性之间取得平衡。因此，调整这些参数会降低模型想象答案的可能性。

五、模型开发/扩充

5.1 微调预训练的 LLM

微调是我们使用较小的、特定于任务的标记数据集训练预训练模型的过程。通过对特定于任务的数据集进行微调，LLM可以掌握该领域的细微差别。这在具有专业术语、概念或结构的领域（例如法律文件、医学文本或财务报告）中尤为重要。因此，当面对来自特定领域或任务的看不见的示例时，模型可能会做出预测或生成具有更高准确性和相关性的输出。

5.2 完全定制的LLM

LLM 模型只能从头开始开发，这些知识是准确且与其领域相关的。这样做将有助于模型更好地理解特定主题内的关系和模式。这将减少幻觉的机会，尽管不能完全消除幻觉。然而，建立自己的LLM在计算上是昂贵的，并且需要大量的专业知识。

六、人工监督

最好由主题专家进行人工监督，并结合强大的审查流程来验证语言模型生成的输出，特别是在幻觉可能产生重大后果的敏感或高风险应用程序中，可以极大地帮助处理错误信息。人工审稿人可以在幻觉文本传播或在关键环境中使用之前识别和纠正它。

七、一般用户教育和意识

让用户和利益相关者了解语言模型的局限性和风险，包括它们产生误导性文本的可能性，这一点至关重要。我们应该鼓励用户仔细评估和验证输出，尤其是在准确性至关重要的情况下。制定并遵守管理语言模型使用的道德准则和政策非常重要，尤其是在误导性信息可能造成伤害的领域。我们必须为负责任的人工智能使用制定明确的指导方针，包括内容审核、错误信息检测和防止冒犯性内容。

对减轻LLM幻觉的持续研究承认，虽然完全消除可能具有挑战性，但实施预防措施可以大大降低其频率。至关重要的是，要强调负责任和深思熟虑地参与人工智能系统的重要性，并培养更高的意识，以保持有效利用技术而不造成伤害的必要平衡。