OpenAI最新官方GPT最佳实践指南,一文讲清ChatGPT的Prompt玩法

原文:Sina Visitor System

OpenAI的官网发表万字GPT最佳实践指南,讲清Prompt提示词的原则和策略,这里是总结和全文翻译

原创图像,AI辅助生成

OpenAI的官网上刚刚发表一篇万字的GPT最佳实践指南,这份指南把写好Prompt提示词的原则和策略讲得非常清楚,对于初学者和常用者来说,都值得收藏下来,随时参考。
 

我们一直想写一份给初学者的ChatGPT指南,正好OpenAI出了官方指南,完全可以起到给初学者打好基础的作用。
 

这篇文章里我们先会提供一个摘要和注释,然后是全文的翻译。
 

最近各个行业领袖都推出了免费公开的高质量人工智能课程,一起在推动人工智能的普及。包括谷歌的Generative AI Learning Path (生成式AI学习路径),斯坦福教授AI界大神吴恩达和OpenAI合作的ChatGPT Prompt Engineering for Developers (面向开发者的ChatGPT提示工程),微软的Azure提示工程课等等。
 

我们后续都会分享摘要和学习笔记,和大家一起利用好这些免费但是最真材实料的资源。有ChatGPT做超级助教,我们有信心高效地征服任何课程。

图片


摘要


OpenAI 提供了从 GPT 模型中获得更好结果的六种策略。这些策略是:

写清楚需求。GPT 模型无法读懂您的想法,因此在提供需求时尽可能具体是很重要的。这包括在您的查询中包含详细信息,要求模型采用角色,以及使用定界符清楚地指示输入的不同部分。

提供参考文本。如果可以,请提供与您希望模型生成的内容相似的参考文本。这将有助于模型了解您要查找的内容并生成更准确的结果。

将复杂的任务拆分为更简单的子任务。如果您试图让模型做一些复杂的事情,将任务分解为更小、更易于管理的子任务会很有帮助。这将使模型更容易理解您的要求并生成更准确的结果。

给 GPT 时间“思考”。GPT 模型不是即时的,它们可能需要一些时间来处理您的请求并生成响应。耐心点,不要在模型工作时打断它。

使用外部工具。有许多外部工具可用于帮助您从 GPT 模型中获得更好的结果。这些工具可以帮助您完成生成提示、查找参考文本和评估结果等任务。

系统地测试变化。当您对需求或参考文本进行更改时,重要的是系统地测试结果以了解它们如何影响模型的输出。这将帮助您确定对改进结果最有效的更改。(这一条主要针对应用开发者)

​AI超能力星球 注释:
 

这份GPT指南不只是针对ChatGPT用户,也是针对很多利用GPT的API接口开发应用的开发者。

很多我们看到的所谓“套壳”应用,其实只是预设了一些提示词Prompt, 设计了一个对用户友好的界面。用户通过它们的界面输入需求,和开发者的预设Prompt结合给到GPT,再返回结果。所以这些应用的核心要素也是提示词Prompt。

下面文中多次提到的系统指令(System)指的就是事先通过提示词prompt给GPT设定好角色和工作方式。这是那些套壳应用的引擎,用户指令和它们预设的系统指令结合,再给到GPT,从而得到特定的成果。

文中举例的用户指令(User)是来自于终端用户的具体需求。助理回复(Assistant)指的是GPT作为超级助理,基于系统指令和用户指令给出的答复。


全文中文版


GPT 最佳实践

本指南分享了从 GPT 获得更好结果的策略和战术。有时可以结合使用此处描述的方法以获得更大的效果。我们鼓励进行实验以找到最适合您的方法。

此处演示的一些示例目前仅适用于我们最强大的模型 gpt-4。如果您还没有访问 gpt-4 的权限,请考虑加入候补名单。一般来说,如果您发现 GPT 模型在某项任务中失败并且有更强大的模型可用,通常值得再次尝试使用更强大的模型。

获得更好结果的六种策略:

写清楚需求:

GPT 无法读懂你的想法。如果他们的输出太长,请要求简短答复。如果他们的输出太简单,请要求专家级的写作。如果您不喜欢这种格式,请展示您希望看到的格式。GPT 对您想要什么的猜测越少,您获得它的可能性就越大。

战术:

  • 在您的查询中包含详细信息以获得更相关的答案
  • 要求模型采用角色
  • 使用定界符清楚地指示输入的不同部分
  • 指定完成任务所需的步骤
  • 提供例子
  • 指定所需的输出长度

提供参考文本

GPT 可以自信地编造假答案,尤其是当被问及深奥的话题或引用和 URL 时。就像一张笔记可以帮助学生在考试中取得更好的成绩一样,为 GPT 提供参考文本可以帮助以更少的捏造来回答。

战术:

  • 指示模型使用参考文本回答
  • 指示模型使用参考文本中的引用来回答

将复杂任务拆分为更简单的子任务

正如在软件工程中将复杂系统分解为一组模块化组件是一种很好的做法一样,提交给 GPT 的任务也是如此。复杂的任务往往比简单的任务有更高的错误率。此外,复杂任务通常可以重新定义为更简单任务的工作流,其中早期任务的输出用于构建后续任务的输入。

战术:

  • 使用意图分类来识别与用户查询最相关的指令
  • 对于需要很长对话的对话应用,总结或过滤之前的对话
  • 分段总结长文档并递归构建完整摘要

给 GPT 时间“思考”

如果要求将 17 乘以 28,您可能不会立即知道,但随着时间的推移仍然可以计算出来。同样,GPT 在试图立即回答而不是花时间找出答案时会犯更多的推理错误。在回答之前询问一系列推理可以帮助 GPT 更可靠地推理出正确答案。

战术:

  • 在匆忙下结论之前指示模型制定出自己的解决方案
  • 使用内心独白或一系列查询来隐藏模型的推理过程
  • 询问模型是否遗漏了之前传递的任何内容

使用外部工具

通过为 GPT 提供其他工具的输出来弥补它们的弱点。例如,文本检索系统可以将相关文档告知 GPT。代码执行引擎可以帮助 GPT 进行数学运算和运行代码。如果一项任务可以通过工具而不是 GPT 更可靠或更有效地完成,请下载它以充分利用两者。(现在蓬勃发展的ChatGPT plugin 插件正起到这个作用)

战术:

  • 使用基于嵌入的搜索来实现高效的知识检索
  • 使用代码执行来执行更准确的计算或调用外部 API

系统地测试更改

如果可以衡量,提高绩效会更容易。在某些情况下,对提示的修改会在一些孤立的示例上获得更好的性能,但会导致在更具代表性的示例集上的整体性能变差。

因此,为确保更改对性能产生积极影响,可能有必要定义一个综合测试套件。(这个对于套壳应用的开发者特别重要,要不断调试提示词来达到自己垂直领域的最佳输出)

战术:

参考黄金标准答案评估模型输出


策略详解 (从这里开始,原文对每一个策略和战术都给了更详细的解释和示例):

上面列出的每个策略都可以用特定的战术来实例化。这些策略旨在为尝试的事情提供想法。它们绝不是全面的,您可以随意尝试此处未展示的用例。

策略:写清楚需求

战术:在查询中包含详细信息以获得更相关的答案

为了获得高度相关的响应,请确保请求提供任何重要的细节或上下文。否则,您将把它留给模型来猜测您的意思。

糟糕的提示Prompt vs 好提示Prompt示例:

糟糕的:如何在 Excel 中添加数字?

好的:如何在 Excel 中将一行美元金额相加?我想对整张行自动执行此操作,所有总计都在右侧的名为“总计”的列中结束。

糟糕的:谁是总统?

好的:谁是 2021 年的墨西哥总统,选举的频率如何?

糟糕的:编写代码来计算斐波那契数列。

好的:编写一个 TypeScript 函数来高效地计算斐波那契数列。评论代码以解释每一部分的作用以及为什么这样写。

糟糕的:总结会议记录。

好的:在一个段落中总结会议记录。然后写下演讲者的降价清单和他们的每个要点。最后,列出演讲者建议的后续步骤或行动项目(如果有)。

战术:让模型采用角色

系统指令可用于指定模型在其回复中使用的角色。

系统指令 :

当我请求帮助写东西时,你会回复一份文档,每个段落至少包含一个笑话或俏皮的评论。

用户指令 :

给我的钢螺栓供应商写一封感谢信,感谢他在短时间内准时交货。这使我们能够交付重要订单。

战术:使用定界符清楚地指示输入的不同部分
 

三重引号、XML 标记、章节标题等分隔符可以帮助区分要区别对待的文本部分。

用户指令:

用俳句总结由三重引号分隔的文本。

"""在此插入文本"""

系统指令:

您将获得一对关于同一主题的文章(用 XML 标记分隔)。先总结一下每篇文章的论点。然后指出他们中的哪一个提出了更好的论点并解释原因。

用户指令:

<article> 在这里插入第一篇文章</article>

<article> 在这里插入第二篇文章</article>

​系统指令:
您将获得论文摘要和建议的标题。论文标题应该让读者对论文的主题有一个很好的了解,但也应该引人注目。如果标题不符合这些标准,建议 5 个备选方案。

用户指令:

摘要:此处插入摘要

标题:在此处插入标题

​对于诸如此类的简单任务,使用定界符可能不会对输出质量产生影响。然而,任务越复杂,消除任务细节的歧义就越重要。让 GPT 更容易准确理解您对它们的要求。
 

战术:指定完成任务所需的步骤

​有些任务最好指定为一系列步骤。明确地写出步骤可以使模型更容易遵循它们。

​系统指令:

使用以下分步说明响应用户输入。

第 1 步 - 用户将用三重引号为您提供文本。在一个句子中总结这段文字,并加上一个前缀“Summary:”。

第 2 步 - 将第 1 步中的摘要翻译成西班牙语,并加上前缀“Translation:”。

用户指令

"""在此插入文本"""

​战术:提供示例
 

提供适用于所有示例的一般说明通常比通过示例演示任务的所有排列更有效,但在某些情况下提供示例可能更容易。例如,如果您打算让模型复制一种难以明确描述的特定样式来响应用户查询。这被称为“Few Shot”(多范例)提示。

​系统指令:

以一致的风格回答。

用户指令:

教我耐心。

助理回复 (这是GPT作为超级助理,基于系统指令和用户指令给出的答复):

开辟最深山谷的河流从温和的泉水流出;最伟大的交响乐源于一个音符;最复杂的挂毯始于一根单独的线。

用户指令:

教我认识海洋。

​战术:指定输出的所需长度
 

您可以要求模型生成具有给定目标长度的输出。目标输出长度可以根据单词、句子、段落、要点等的计数来指定。但是请注意,指示模型生成特定数量的单词并不能实现高精度。该模型可以更可靠地生成具有特定数量的段落或要点的输出。

​用户指令:

用大约 50 个单词总结由三重引号分隔的文本。

"""在此插入文本"""

用户指令:
在 2 个段落中总结由三重引号分隔的文本。

"""在此插入文本"""

用户指令:

在 3 个要点中总结由三重引号分隔的文本。

"""在此插入文本"""

策略:提供参考文本
 

战术:指示模型使用参考文本回答

如果我们可以为模型提供与当前查询相关的可信信息,那么我们可以指示模型使用提供的信息来编写其答案。

系统指令:

使用由三重引号分隔的提供的文章来回答问题。如果在文章中找不到答案,写“我找不到答案”。

用户指令:

<插入文章,每篇文章用三重引号分隔>

问题:<在此插入问题>

鉴于 GPT 的上下文窗口有限,为了应用这种策略,我们需要一些方法来动态查找与所问问题相关的信息。嵌入可用于实现高效的知识检索。请参阅策略“使用基于嵌入的搜索来实现高效的知识检索”以获取有关如何实现此功能的更多详细信息。

战术:指示模型使用参考文本中的引文来回答

如果输入已补充相关知识,则可以直接要求模型通过引用所提供文档中的段落来为其答案添加引文。请注意,输出中的引用可以通过提供的文档中的字符串匹配以编程方式进行验证。

系统指令:

您将获得一份由三重引号和一个问题分隔的文件。您的任务是仅使用提供的文件回答问题,并引用用于回答问题的文件中的段落。如果文档不包含回答此问题所需的信息,则只需写上:“信息不足”。如果提供了问题的答案,则必须用引文进行注释。使用以下格式引用相关段落 ({"citation": …})。

用户指令:

"""<在此处插入文档>"""

<在这里插入问题>

策略:将复杂任务拆分为更简单的子任务
 

战术:使用意图分类来识别与用户查询最相关的指令

对于需要大量独立指令集来处理不同情况的任务,首先对查询类型进行分类并使用该分类来确定需要哪些指令可能是有益的。这可以通过定义与处理给定类别中的任务相关的固定类别和硬编码指令来实现。

这个过程也可以递归地应用于将任务分解为一系列阶段。这种方法的优点是每个查询将仅包含执行任务下一阶段所需的指令,与使用单个查询执行整个任务相比,这可以降低错误率。这也可以降低成本,因为更大的提示运行成本更高。

例如,假设对于客户服务应用程序,可以将查询分类如下:

系统指令:

您将收到客户服务查询。将每个查询分为主要类别和次要类别。以 json 格式提供带有键的输出:primary 和 secondary。

主要类别:计费、技术支持、账户管理或一般查询。

计费次要类别:

- 退订或升级

- 添加支付方式

- 收费说明

- 对收费提出异议

技术支持二级类别:

- 故障排除

- 设备兼容性

- 软件更新

账户管理二级类别:

- 重设密码

- 更新个人信息

- 关闭账户

- 账户安全

一般查询次要类别:

- 产品信息

- 价钱

- 反馈

- 与人交谈

用户指令:

我需要让我的互联网重新工作。

基于客户查询的分类,可以向 GPT 模型提供一组更具体的指令来处理后续步骤。例如,假设客户需要“故障排除”方面的帮助。
 

系统指令:

您将收到需要在技术支持环境中进行故障排除的客户服务查询。通过以下方式帮助用户:

- 请他们检查是否连接了进出路由器的所有电缆。请注意,电缆随时间松动是很常见的。

- 如果所有电缆都已连接但问题仍然存在,请询问他们使用的是哪种路由器型号

- 现在您将建议他们如何重新启动他们的设备:

-- 如果型号是 MTD-327J,建议他们按下红色按钮并保持 5 秒钟,然后等待 5 分钟,然后再测试连接。

-- 如果型号是 MTD-327S,建议他们拔下并重新插入,然后等待 5 分钟,然后再测试连接。

- 如果客户的问题在重启设备并等待 5 分钟后仍然存在,请通过输出 {"IT support requested"} 将他们连接到 IT 支持。

- 如果用户开始询问与此主题无关的问题,请确认他们是否愿意结束当前有关故障排除的聊天,并根据以下方案对他们的请求进行分类:

<从此处插入上面的主要/次要分类方案>

用户指令:

我需要让我的互联网重新工作。

请注意,已指示模型发出特殊字符串以指示对话状态何时发生变化。这使我们能够将我们的系统变成一个状态机,其中状态决定注入哪些指令。通过跟踪状态,哪些指令与该状态相关,以及可选地允许从该状态进行哪些状态转换,我们可以为用户体验设置护栏,而这很难通过结构化程度较低的方法实现。
 

战术:对于需要很长对话的对话应用,总结或过滤之前的对话

由于 GPT 具有固定的上下文长度,因此用户和助理之间的整个对话在上下文窗口中不能无限期地继续。

这个问题有多种解决方法,其中之一是总结对话中的先前回合。一旦输入的大小达到预定的阈值长度,这可能会触发一个查询,该查询总结了部分对话,并且先前对话的摘要可以作为系统消息的一部分包含在内。或者,可以在整个对话过程中在后台异步总结先前的对话。

另一种解决方案是动态选择与当前查询最相关的对话的先前部分。请参阅策略“使用基于嵌入的搜索来实现高效的知识检索”。

战术:分段总结长文档并递归构建完整摘要

由于 GPT 具有固定的上下文长度,因此它们不能用于总结长度超过上下文长度的文本。

要总结一个非常长的文档,例如一本书,我们可以使用一系列查询来总结文档的每个部分。

节摘要可以被连接和总结生成摘要的摘要。这个过程可以递归地进行,直到总结了整个文档。

​如果有必要使用有关前面部分的信息来理解后面的部分,那么另一个有用的技巧是在书中任何给定点之前包括文本的连续摘要,同时总结该点的内容。

OpenAI 在之前的研究中使用 GPT-3 的变体研究了这种用于总结书籍的程序的有效性。


 

策略:给 GPT 时间“思考”

战术:在匆忙下结论之前,指示模型自己制定解决方案

有时,当我们明确指示模型在得出结论之前根据第一原则进行推理时,我们会得到更好的结果。例如,假设我们想要一个模型来评估学生对数学问题的解决方案。解决这个问题的最明显方法是简单地询问模型学生的解决方案是否正确。

系统指令:

判断学生的答案是否正确。

用户指令:

问题陈述:我正在建造一个太阳能装置,我需要帮助来计算财务。

- 土地成本 100 美元/平方英尺

- 我可以以 250 美元/平方英尺的价格购买太阳能电池板

- 我协商了一份维护合同,每年将花费我 10 万美元,外加每平方英尺 10 美元

运营第一年的总成本与平方英尺数的关系是多少?

学生的解答:令 x 为以平方英尺为单位的安装尺寸。

1.土地成本:100x

2.太阳能电池板成本:250x

3.维护费用:100,000+100x

总成本:100x + 250x + 100,000 + 100x = 450x + 100,000

助理回复:这位同学的答案是正确的。

但是这位同学的解法其实是不正确的!我们可以通过提示模型首先生成自己的解决方案来让模型成功注意到这一点。
 

系统指令:

首先想出你自己解决问题的方法。然后将您的解决方案与学生的解决方案进行比较,并评估学生的解决方案是否正确。在您自己完成问题之前,不要判断学生的解决方案是否正确。

用户指令:

问题陈述:我正在建造一个太阳能装置,我需要帮助来计算财务。

- 土地成本 100 美元/平方英尺

- 我可以以 250 美元/平方英尺的价格购买太阳能电池板

- 我协商了一份维护合同,每年将花费我 10 万美元,外加每平方英尺 10 美元

运营第一年的总成本与平方英尺数的关系是多少?

学生的解答:令 x 为以平方英尺为单位的安装尺寸。

1.土地成本:100x

2.太阳能电池板成本:250x

3.维护费用:100,000+100x

总成本:100x + 250x + 100,000 + 100x = 450x + 100,000

助理回复:

设 x 是以平方英尺为单位的安装尺寸。

1.土地成本:100x

2.太阳能电池板成本:250x

3.维护费用:100,000+10x

总成本:100x + 250x + 100,000 + 10x = 360x + 100,000

学生的答案是错误的。他们在维护成本计算中犯了一个错误,使用 100x 而不是 10x。第一年运营的正确总成本是 360x + 100,000。


 

战术:使用内心独白或一系列查询来隐藏模型的推理过程

前面的策略表明,模型在回答特定问题之前详细推理问题有时很重要。对于某些应用程序,模型用于得出最终答案的推理过程不适合与用户共享。例如,在辅导应用程序中,我们可能希望鼓励学生自己找出答案,但模型对学生解决方案的推理过程可能会向学生揭示答案。

“内心独白”的是指示模型将本应对用户隐藏的输出部分放入结构化格式中,以便于分解它们。然后在将输出呈现给用户之前,对输出进行分解并仅使部分输出可见。
 

系统指令:

按照以下步骤回答用户查询。

第 1 步 - 首先找出您自己的问题解决方案。不要依赖学生的解决方案,因为它可能不正确。将您为此步骤所做的所有工作用三重引号 (""") 括起来。

第 2 步 - 将您的解决方案与学生的解决方案进行比较,并评估学生的解决方案是否正确。将您为此步骤所做的所有工作用三重引号 (""") 括起来。

第 3 步 - 如果学生犯了错误,请确定您可以在不给出答案的情况下给学生什么提示。将您为此步骤所做的所有工作用三重引号 (""") 括起来。

第 4 步 - 如果学生犯了错误,请向学生提供上一步的提示(三引号外)。不要写“第 4 步 - ...”,而写“提示:”。

用户指令:

问题陈述:<插入问题陈述>

学生解决方案:<插入学生解决方案>

或者,这可以通过一系列查询来实现,其中除最后一个之外的所有查询都对最终用户隐藏其输出。

首先,我们可以让模型自己解决问题。由于此初始查询不需要学生的解决方案,因此可以省略。这提供了额外的优势,即模型的解决方案不会因学生尝试的解决方案而产生偏差。

用户指令

<插入问题陈述>

接下来,我们可以让模型使用所有可用信息来评估学生解决方案的正确性。
 

系统指令:

将您的解决方案与学生的解决方案进行比较,并评估学生的解决方案是否正确。

用户指令:

问题陈述:“”“<插入问题陈述>”“”

您的解决方案:"""<插入模型生成的解决方案>"""

学生的解决方案:“”“<插入学生的解决方案>”“”

最后,我们可以让模型使用自己的分析来构建一个乐于助人的导师角色的回复。
 

系统指令:

你是数学老师。如果学生犯了错误,请以不透露答案的方式向学生提供提示。如果学生没有犯错,只需给他们一个鼓励的评论。

用户指令:

问题陈述:“”“<插入问题陈述>”“”

您的解决方案:"""<插入模型生成的解决方案>"""

学生的解决方案:“”“<插入学生的解决方案>”“”

分析:"""<插入模型从上一步生成的分析>"""

战术:询问模型是否遗漏了之前传递的任何内容

假设我们正在使用一个模型来列出与特定问题相关的来源的摘录。在列出每个摘录后,模型需要确定是否应该开始编写另一个摘录或是否应该停止。如果源文档很大,模型通常会过早停止并且无法列出所有相关摘录。在这种情况下,通常可以通过使用后续查询提示模型来查找它在先前传递中遗漏的任何摘录来获得更好的性能。

系统指令:

您将获得一份由三重引号分隔的文件。你的任务是选择与以下问题相关的摘录:“人工智能历史上发生了哪些重大的范式转变。”

确保摘录包含解释它们所需的所有相关上下文——换句话说,不要提取缺少重要上下文的小片段。以 JSON 格式提供输出,如下所示:

[{“摘录”:“...”},

...

{“摘录”:“...”}]

用户指令:

"""<在此处插入文档>"""

助理回复:

[{“摘录”:“模型在这里写一段摘录”},

...

{“摘录”:“模型在这里写了另一个摘录”}]

用户指令:

有更多相关的摘录吗?注意不要重复摘录。还要确保摘录包含解释它们所需的所有相关上下文——换句话说,不要提取缺少重要上下文的小片段。


 

策略:使用外部工具

战术:使用基于嵌入的搜索来实现高效的知识检索

如果作为输入的一部分提供,模型可以利用外部信息源。这可以帮助模型生成更明智和最新的响应。例如,如果用户询问有关特定电影的问题,将有关电影的高质量信息(例如演员、导演等)添加到模型的输入中可能会很有用。嵌入可用于实现高效的知识检索,以便在运行时将相关信息动态添加到模型输入中。

文本嵌入是一个向量,可以衡量文本字符串之间的相关性。相似或相关的字符串将比不相关的字符串靠得更近。这一事实以及快速向量搜索算法的存在意味着嵌入可用于实现高效的知识检索。

特别是,一个文本语料库可以被分割成块,每个块都可以被嵌入和存储。然后可以嵌入给定的查询并执行向量搜索以从语料库中找到与查询最相关的嵌入文本块(即在嵌入空间中最接近)。

可以在 OpenAI Cookbook 中找到示例实现。有关如何使用知识检索来减小模型编造错误事实的可能性的示例,请参阅策略“指示模型使用检索到的知识来回答查询”。

战术:使用代码执行来执行更准确的计算或调用外部 API

不能依赖 GPT 自行准确地执行算术或长计算。在需要的情况下,可以指示模型编写和运行代码,而不是进行自己的计算。特别是,可以指示模型将要运行的代码放入指定的格式中,例如三重 backtics。生成输出后,可以提取并运行代码。最后,如果有必要,可以将代码执行引擎(即 Python 解释器)的输出作为输入提供给下一个查询的模型。

系统指令:

您可以通过将 Python 代码括在三重反引号中来编写和执行 Python 代码,例如 ```代码在这里```。使用它来执行计算。

用户指令:

找出以下多项式的所有实值根:3*x**5 - 5*x**4 - 3*x**3 - 7*x - 10。

代码执行的另一个好用例是调用外部 API。如果指导模型正确使用 API,则它可以编写使用它的代码。通过向模型提供说明如何使用 API 的文档和/或代码示例,可以指导模型如何使用 API。
 

系统指令:

您可以通过用三重反引号括起来来编写和执行 Python 代码。另请注意,您可以访问以下模块来帮助用户向他们的朋友发送消息:

```Pythod

导入消息

message.write(to="John", message="嘿,下班后想见面吗?")```

​警告:执行模型生成的代码本身并不安全,任何试图执行此操作的应用程序都应采取预防措施。特别是,需要一个沙盒代码执行环境来限制不受信任的代码可能造成的危害。

 

策略:系统地测试变化 (这一部分是针对应用开发者)

有时很难判断更改(例如,新指令或新设计)是否会使您的系统变得更好或更糟。查看几个示例可能会暗示哪个更好,但是样本量较小时,很难区分真正的改进还是随机的运气。也许这种变化有助于某些输入的性能,但会损害其他输入的性能。

评估程序对于优化系统设计很有用。好的评估是:

代表现实世界的使用(或至少是多样化的)

包含许多测试用例以获得更大的统计能力

易于自动化或重复

差异检测 95% 置信度所需的样本量

  • 30% ~10
  • 10% ~100
  • 3% ~1,000
  • 1% ~10,000

输出的评估可以由计算机、人类或混合来完成。计算机可以使用客观标准(例如,只有一个正确答案的问题)以及一些主观或模糊标准来自动评估,其中模型输出由其他模型查询评估。OpenAI Evals 是一个开源软件框架,提供用于创建自动评估的工具。

当存在一系列可能被认为质量相同的输出时(例如,对于答案很长的问题),基于模型的评估可能很有用。使用基于模型的评估可以实际评估的内容与需要人工评估的内容之间的界限是模糊的,并且随着模型变得更强大而不断变化。我们鼓励通过实验来弄清楚基于模型的评估对您的用例的适用程度。

战术策略:参考黄金标准答案评估模型输出

假设已知问题的正确答案应该参考一组特定的已知事实。然后我们可以使用模型查询来计算答案中包含了多少所需事实。

例如,使用以下系统指令:

系统指令:

您将获得由三重引号分隔的文本,这些文本应该是问题的答案。检查答案中是否直接包含以下信息:

- 尼尔阿姆斯特朗是第一个在月球上行走的人。

- 尼尔·阿姆斯特朗首次踏上月球的日期是 1969 年 7 月 21 日。

对于这些点中的每一个,执行以下步骤:

1 - 重复这一点。

2 - 引用最接近这一点的答案。

3 - 考虑阅读引文但不了解主题的人是否可以直接推断出这一点。在判断之前解释为什么或为什么不。

4 - 如果对 3 的回答是“是”,则写“是”,否则写“否”。

最后,提供 m 的计数

有任何“是”的答案。将此计数提供为 {"count": <insert count here>}。

这是一个满足两点的示例输入:

系统指令:

<在上面插入系统指令>

用户指令:

"""尼尔阿姆斯特朗因成为第一个踏上月球的人类而闻名。这一历史性事件发生在 1969 年 7 月 21 日,阿波罗 11 号任务期间。"""

这是一个示例输入,其中只有一个点得到满足:

系统指令:

<在上面插入系统消息>

用户指令

"""尼尔·阿姆斯特朗走下登月舱,创造了历史,成为第一个踏上月球的人。"""

这是一个不满足的示例输入:

系统指令:

<在上面插入系统消息>

用户指令:

"""69年夏天,盛大远航,阿波罗 11 号,大胆如传奇之手。阿姆斯特朗迈出一步,历史展开,“一小步,”他说,为了一个新世界。"""

这种基于模型的评估有很多可能的变体。考虑以下变体,它跟踪候选答案和黄金标准答案之间的重叠类型,并跟踪候选答案是否与黄金标准答案的任何部分相矛盾。
 

系统指令:

按着这些次序。

第 1 步:逐步推理产出的答案与专家答案((黄金标准的正确答案)相比是否是:不相交、子集、超集或具有相等的信息集。

第 2 步:逐步推理产出的答案是否与专家答案的任何方面相矛盾。

第 3 步:输出结构如下的 JSON 对象:{"containment": "disjoint" or "subset" or "superset" or "equal", "contradiction": True or False}

这是一个产出答案不达标的示例:

系统指令:

<在上面插入系统消息>

用户指令:

问题:"""Neil Armstrong 最著名的事件是什么?它发生在什么时候?假定 UTC 时间。"""

产出答案:"""他不是在月球上行走吗?"""

专家回答:"""尼尔阿姆斯特朗最出名的是他是第一个踏上月球的人。这一历史性事件发生在1969年7月21日,作为美国宇航局阿波罗11号任务的一部分。阿姆斯特朗登上月球时的名言 月球表面,“这是个人的一小步,人类的一大步”至今仍被广泛引用。"""

这是一个产出答案很好的示例:

系统指令:

<在上面插入系统消息>

用户指令:

问题:"""Neil Armstrong 最著名的事件是什么?它发生在什么时候?假定 UTC 时间。"""

产出的答案:"""世界标准时间 1969 年 7 月 21 日大约 02:56,尼尔·阿姆斯特朗成为第一个踏上月球表面的人类,标志着人类历史上的巨大成就。大约 20 分钟后,奥尔德林加入了他的行列。"""

专家回答:"""尼尔·阿姆斯特朗最著名的是他是第一个踏上月球的人。这一历史性事件发生在 1969 年 7 月 21 日,阿波罗 11 号任务期间。"""


结语


以上就是OpenAI的GPT最佳实践指南的全文。OpenAI的官网上有非常多的类似的免费学习资料,大家可以去查看,现在智能翻译软件这么多,语言不应该是障碍。
 

文中列举的示例也许不全是大家现在就用得到的,但它是个值得收藏的手册,可以不时按需参考。

上面介绍的“系统指令”,一方面我们在日常和ChatGPT聊天中可以用它让ChatGPT进入特定角色和工作模式;另一方面,掌握了它,我们也可以做自己的聊天机器人应用, 甚至用不到写代码,这个我们后面也会介绍。
 

现在MIT、斯坦福这样的顶尖高校和OpenAI, 谷歌和微软等行业领袖都在推出免费公开课,我们接下来会持续介绍这些课程,期待和大家一起学习,跟上AI时代的脚步。

​​​

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/129471.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

大语言模型对齐技术 最新论文及源码合集(外部对齐、内部对齐、可解释性)

大语言模型对齐(Large Language Model Alignment)是利用大规模预训练语言模型来理解它们内部的语义表示和计算过程的研究领域。主要目的是避免大语言模型可见的或可预见的风险&#xff0c;比如固有存在的幻觉问题、生成不符合人类期望的文本、容易被用来执行恶意行为等。 从必…

C++笔记之实现多态的所有方法

C笔记之实现多态的所有方法 文章目录 C笔记之实现多态的所有方法1.C中多态是是什么&#xff1f;请用简洁准确的话描述2.虚函数实现多态2.1.虚函数&#xff08;Virtual Functions&#xff09;2.2.纯虚函数&#xff08;Pure Virtual Functions&#xff09;2.3.虚析构函数&#xf…

vue学习part01

02_Vue简介_哔哩哔哩_bilibili Vue.js - 渐进式 JavaScript 框架 | Vue.js (vuejs.org) 1.简介 2.常用用法 新项目一般vue3&#xff0c;老项目vue2 3.vue两种风格&#xff1a;选项式api&#xff08;vue2&#xff09;和组合式api&#xff08;vue3&#xff09; 两种方式实现累…

Scala集合操作

1 集合简介 Scala 中拥有多种集合类型&#xff0c;主要分为可变的和不可变的集合两大类&#xff1a; 可变集合&#xff1a; 可以被修改。即可以更改&#xff0c;添加&#xff0c;删除集合中的元素&#xff1b; 不可变集合类&#xff1a;不能被修改。对集合执行更改&#xff0c;…

基于单片机控制的GSM短信模块家庭防盗报警系统

博主主页&#xff1a;单片机辅导设计 博主简介&#xff1a;专注单片机技术领域和毕业设计项目。 主要内容&#xff1a;毕业设计、简历模板、学习资料、技术咨询。 文章目录 主要介绍一、内容1 设计任务和要求1 主要内容 二、系统总体方案2.1 系统整体设计思路2.2 系统方案设计 …

【入门Flink】- 03Flink部署

集群角色 Flik提交作业和执行任务&#xff0c;需要几个关键组件&#xff1a; 客户端(Client)&#xff1a;代码由客户端获取并做转换&#xff0c;之后提交给JobManger JobManager&#xff1a;就是Fink集群里的“管事人”&#xff0c;对作业进行中央调度管理&#xff1b;而它获…

【ES专题】ElasticSearch 高级查询语法Query DSL实战

目录 前言阅读对象阅读导航前置知识数据准备笔记正文一、ES高级查询Query DSL1.1 基本介绍1.2 简单查询之——match-all&#xff08;匹配所有&#xff09;1.2.1 返回源数据_source1.2.2 返回指定条数size1.2.3 分页查询from&size1.2.4 指定字段排序sort 1.3 简单查询之——…

服务上千家企业,矩阵通2.0重磅上线,全链路管理新媒体矩阵

自上线以来 矩阵通已服务了上千家企业级客户 覆盖汽车、家居、媒体、金融、教育等多个行业 矩阵通1.0时代 我们以“数据”为基座打造出10功能 帮助企业轻松管理新媒体矩阵 实现账号管理、数据分析、竞对监测、 人员考核、风险监管等需求 而现在 矩阵通2.0重磅上线 新增…

0基础学习PyFlink——个数滑动窗口(Sliding Count Windows)

大纲 滑动&#xff08;Sliding&#xff09;和滚动&#xff08;Tumbling&#xff09;的区别样例窗口为2&#xff0c;滑动距离为1窗口为3&#xff0c;滑动距离为1窗口为3&#xff0c;滑动距离为2窗口为3&#xff0c;滑动距离为3 完整代码参考资料 在 《0基础学习PyFlink——个数…

使用vscode实现远程开发,并通过内网穿透在公网环境下远程连接

文章目录 前言1、安装OpenSSH2、vscode配置ssh3. 局域网测试连接远程服务器4. 公网远程连接4.1 ubuntu安装cpolar内网穿透4.2 创建隧道映射4.3 测试公网远程连接 5. 配置固定TCP端口地址5.1 保留一个固定TCP端口地址5.2 配置固定TCP端口地址5.3 测试固定公网地址远程 前言 远程…

学习笔记三十四:Ingress和 Ingress Controller概述

Ingress和 Ingress Controller概述 回顾service四层负载在k8s中为什么要做负载均衡Service不足之处四层负载和七层负载的区别OSI七层模型&#xff1a; Ingress介绍Ingress Controller介绍Ingress-controller 作用Ingress和Ingress Controller总结使用Ingress Controller代理k8s…

设备接入服务组件->微服务and容器化改造说明文档

SVN路径 https://192.0.0.241/USTA-dac/branches/dev/V1.10.500/dac 目录结构 das为设备接入服务&#xff0c;负责驱动管理&#xff0c;资源同步&#xff0c;订阅下发。下面有两个文件夹分别对应了openssl1.0的版本和后面更换接口后openssl1.1的版本。das_proxy为设备信令下发…

家用NAS上的Linux虚拟机上安装Domino

大家好&#xff0c;才是真的好。 此篇不是广告&#xff0c;毕竟没有任何人给广告费。 就是我个人入手了一台NAS设备&#xff0c;一开始用途比较淳朴&#xff0c;仅仅存储和家庭有关的各种照片和视频&#xff0c;但用着用着&#xff0c;就发现了NAS设备的拓展性之强&#xff0…

kubernetes集群编排——k8s存储

configmap 字面值创建 kubectl create configmap my-config --from-literalkey1config1 --from-literalkey2config2kubectl get cmkubectl describe cm my-config 通过文件创建 kubectl create configmap my-config-2 --from-file/etc/resolv.confkubectl describe cm my-confi…

提示3D标题编辑器仍在运行怎么解决,以及3D标题编辑器怎么使用

在进行视频剪辑时&#xff0c;尤其是剪辑一些带有文字的开场视频&#xff0c;一般都会使用具有立体效果的3D标题&#xff0c;这样制作出来的视频效果不仅好看&#xff0c;还非常的炫酷&#xff0c;但是对于一些刚刚开始接触视频剪辑的小伙伴来说&#xff0c;可能对3D标题还不是…

【李群李代数】【manif 】基于固定信标的2D机器人定位 (Error State Kalman Filter)...

demo演示 运行结果 我们考虑一个机器人在平面上被少量的准时地标或_信标 包围。 机器人以轴向速度和角速度的形式接收控制动作&#xff0c;并且能够测量信标相对于其自身参考系的位置。 机器人位姿 X 在 SE(2) 中&#xff0c;信标位置 b_k 在 R^2 中&#xff0c; | cos th -si…

Android系统Launcher启动流程学习(二)launcher启动

Zygote&#xff08;孵化器&#xff09;进程启动 在init进程中有解析.rc文件&#xff0c;在这个rc文件中配置了一个重要的服务service–zygote&#xff0c;这是app程序的鼻祖 zygote进程主要负责创建Java虚拟机&#xff0c;加载系统资源&#xff0c;启动SystemServer进程&#…

Postgresql批量按照顺序更新某一个字段

如批量更新采购订单行sequence字段&#xff0c;按照订单行id的顺序赋值1&#xff0c;2&#xff0c;3&#xff0c;4...&#xff1a; UPDATE purchase_order_line_copy1 SET sequence subquery.new_sequence FROM (SELECT id, ROW_NUMBER() OVER (ORDER BY id) AS new_sequence…

Pytest-Allure及Allure命令使用

一、Allure介绍 Allure是Pytest用于生成测试报告的框架&#xff0c;提供丰富的测试报告功能&#xff1b; 二、Allure安装 Allure安装分为2块&#xff0c;分别是pytest-Allure库安装&#xff0c;本地生成报告并导出的命令行allure安装&#xff1b; 1、pytest-Allure库安装 …