GPT-2源码实现及GPT-3、GPT-3.5、GPT-4及GPT-5内幕解析
Gavin大咖微信：NLP_Matrix_Space
5.1 ChatGPT提示词流程解析
本节主要是跟大家剖析 GPT内部的源码，在进入源码及运行项目之前，我们先思考一下ChatGPT的机制，ChatGPT默认情况下使用的模型是GPT-3.5，作者在日常工作中使用的模型是GPT-4，在做一些研究的时候，会涉及大量的长文本，无论是推理能力，还是逻辑分析能力，GPT-4信息产出的质量都明显高于GPT-3.5。
ChatGPT在GPT的基础上形成了某种意义上的封装，这种封装有两个方面，一个是交互方式，它是一种类似对话机器人的方式，这是第一点；第二点它是以Transformer预训练模型为底层的核心，上面只不过有很多对话的方式，ChatGPT它本身不是模型本身，它只是上层的一种封装，大家一般都作为API的方式去使用。
如图5-1所示，如果给ChatGPT输入一个指令或者提示词（Prompt），ChatGPT提示词评估器作为一个封装的API应用，会对你的提示词进行评估，这是第一个步骤，确定这个提示词有没有问题，这也是现在很多开放式框架做的很重要的一个工作，评估提示词、改进提示词，有时也会禁止你的提示词，举个例子，使用SQL操作数据库的时候，如果使用一个提示词，里面有一些危险的操作，可能让整个平台返回用户名和密码的信息，这称之为提示词的注入，很多的框架或者平台，在提示词的评估和改进方面，首先去分析评估，然后进行一些后续的处理。ChatGPT本身也是这种基本思路，如果是正常安全的&#x