gpt系列概述——从gpt1到chatgpt

GPT建模实战：GPT建模与预测实战-CSDN博客

OpenAI的GPT（Generative Pre-trained Transformer）系列模型是自然语言处理领域的重要里程碑。从2018年至2020年，该公司相继推出了GPT-1、GPT-2和GPT-3，这些模型在文本生成和理解方面表现出了强大的能力。

GPT-1发布于2018年6月，它是基于约5GB的文本数据进行训练的，模型参数量为1.17亿。尽管参数量相对较少，但GPT-1已经展示出了强大的自然语言生成和理解能力。

仅仅几个月后，OpenAI在2019年2月推出了GPT-2。与GPT-1相比，GPT-2的训练数据量大幅增加，达到了约40GB，并且模型参数量也增加到了15亿。这使得GPT-2在自然语言处理任务中的性能得到了显著提升。

到了2020年5月，OpenAI进一步推出了GPT-3，这是一个划时代的模型。GPT-3的训练数据量达到了惊人的45TB，并且模型参数量也激增到了1750亿。这使得GPT-3在文本生成、语言理解、对话系统等多个方面都取得了前所未有的突破。

1.GPT-1

GPT，全称为“Generative Pre-Training”，代表生成式的预训练模型，是自然语言处理领域的重要技术之一。2018年，NLP领域竞争激烈，BERT和GPT是其中的佼佼者。尽管两者都很强大，但GPT因其需要预测未来的词，训练难度相对更大。BERT擅长通过完型填空理解上下文，适合文本分类和实体识别；值得一提的是，GPT作为自回归模型，专注于通过预测未来的词来生成文本，适合文本生成等任务。

那么什么叫做自回归模型呢？

例子：

英文原句：The weather is beautiful today.

当我们把这句英文输入到自回归的翻译模型中时，模型会按照以下步骤进行翻译：

开始符号：模型首先处理一个特殊的开始符号（比如<BOS>，表示Beginning Of Sentence），这告诉模型它要开始生成一个句子了。
逐个词生成：模型首先会预测第一个词。根据英文原句和模型之前学习到的语言模式，它可能会预测出“今天”作为中文翻译的第一个词。
迭代预测：接下来，模型会将“今天”作为上下文，并预测下一个词。继续这个过程，模型可能会预测出“天气”作为第二个词。
继续生成：模型继续以之前生成的词为上下文，预测下一个词，直到生成完整的中文句子。在这个例子中，完整的翻译可能是“今天天气很好”。
结束符号：模型在生成完整个句子后，会预测一个特殊的结束符号（比如<EOS>，表示End Of Sentence），标志着翻译的完成。

在这个过程中，自回归模型利用了之前生成的词作为上下文来预测下一个词，逐步构建出完整的翻译结果。这种逐个词生成的方式是自回归模型的核心特点，使得模型能够处理变长的文本序列，并生成自然流畅的翻译。

（1）网络结构

Bert与GPT整体的网络结构都是采用Transformer，但是由于Bert有上下文，其网络结构类似于Transformer的编码器，而GPT需要根据前文进行预测，其网络结构相当于Transformer的解码器。其损失函数就是预测下一个词的损失。

（2）GPT-1的缺陷

GPT-1的缺陷在于，所有下游任务都需要微调，这会带来巨大的成本，且模型的应用场景也有限。

2.GPT-2

GPT-2 是一个强大的生成式预训练模型，而 “zero-shot” 指的是模型在没有针对特定任务进行训练或微调的情况下，仅通过给定的提示或上下文来执行任务的能力。这种方法利用了模型在预训练阶段学习到的广泛知识和推理能力

在传统的机器学习方法中，通常需要为每个下游任务收集标注数据并进行训练或微调。然而，GPT-2 等大型预训练模型的出现改变了这一范式。这些模型在海量无标注数据上进行预训练，学习到了丰富的语言知识和推理能力，使得它们能够在不经过额外训练的情况下处理多种下游任务。

当面对一个新的下游任务时，我们可以通过为模型提供适当的提示或上下文来“暗示”它需要完成的任务。例如，如果我们想让 GPT-2 完成一个文本分类任务，我们可以在输入文本后添加一个描述分类目标的提示，如“请判断这段文本的情感倾向是正面还是负面”。由于 GPT-2 在预训练阶段已经学习到了大量的语言知识和推理模式，它能够根据这些提示理解任务需求，并生成相应的输出。

这种方法的优势在于无需为每个下游任务收集标注数据和进行训练，大大降低了任务的成本和复杂度。同时，由于模型在预训练阶段已经学习到了丰富的知识，它在处理下游任务时能够表现出色。