大语言模型发展史

研究人员发现，扩展预训练模型（Pre-training Language Model，PLM），例如扩展模型大小或数据大小，通常会提高下游任务的模型性能，模型大小从几十亿（1 B = 10亿）逐步扩展至千亿级别，后续研究者们将大型的PLM称之为LLM（Large Language Model）

从下图中可以看出大语言模型的发展阶段

从下图中可以看出近年来主流的大语言模型

OpenAI发展史

大模型的技术路线

从上图中可以看出，目前LLM的技术路线都是基于Transfomer架构的，主要分为Decoder only、Encoder only、Encoder-Decoder三种：

技术路线	预训练架构	模型	描述
Decoder only	Causal LM/Left-to-right LM	GPT-1,GPT-2,GPT-3,LLaMA等	具有自回归特性，只能看到历史输入序列,预测下一个token仅依赖于当前和历史输入,而不能参考后续输入信息，既能处理自然语言生成式任务（NLG），又能处理自然语言理解式任务（NLU）。
Encoder only	Masked LM	BERT,RoBERTa等	不具有自回归特性，更适合于自然语言理解式任务（NLG），包括文本分类、情感分析，命名实体识别。
Encoder-Decoder	Transformer LM	T5, BART等	擅长处理输入和输出序列之间存在复杂映射关系的任务，比如翻译和文本总结。
Encoder-Decoder	Prefix LM	UniLM、GLM等	可以看到输入序列的前几个token作为条件上下文,在预测下一个token时同时参考前后信息，模型轻于Transformer LM，生成类任务的效果相差不大，语言理解类任务则存在明显差距。

必读论文

类别	流程/算法	论文、年份	Google学术引用次数
	Transormer	《Attention is all you need》，2017	104596
Decoder only
	GPT-1	《Improving language understanding by generative pre-training》，2018	7365
	GPT-2	《Language models are unsupervised multitask learners》，2019	7780
	GPT-3	《Language models are few-shot learners》，2020	17941
	GPT-3.5（ChatGPT）	《Training language models to follow instructions with human feedback》，2022	3535
	Llama	《Llama: Open and efficient foundation language models》，2023	2974
	Llama 2	《Llama 2: Open Foundation and Fine-Tuned Chat Models》，2023	1345
Encoder only
	BERT	《Bert: Pre-training of deep bidirectional transformers for language understanding》，2018	85950
	RoBERTa	《Roberta: A robustly optimized bert pretraining approach》，2019	10439
Encoder-Decoder
	T5	《Exploring the limits of transfer learning with a unified text-to-text transformer》，2020	12381
	BART	《Bart: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension》，2019	7495