绝区壹--LLM的构建模块

前言

语言是人类交流的本质，大型语言模型 (LLM) 凭借其出色的理解和生成类似人类的文本的能力，彻底改变了我们与语言互动和利用语言的方式。深入研究 LLM 的构建块（向量、标记和嵌入），揭示了使这些模型能够以前所未有的复杂程度处理语言的复杂机制。

LLM 是变革性的 AI 系统，彻底改变了 NLP 领域。这些模型能够以非凡的流畅性和连贯性理解、生成和处理类似人类的文本。LLM 的核心是实现其卓越性能的基本构建块：向量、标记和嵌入。在这篇博客中，我将深入探讨这些组件的复杂性，并探索 LLM 如何利用它们以前所未有的复杂性处理和生成语言。

1. 向量：语言的数值表示

在 LLM 领域，语言被表示为数值向量，即密集的高维实数数组。这些向量是计算的基本单位，使 LLM 能够以捕捉语言语义和句法属性的方式对语言进行数学运算。

1.1 独热编码：传统方法

传统上，自然语言中的单词或标记使用独热编码方案表示。在这种方法中，词汇表中的每个单词都被分配一个唯一索引，并创建一个零向量，其长度等于词汇表的大小。该向量在与单词索引相对应的位置处具有单个值 1，在其他地方为零。

例如，如果词汇量为 10,000 个单词，并且单词“cat”的索引为 237，则它的独热编码将是一个长度为 10,000 的向量，其中位置 237 为 1，其他地方为 0。

虽然独热编码简单直观，但它也存在一些局限性。首先，它会创建高维稀疏向量，这对于大型词汇表来说计算效率低下。其次，更重要的是，它无法捕捉单词之间的语义关系，将每个单词视为一个孤立的实体。

1.2 分布式表示：密集向量的力量

为了解决独热编码的局限性，LLM 采用分布式表示，也称为密集向量表示或嵌入。在这种方法中，每个单词都由一个密集的实数向量表示，维度通常从几百到几千甚至更多。

这些密集向量旨在捕捉单词之间的语义和句法关系。具有相似含义或上下文的单词由高维向量空间中彼此靠近的向量表示，而不相似的单词则由相距较远的向量表示。

将单词转换为密集向量的过程称为词嵌入，这是 LLM 训练中的关键步骤。各种技术（例如 Word2Vec、GloVe 以及最近基于自注意力和转换器的方法）都用于从大量文本数据中学习这些嵌入。

与独热编码相比，密集向量表示有几个优点：

计算效率：密集向量的维度通常比独热向量低得多，从而实现更高效的计算并减少内存需求。
语义关系：高维空间中词向量的接近度捕获了语义和句法关系，使 LLM 能够理解和生成具有更高连贯性和上下文意识的文本。
泛化：通过将单词表示为密集向量，LLM 可以推广到未见过的单词或短语，只要它们的嵌入与已知单词或上下文的嵌入相似。
组合性：密集向量允许进行数学运算，例如加法和乘法，这些运算可用于组成和操作更大语言单位（如短语或句子）的表示。

1.3 子词标记和字节对编码

虽然词嵌入功能强大，但它们在处理词汇表外 (OOV) 单词方面存在局限性，这些单词是训练语料库中不存在的单词。为了解决这个问题，LLM 通常采用子词标记技术，例如字节对编码 (BPE)。

子词标记化是将单词分解为更小的单元（称为子词标记或词块）的过程。这些子词标记可以组合起来表示任何单词，包括在训练期间未见过的单词。

BPE 算法首先将每个单词表示为单个字符或字节的序列。然后，它会迭代地将最常见的连续字符或字节对合并为新标记，从而有效地创建子单词标记词汇表。此过程持续进行，直到达到所需的词汇表大小或满足特定的停止标准。

例如，“unbreakable”这个词可能被标记为“un##break##able”，其中“##”是用于表示子词单元的特殊分隔符。

通过使用子词标记化，LLM 可以更有效地处理 OOV 词，因为它们可以通过组合已知的子词标记来表示甚至未见过的词。这种方法还有助于减少词汇量，从而提高计算效率和模型性能。

2. 标记：语言表征的基石

在 LLM 中，token 是语言表示的基本单位。它们可以是单词、子单词或模型用来处理和生成文本的特殊符号。

2.1 标记词汇

LLM 通常具有预定义的标记词汇表，这是一组用于表示语言的唯一标记。此词汇表可以包括：

单词标记：来自训练语料库的单个单词。
子词标记：通过 BPE 等标记化技术获得的子词单元。
特殊标记：具有特定用途的标记，例如序列开始标记、序列结束标记、填充标记或分隔标记。

标记词汇表的大小可能因模型和所用的标记化策略而异。词汇表越大，可以捕捉到更多的语言细微差别，但也可能增加计算复杂性和内存需求。

2.2 标记嵌入

词汇表中的每个标记都与一个密集向量表示相关联，称为标记嵌入。这些嵌入是在训练过程中学习的，用于在高维向量空间中表示标记。

标记嵌入可以捕获标记的语义和句法属性，从而使模型能够推理它们之间的关系和上下文。相似的标记往往具有在向量空间中相近的嵌入，而不相似的标记则具有相距较远的嵌入。

标记嵌入在 LLM 的输入和输出处理中起着至关重要的作用。当一段文本被输入到模型中时，它首先被标记化，每个标记被映射到其相应的嵌入。然后，这些嵌入由模型的层处理以生成所需的输出，例如文本的延续、翻译或特定于任务的结果。

2.3 位置嵌入

除了标记嵌入之外，LLM 还经常利用位置嵌入来整合序列中标记的位置或顺序信息。这很重要，因为单词或短语的含义可能会根据其在句子或上下文中的位置而改变。

位置嵌入通常在训练期间学习，并添加到标记嵌入中，然后再由模型层进行处理。这使得模型能够捕获位置信息并根据标记在序列中的位置来理解它们之间的关系。

已经提出了各种表示位置信息的技术，包括正弦位置编码、学习位置嵌入和相对位置编码。位置编码策略的选择会影响模型的性能及其处理语言中长距离依赖关系的能力。

3. 嵌入：语言的语义表征

嵌入是一种密集的向量表示，可以捕获语言单元（例如单词、短语或句子）的语义和句法属性。它们在 LLM 的性能中发挥着至关重要的作用，使这些模型能够以有意义且具有上下文感知的方式推理语言。

3.1 词嵌入

如前所述，词向量是单个单词的密集向量表示。它们通常使用 Word2Vec、GloVe 等技术从大量文本数据中学习而来，或者使用最近在 Transformer 模型中使用的基于自注意力的方法。

词嵌入通过将相似的单词放在高维向量空间中紧密相连来捕获单词之间的语义关系。此属性使 LLM 能够理解单词的含义和上下文，从而实现语言生成、翻译和文本摘要等任务。

3.2 短语和句子嵌入

虽然词向量非常强大，但它们无法捕捉较大语言单位（例如短语或句子）的全部含义和细微差别。为了解决这个问题，LLM 通常采用技术来生成短语和句子的向量。

3.2.1 组合短语和句子嵌入

获取短语和句子嵌入的一种方法是通过组合，即使用加法、乘法或更复杂的函数等数学运算将各个单词的嵌入组合在一起。其基本原理是组合性的概念，这意味着可以从较大语言单位的含义及其组成部分的含义和组合规则中得出较大语言单位的含义。

对于短语或句子，可以使用向量运算将各个标记的词嵌入组合起来，以创建表示整个短语或句子的单个嵌入。例如，一种简单的方法可以是对短语或句子中的词嵌入取元素平均值或总和，以创建组合嵌入。

更先进的技术包括使用循环神经网络 (RNN) 或卷积神经网络 (CNN) 以更复杂的方式组合词向量，同时考虑单词之间的顺序和结构关系。这些方法可以捕捉重要的语言现象，例如否定、修饰和语义组合性。

3.2.2 语境化嵌入

虽然组合嵌入可以捕捉短语和句子含义的某些方面，但它们往往无法捕捉语言的完整语境和细微差别。为了解决这一限制，LLM 采用技术来生成语境化嵌入，在表示语言单位时会考虑周围的语境。

生成语境化嵌入的一种主要方法是使用基于 Transformer 的语言模型，例如 BERT、GPT 及其变体。这些模型利用自注意力机制和双向语境来生成受周围文本动态影响的嵌入。

在基于 Transformer 的模型中，输入序列首先被标记化并映射到标记嵌入，然后通过多个编码器或解码器层。这些层应用自注意力机制，允许根据每个标记与序列中其他标记的关系来更新其嵌入。

由此产生的语境化嵌入可以捕捉语言单元在特定语境中的含义，同时考虑到词序、句法结构和语义关系等因素。事实证明，这些嵌入可以显著提高各种 NLP 任务的性能，包括问答、文本分类和语言生成。

4. 大型语言模型的整体架构

虽然向量、token 和嵌入是 LLM 的基本组成部分，但这些模型采用了复杂的架构和训练策略来实现其卓越的语言理解和生成能力。在本节中，我们将探索 LLM 的整体架构，重点关注 Transformer 模型和自注意力机制。

4.1 Transformer 架构

Transformer 架构彻底改变了 LLM 领域，并为许多最先进的模型奠定了基础，例如 BERT、GPT 及其变体。

Transformer 架构基于自注意力机制，该机制允许模型通过关注输入序列的相关部分来捕获语言中的长程依赖关系。这与传统的循环神经网络 (RNN) 和长短期记忆 (LSTM) 模型不同，后者由于计算的顺序性，很难捕获长程依赖关系。

Transformer 架构由编码器和解码器组成，每个编码器和解码器均由多个层组成。编码器层处理输入序列并生成上下文化嵌入，而解码器层则根据这些嵌入和先前生成的标记生成输出序列。

4.2 自注意力机制

自注意力机制是 Transformer 架构的核心组件，负责捕获输入序列中 token 之间的关系。它允许模型在计算特定 token 的表示时动态地为序列的不同部分分配重要性权重。

在自注意力机制中，每个 token 的嵌入被转换为三个向量：查询向量、键向量和值向量。然后使用缩放点积运算将查询向量与序列中所有其他 token 的键向量进行比较。这会产生注意力分数，表示每个 token 与当前正在处理的 token 的相关性。

然后使用这些注意力分数来计算值向量的加权和，为当前标记生成一个新的表示，该表示包含来自输入序列的最相关部分的信息。

自注意力机制并行应用于多个注意力头，每个注意力头关注输入序列的不同方面。然后，这些注意力头的输出被组合起来，并通过前馈神经网络来产生最终的语境化嵌入。

4.3 多头注意力和位置编码

除了自注意力机制之外，Transformer 架构还采用了其他几个关键组件来增强其性能并处理语言处理的不同方面。

多头注意力机制：Transformer 架构不再依赖单一的注意力机制，而是使用多个注意力头，每个注意力头负责输入序列的不同部分。这些多个注意力头使模型能够捕捉输入中不同类型的关系和依赖关系，从而提高其整体表征能力。

位置编码：由于自注意力机制将输入序列视为一组标记嵌入，因此它缺少有关序列中标记的顺序或位置的信息。为了解决这个问题，Transformer 架构结合了位置编码，这些编码在自注意力计算之前添加到标记嵌入中。这些位置编码为模型提供了有关标记的相对或绝对位置的信息，使其能够捕获语言中的顺序和结构依赖关系。