• ​​​​​​第1章 对大型语言模型的介绍
• 第2章 分词和嵌入
• 第3章 解析大型语言模型的内部机制
• 第4章 文本分类
• 第5章 文本聚类与主题建模
• 第6章 提示工程
• 第7章 高级文本生成技术与工具
• 第8章 语义搜索与检索增强生成
• 第10章 构建文本嵌入模型
• 第11章 面向分类任务的表示模型微调
• 第12章 微调生成模型

当提到大型语言模型（LLMs）时，多模态能力或许并非首先跃入脑海的概念。毕竟，它们本质上是语言模型！但我们很快会发现，如果模型能够处理文本以外的数据类型，其实用性将得到极大提升。例如，若语言模型能"看一眼"图片并就其内容回答问题，这种能力将极具价值。如图9-1所示，能够同时处理文本和图像（每种数据类型被称为一种模态）的模型即被称为多模态模型。

图9-1. 能够处理不同类型（或模态）数据的模型（如图像、音频、视频或传感器数据）被称为多模态模型。值得注意的是，模型可能具备接收某种模态输入的能力，但并不一定具备生成该模态输出的能力

我们已经看到大型语言模型（LLMs）展现出各种新兴能力，从泛化能力和推理能力到算术运算和语言学应用。随着模型变得越来越大且越来越智能，它们的技能集也在持续扩展¹。

接收并推理多模态输入的能力可能进一步增强，并帮助释放此前被限制的潜力。实际上，语言并非存在于真空中。例如，你的肢体语言、面部表情、语调等都是增强口头表达的交流方式。同样的逻辑也适用于LLMs——如果我们能使其具备对多模态信息的推理能力，它们的潜力将得到释放，我们也将能够将其用于解决新型问题。

在本章中，我们将探索多种具备多模态能力的LLMs及其在实际应用场景中的意义。首先，我们将通过改进原始Transformer技术，研究图像如何被转化为数值表示；接着，我们将展示如何通过这种Transformer扩展LLMs以涵盖视觉任务。

视觉Transformer

1  Jason Wei et al. “Emergent abilities of large language models.” arXiv preprint arXiv:2206.07682 (2022).

2  Alexey Dosovitskiy et al. “An image is worth 16x16 words: Transformers for image recognition at scale.” arXiv preprint arXiv:2010.11929 (2020).

图9-2原始Transformer模型与视觉Transformer模型均接收非结构化数据，将其转换为数值表示，并最终用于分类等任务

图9-3. 文本首先通过分词器（tokenizer）进行分词处理，随后被传入一个或多个编码器（encoder）中

由于图像不包含文字，这种分词流程无法直接应用于视觉数据。为此，Vision Transformer（ViT）的作者们提出了一种将图像分割为"词"的词元方法，使其能够沿用原始的编码器架构。

试想一幅猫的图像。该图像由若干像素构成，比如512×512像素规格。单个像素承载的信息量微乎其微，但当我们将像素组合成块时，图像的细节特征便开始逐渐显现。

ViT采用了类似的处理原理。与将文本拆分为词元不同，它将原始图像转化为由多个图像块组成的集合。具体而言，如图9-4所示，该模型通过横向和纵向切割，将输入图像分割为若干离散的图像块单元。

图9-4. 图像输入的“分块化”过程。该过程将图像分割为多个子图像块

就像我们将文本转换为文本词元（tokens）一样，我们也将图像转换为一系列图像块（patches）。图像块的展平输入可以被视为一段文本中的词元。然而与文本词元不同，我们不能简单地为每个图像块分配一个ID，因为这些图像块在其他图像中很少重复出现（不像文本拥有固定词汇表）。

取而代之的是，图像块通过线性嵌入（linearly embedded）生成数值化表示，即嵌入向量（embeddings）。这些嵌入向量随后可作为Transformer模型的输入。通过这种方式，图像块被以与文本词元完全相同的方式进行处理。完整流程如图9-5所示。

为便于说明，示例中的图像被分割为3×3的块，但原始论文实现实际使用了16×16的块（毕竟这篇论文的标题正是《一张图像价值16x16个词》）。

这种方法最有趣之处在于：一旦嵌入向量被传递到编码器，它们就被视作与文本词元完全相同的存在。从这一刻起，无论是处理文本还是图像，模型的训练方式将没有任何差异。

基于这种相似性，Vision Transformer（ViT）常被用于构建多模态语言模型。其最直接的应用场景之一就是在嵌入模型（embedding models）的训练过程中发挥作用。

图9-5. ViT背后的主要算法。将图像分块并进行线性投影后，这些图像块嵌入会被输入到编码器中，并像处理文本词元一样进行处理

多模态嵌入模型

CLIP如何生成多模态嵌入？

图9-10. 在CLIP训练的第二步中，通过余弦相似度计算句子与图像嵌入之间的相似度

OpenCLIP

​
from urllib.request import urlopenfrom PIL import Image# Load an AI-generated image of a puppy playing in the snowpuppy_path = "https://raw.githubusercontent.com/HandsOnLLM/Hands-On-Large-Language-Models/main/chapter09/images/puppy.png"image = Image.open(urlopen(puppy_path)).convert("RGB")caption = "a puppy playing in the snow"​

图9-13. CLIP预处理后的输入图像。

要将此预处理后的图像转换为嵌入向量，我们可以像之前一样调用模型并查看其返回的形状

# Create the image embeddingimage_embedding = model.get_image_features(processed_image)image_embedding.shape

这将返回以下形状：

torch.Size([1, 512])

请注意，所得图像嵌入向量的形状与文本嵌入向量的形状相同。这一点非常重要，因为它允许我们比较两者的嵌入向量以判断相似性。

我们可以通过以下方式计算它们的相似度：首先对嵌入向量进行归一化处理，然后计算点积得到相似度得分：

# Normalize the embeddingstext_embedding /= text_embedding.norm(dim=-1, keepdim=TΓue)image_embedding /= image_embedding.norm(dim=-1, keepdim=TΓue)# Calculate their similaritytext_embedding = text_embedding.detach().cpu().numpy()image_embedding = image_embedding.detach().cpu().numpy()score = np.dot(text_embedding, image_embedding.T)

这将给出如下相似度得分：

我们得到的相似性得分为0.33，但若不清楚模型对低分与高分的判定标准，这一结果将难以直接解读。因此，我们通过图9-14展示的更多图像与文本示例进行扩展分析.

图9-14. 三张图像与三段文本之间的相似性矩阵

从矩阵中可见，与其他图像更低的相似性得分相比（例如0.083等极低值），0.33的得分实际上已属于较高水平。

使用Sentence Transformers加载CLIP模型.Sentence Transformers实现了多个基于CLIP的模型，可大幅简化嵌入向量的生成过程。只需几行代码即可完成：

from sentence_transformers import SentenceTransformer, util# Load SBERT-compatible CLIP modelmodel = SentenceTransformer("clip-ViT-B-32")# Encode the imagesimage_embeddings = model.encode(images)# Encode the captionstext_embeddings = model.encode(captions)#Compute cosine similaritiessim_matrix = util.cos_sim(image_embeddings, text_embeddings)

让文本生成模型具备多模态能力

BLIP-2：弥合模态差距

与其从头开始构建架构，BLIP-2通过搭建一座名为"查询变换器"（Querying Transformer/Q-Former）的桥梁结构，实现了视觉与语言的跨模态连接——这座桥梁巧妙地将预训练图像编码器与预训练大语言模型（LLM）衔接起来5。

该设计充分体现了技术复用理念：通过调用现有预训练模型，BLIP-2仅需训练这座桥梁结构，而无需对图像编码器和LLM进行从头训练，从而高效利用了现有技术及模型资源！这种创新架构如图9-16所示。

图9-16. Querying Transformer是视觉（ViT）与文本（LLM）之间的桥梁，也是整个流程中唯一可训练的组件

为了连接两个预训练模型，Q-Former 借鉴了它们的架构。它包含两个共享注意力层的模块：

• 图像Transformer：用于与冻结的视觉Transformer交互以实现特征提取
• 文本Transformer：用于与大语言模型（LLM）交互

如图9-17所示，Q-Former 分两个阶段进行训练，每个模态各一个阶段：

在第一步中，使用图像-文档对训练Q-Former 使其能够同时表征图像和文本。这类图像-文档对通常采用图像描述（如我们在训练CLIP时所见）。

具体流程如下：

图像被输入到冻结的ViT中以提取视觉嵌入，这些嵌入将作为Q-Former视觉Transformer的输入。而图像描述则作为Q-Former文本Transformer的输入。

5  Junnan Li et al. “BLIP-2: Bootstrapping language-image pretraining with frozen image encoders and large language models.” International Conference on Machine Learning. PMLR, 2023.

图9-17. 在第一步中，通过表示学习同时学习视觉和语言的表征。在第二步中，这些表征被转化为软视觉提示以输入大语言模型

通过这些输入，Q-Former通过以下三个任务进行训练：

图像-文本对比学习

该任务试图对齐图像与文本的嵌入对，以最大化它们的互信息。

图像-文本匹配

这是一个分类任务，用于预测图像与文本对是正例（匹配）还是负例（不匹配）。

基于图像的文本生成

训练模型根据从输入图像中提取的信息生成文本。

这三个目标被联合优化，以改进从冻结的ViT中提取的视觉表征。从某种意义上说，我们试图将文本信息注入冻结的ViT的嵌入中，以便在LLM中使用它们。BLIP-2的这第一步如图9-18所示。

图9-18 在第一步中，冻结的ViT输出与其对应的描述文本共同用于训练，通过三个类对比学习任务来学习视觉-文本表征。

第二步中，从第一步获得的可学习嵌入已包含与对应文本信息处于相同维度空间的视觉信息。这些可学习嵌入随后被输入到大型语言模型（LLM）中。从某种意义上说，这些嵌入作为软视觉提示，通过Q-Former提取的视觉表征来调节LLM的条件生成。两者之间还包含一个全连接线性层，以确保可学习嵌入的形状与LLM的输入要求一致。这种将视觉转换为语言的第二步骤如图9-19所示。

图9-19. 在步骤2中，来自Q-Former的学习嵌入通过投影层传输至大型语言模型（LLM）。这些经过投影的嵌入将作为软性视觉提示使用

当我们将这些步骤结合起来时，Q-Former能够在同一维度空间中学习视觉和文本表示，这些表示可作为向大语言模型（LLM）提供的软提示。因此，LLM将以与您向LLM提供提示时类似的上下文方式接收关于图像的信息。完整的深入处理过程如图9-20所示

图9-20. 完整的BLIP-2流程

自BLIP-2发布以来，相继涌现出许多具有类似架构的视觉大语言模型（Visual LLM）。例如通过文本大语言模型实现多模态能力的LLaVA框架6，以及基于Mistral 7B大语言模型构建的高效视觉大语言模型Idefics27。尽管这些视觉大语言模型采用不同的架构设计，但其核心思路均是通过将预训练的类CLIP视觉编码器与文本大语言模型相连接，实现将输入图像中的视觉特征投射到语言嵌入空间，使其可作为大语言模型的输入。这种架构设计与Q-Former类似，旨在弥合图像与文本之间的表征鸿沟。

6  Haotian Liu et al. “Visual instruction tuning.” Advances in Neural Information Processing Systems 36 (2024).

7  Hugo Laurençon et al. “What matters when building vision-language models?” arXiv preprint arXiv:2405.02246 (2024).

预处理多模态输入

​
# Load image of a supercarcar_path = "https://raw.githubusercontent.com/HandsOnLLM/Hands-On-Large-Language-Models/main/chapter09/images/car.png"image = Image.open(urlopen(car_path)).convert("RGB")​

# Preprocess the imageinputs = blip_processor(image, return_tensors="pt").to(device, torch.float16)inputs["pixel_values"].shape 

预处理文本

现在让我们转而用文本继续探索这个处理器。首先，我们可以访问用于对输入文本进行分词的分词器：

blip_processor.tokenizer

这将输出以下内容：

GPT2TokenizerFast(name_or_path='Salesforce/blip2-opt-2.7b', vocab_size=50265,

model_max_length=1000000000000000019884624838656, is_fast=True, pad-

ding_side='right', truncation_side='right', special_tokens={'bos_token': '</

s>', 'eos_token': '</s>', 'unk_token': '</s>', 'pad_token': '<pad>'},

clean_up_tokenization_spaces=True), added_tokens_decoder={

1: AddedToken("<pad>", rstrip=False, lstrip=False, single_word=False, normal-

ized=True, special=True),

2: AddedToken("</s>", rstrip=False, lstrip=False, single_word=False, normal-

ized=True, special=True),

}

此处使用的BLIP-2模型采用了GPT2分词器。正如我们在第2章探讨的，不同分词器处理输入文本的方式可能存在显著差异。

为了探究GPT2Tokenizer的工作原理，我们可以用一个简短的句子进行测试。首先将句子转换为词元ID，然后再将这些ID还原为原始词元：

# Preprocess the texttext =  "Her  vocalization  was  remarkably  melodic"token_ids = blip_processor(image , text=text ,  return_tensors="pt")token_ids = token_ids.to(device , torch.float16)["input_ids"][0]# Convert input ids back to tokenstokens = blip_processor.tokenizer.convert_ids_to_tokens(token_ids)

得到的词元如下：

['</s>',  'Her',  'Ġvocal',  'ization',  'Ġwas',  'Ġremarkably',  'Ġmel',  'odic']

当我们检查令牌时，您可能会注意到某些令牌开头有一个奇怪的符号——即Ġ符号。这实际上应该是一个空格。然而，某个内部函数会将特定代码点的字符偏移256位使其可显示。因此，原本空格（代码点32）就变成了Ġ（代码点288）。出于说明目的，我们将把这些符号转换为下划线：

# Replace the space token with an underscoretokens  =  [token.replace("Ġ" ,  "_ ")  for token in tokens]

这为我们提供了更美观的输出：

['</s>',  'Her',  ' _vocal',  'ization',  ' _was',  ' _remarkably',  ' _mel',  'odic']

输出显示下划线表示单词的起始位置。通过这种方式，可以识别由多个词元组成的单词。

用例1：图像字幕生成

# Load an AI-generated image of a supercarimage = Image.open(urlopen(car_path)).convert("RGB")# Convert an image into inputs and preprocess itinputs = blip_processor(image, return_tensors="pt").to(device, torch.float16)

# Generate image ids to be passed to the decoder (LLM)generated_ids = model.generate(**inputs, max_new_tokens=20)# Generate text from the image idsgenerated_text = blip_processor.batch_decode(generated_ids, skip_special_tokens=TΓue )generated_text = generated_text[0].strip()

生成的文本包含如下描述：

an orange supercar driving on the road at sunset

这似乎是对这张图片的完美描述！

图像字幕生成是一个很好的入门方法，可以帮助你在进入更复杂的应用场景之前熟悉这个模型。你可以尝试用一些图片亲自测试，观察它在哪些场景表现良好，哪些场景存在不足。对于特定领域的图像（如特定卡通角色或虚构生物的图片），模型的表现可能会受限，因为它主要基于公开数据进行训练。

让我们以一个有趣的例子结束本章节——图9-21展示的罗夏测验图像。这个心理实验通过墨迹图测试个体对抽象图案的感知8，据罗伊·沙费尔（Roy Schafer）在《罗夏测验中的精神分析解读：理论与应用》（1954年）中的描述，受试者在墨迹中看到的形象被认为能反映其性格特征。尽管这种测试具有很强的主观性，但这也正是它的魅力所在！

图9-21. 罗夏墨迹测验中的一幅图像。你从中看到了什么？

让我们以图9-21展示的图像作为输入：

​
# Load Rorschach imageurl = "https://upload.wikimedia.org/wikipedia/commons/7/70/Rorschach_blot_01.jpg"image = Image.open(urlopen(url)).convert("RGB")# Generate captioninputs = blip_processor(image, return_tensors="pt").to(device, torch.float16)generated_ids = model.generate(**inputs, max_new_tokens=20)generated_text = blip_processor.batch_decode(generated_ids, skip_special_tokens=TΓue )generated_text = generated_text[0].strip()​

8  Roy Schafer. Psychoanalytic Interpretation in Rorschach Testing: Theory and Application (1954).

与之前一样，当我们检查generated_text变量时，可以看到其生成的说明文字：

一幅黑白墨水绘制的蝙蝠图像

我完全能理解模型为何会用这样的描述来为这幅图像添加说明文字。鉴于这实际上是一个罗夏墨迹测试，您认为这说明了模型的哪些特点？

用例2：基于多模态聊天的提示

# Load an AI-generated image of a supercarimage = Image.open(urlopen(car_path)).convert("RGB")

# Visual question answeringprompt = "Question: Write down what you see in this picture. Answer:"# Process both the image and the promptinputs = blip_processor(image, text=prompt, return_tensors="pt").to(device,torch.float16)# Generate textgenerated_ids = model.generate(**inputs, max_new_tokens=30)generated_text = blip_processor.batch_decode(generated_ids, skip_special_tokens=TΓue )generated_text = generated_text[0].strip()