Transformer模型在多模态数据处理中扮演着重要角色，其能够高效、准确地处理包含不同类型（如图像、文本、音频、视频等）的多模态数据。

Transformer工作原理四部曲：Embedding（向量化）、Attention（注意力机制）、MLPs（多层感知机）和Unembedding（模型输出）。

阶段一：Embedding（向量化）
“Embedding”在字面上的翻译是“嵌入”，但在机器学习和自然语言处理的上下文中，我们更倾向于将其理解为一种“向量化”或“向量表示”的技术。
（1）Tokenization（词元化）：

对于文本数据：在自然语言处理（NLP）中，将输入的文本内容（如句子、段落或整个文档）拆分成更小的片段或元素，这些片段通常被称为词元（tokens）。

对于非文本数据（如音频、图像或视频）：在音频处理中，音频信号可以被分割成帧（frames）作为音频词元；
在图像处理中，图像可以被分割成图像块（patches）作为图像词元；在视频处理中，视频可以被分割成视频块（patches）作为视频词元。

（2）Em