摘要

注意力机制（Attention Mechanism）是一种在深度学习和人工智能中广泛使用的技术，旨在使模型在处理信息时能够重点关注重要的部分，从而提升任务的效率和精度。它最初应用于自然语言处理（NLP），并迅速扩展到计算机视觉（CV）、语音处理等领域。

什么是注意力机制？

注意力机制模仿了人类的注意力分配过程。在面对大量信息时，人类不会对每一部分内容平均分配注意力，而是会优先关注重要的部分。计算机通过注意力机制实现类似的功能，即在处理输入数据时动态地分配更多资源到对当前任务最重要的部分。
例如，在机器翻译中，注意力机制使模型能够聚焦于源句子中与目标词汇最相关的部分，而不是处理整个句子。

LlaMA 中注意力机制的数学定义

LLaMA 的注意力机制采用标准 Transformer 的自注意力结构，其计算公式为：
注意力机制公式
$\text{Attention}(Q,K,V)=\text{softmax}\left(\frac{Q{K}^{\top }}{\sqrt{d}}\right)V$
其中：

• $Q=X{W}_Q$：查询（Query），通过输入 $X$ 和权重矩阵 $W_Q$投影生成。
• $K=X{W}_K$：键（Key），通过输入 $X$ 和权重矩阵 $W_K$投影生成。
• $V=X{W}_V$：值（Value），通过输入 $X$ 和权重矩阵 $W_V$投影生成。
• $W_V\in {\mathbb{F}}^{di{m}_{\text{head}}\times dim}$，$di{m}_{\text{head}}=\frac{dim}{thenumberofhead}$
• softmax 是计算注意力分数的归一化函数。
• 值得注意的是，$d$是$\frac{hidden\_size}{num\_attention\_heads}$，也是 $Q/K/V$ 向量的长度。进行这种缩放是为了防止大值在下一步中主导标准化（softmax）。