RoPE旋转位置编码浅析
本文介绍了旋转位置编码RoPE在大模型中的广泛应用,包括Llama、Mistral 7B、Baichuan、ChatGLM、Qwen、…等。由于计算资源限制,大模型通常在较小的上下文长度中进行训练,导致在推理超出预训练长度时性能显著下降。为了解决这个问题,涌现了许多基于RoPE的长度外推工作,旨在让大模型在预训练长度之外取得更好的效果。RoPE将相对位置信息集成到自注意力中,具有较好的位置外推性,并可与Flash-Attention v2配合使用,提升模型训练速度约20%.
论文 ROFORMER
论文:ROFORMER: ENHANCED TRANSFORMER WITH ROTARY POSITION EMBEDDING
链接:https://arxiv.org/pdf/2104.09864.pdf
论文提出了一种称为 Rotary Position embedding(RoPE)的新方法,该方法有效地利用了局部信息。提出的RoPE以旋转矩阵算法编码绝对位置,而同时考虑了对单词的局部依赖性。不仅如此,RoPE能够获得宝贵的特性,包括连贯的序列长度、随着相对距离的增加文本之间的依赖性和线性自我注意的能力。
ROFORMER是一种配合Attention机制能达到“绝对位置编码的方式实现相对位置编码”的设计。