旋转式位置编码 (Rotary Positional Embeddings, RoPE)

RoPE 由苏剑林等人提出，是一种绝对位置编码，其基本思路是通过绝对位置编码的方式，使得模型可以注意到相对位置。