回転位置埋め込み (RoPE)

RoPE は、Su Jianlin らによって提案された絶対位置エンコーディングです。その基本的な考え方は、絶対位置エンコーディングを通じてモデルが相対位置に注目できるようにすることです。