Encastrements Positionnels Rotatifs (RoPE)

RoPE a été proposé par Su Jianlin et d’autres. Il s'agit d'un codage de position absolue. Son idée de base est de permettre au modèle de prêter attention aux positions relatives grâce au codage de position absolue.