Rotierende Positionseinbettungen (RoPE)

RoPE wurde von Su Jianlin und anderen vorgeschlagen. Es handelt sich um eine absolute Positionskodierung. Die Grundidee besteht darin, dem Modell durch die Kodierung absoluter Positionen die Berücksichtigung relativer Positionen zu ermöglichen.