HyperAI초신경

회전 위치 매립(RoPE)

RoPE는 Su Jianlin 등이 제안했습니다. 이는 절대 위치 인코딩입니다. 기본 아이디어는 절대 위치 인코딩을 통해 모델이 상대적 위치에 주의를 기울일 수 있도록 하는 것입니다.