DAPE 위치 인코딩 방법

DAPE는 데이터 적응형 위치 인코딩(Data-Adaptive Positional Encoding)의 약자로, 홍콩 중국 대학의 정촨양(Zheng Chuanyang) 등이 제안한 새로운 위치 인코딩 방법입니다. 연구팀에는 싱가포르 국립대학교, 노아 랩, 홍콩대학교, 홍콩 침례대학교의 연구원도 포함되어 있습니다. 본 연구는 NeurIPS 2024에 수락되었으며, 논문 결과는 "DAPE: 길이 외삽을 위한 데이터 적응형 위치 인코딩"

DAPE는 입력 컨텍스트와 학습된 고정된 사전 지식에 맞춰 위치 인코딩을 동적으로 조정하여 긴 텍스트를 처리할 때 모델의 성능을 크게 향상시킵니다. 의미 정보와 위치 정보를 결합하여 입력 데이터에 따라 위치 인코딩을 적응적으로 조정할 수 있으며, 기존 위치 인코딩 방식(예: 절대 위치 인코딩 APE, 상대 위치 인코딩 RPE)의 한계를 극복합니다.

DAPE의 핵심 아이디어는 2계층 신경망을 사용하여 위치 인코딩을 매개변수화하여 입력 컨텍스트에 따라 동적으로 조정할 수 있도록 하는 것입니다. 이 아키텍처를 사용하면 위치 인코딩이 적응적이고 입력 데이터에 따라 달라질 수 있습니다. 자연어 작업에서 DAPE는 토큰 간의 복잡한 관계를 포착하도록 설계되었습니다. DAPE는 의미 정보와 위치 정보를 결합함으로써 장문 텍스트 처리에서 Transformer 모델의 성능을 크게 향상시킵니다.