다변량 시계열 분류를 위한 Transformer의 위치 인코딩 개선

Transformers는 딥러닝의 다양한 응용 분야에서 뛰어난 성능을 보여왔다. 시계열 데이터에 적용할 경우, Transformer는 시계열 데이터의 순서를 효과적으로 포착하기 위해 효율적인 위치 인코딩(position encoding)이 필요하다. 그러나 시계열 분석에서 위치 인코딩의 효과성에 대한 연구는 아직 충분히 이루어지지 않았으며, 여전히 논란의 여지가 있다. 예를 들어, 절대 위치 인코딩(absolutely position encoding)을 사용하는 것이 좋을지, 상대 위치 인코딩(relative position encoding)을 사용하는 것이 더 효과적일지, 또는 둘을 결합하는 것이 더 나은지에 대한 문제이다. 이러한 논점을 명확히 하기 위해, 본 연구에서는 먼저 시계열 분류에 적용된 기존의 절대 및 상대 위치 인코딩 방법을 종합적으로 검토한다. 그 후, 시계열 데이터에 특화된 새로운 절대 위치 인코딩 방법인 Time Absolute Position Encoding (tAPE) 를 제안한다. 제안된 tAPE는 시계열 길이와 입력 임베딩 차원을 고려하여 절대 위치 인코딩을 구성한다. 또한, 시계열 데이터에 대한 일반화 능력을 향상시키기 위해 계산 효율적인 상대 위치 인코딩 기법인 eRPE(efficient Relative Position Encoding)를 제안한다. 이후, tAPE와 eRPE를 결합하고 컨볼루션 기반의 입력 인코딩을 활용한 새로운 다변량 시계열 분류(MTSC) 모델인 ConvTran 을 제안한다. 이 모델은 시계열 데이터의 위치 정보와 데이터 임베딩을 동시에 개선한다. 제안된 절대 및 상대 위치 인코딩 방법은 간단하고 효율적이며, Transformer 블록에 쉽게 통합 가능하며, 예측, 외생 회귀, 이상 탐지와 같은 하류 작업에 활용할 수 있다. 32개의 다변량 시계열 데이터셋에 대한 광범위한 실험 결과, 제안 모델은 최신의 컨볼루션 기반 및 Transformer 기반 모델들보다 유의미하게 높은 정확도를 보였다. 코드 및 모델은 \url{https://github.com/Navidfoumani/ConvTran} 에 공개되어 있다.