다변량 시계열 분류기의 성능 향상을 위한 자기주의(Self-Attention) 및 상대적 위치 정보 통합

시계열 분류(TSC)는 다양한 시각 컴퓨팅 응용 분야에서 중요한 연구 과제이자 도전 과제이다. TSC를 위한 다양한 방법론이 개발되었음에도 불구하고, 깊은 신경망(DNN)을 활용한 접근법은 여전히 제한적이다. 본 논문에서는 특정 데이터셋이나 과제에 대해 설계 및 최적화된 DNN 기반 TSC 접근법에도 불구하고, 성능을 향상시킬 수 있는 두 가지 새로운 어텐션 블록(전역 시간적 어텐션(Global Temporal Attention) 및 시간적 가상-가우시안 증강 자기어텐션(Temporal Pseudo-Gaussian augmented Self-Attention))을 제안한다. 이러한 주장의 타당성을 입증하기 위해, 표준화된 30개의 다변량 시계열 분류(MTSC) 데이터셋으로 구성된 유럽동부대학교(UEA) 벤치마크에서 최신의 DNN 기반 TSC 모델들을 다수 평가하였다. 그 결과, 제안하는 어텐션 블록을 추가함으로써 기반 모델의 평균 정확도가 최대 3.6%까지 향상됨을 확인하였다. 또한, 제안하는 TPS(Temporal Pseudo-Gaussian) 블록은 트랜스포머에 상대적 위치 정보를 포함하기 위해 새로운 인젝션 모듈을 도입하였다. 계산 복잡도가 낮은 독립형 모듈로서의 특성 덕분에, TPS는 대부분의 최신 DNN 기반 TSC 방법보다 뛰어난 성능을 발휘할 수 있다. 본 연구에서 사용한 실험 설정 및 제안하는 어텐션 블록의 소스 코드는 모두 공개되어 있다.