다변량 시계열 표현 학습을 위한 Transformer 기반 프레임워크

본 연구에서는 다변량 시계열의 비지도 표현 학습을 위한 처음으로 트랜스포머 기반 프레임워크를 제안한다. 사전 훈련된 모델은 회귀 및 분류, 예측, 결측치 보간과 같은 하류 작업에 활용될 수 있다. 여러 다변량 시계열 회귀 및 분류를 위한 벤치마크 데이터셋에서 모델을 평가한 결과, 제안하는 모델링 방법은 지금까지 제시된 다변량 시계열의 비지도 학습을 활용한 가장 성공적인 방법임을 입증할 뿐만 아니라, 감독 학습 기반의 현재 최고 성능(SOTA)을 초과하는 성능을 보였다. 이는 훈련 샘플 수가 매우 제한적인 상황에서도 성능이 우수하며, 계산 효율성 또한 제공함을 의미한다. 마지막으로, 동일한 데이터 샘플을 비지도 목적 함수를 통해 재사용함으로써 추가적인 레이블 없는 데이터를 활용하지 않더라도, 본 연구에서 제안하는 트랜스포머 모델의 비지도 사전 훈련이 완전한 감독 학습보다 상당한 성능 향상을 제공함을 입증하였다.