TEMPO: 시계열 예측을 위한 프롬프트 기반 생성형 사전 훈련된 Transformer

지난 10년 동안 딥러닝을 활용한 시계열 모델링 분야에서 중요한 진전이 이루어졌다. 최첨단 성능을 달성함에 있어 가장 우수한 아키텍처는 응용 분야와 도메인에 따라 크게 달라진다. 한편 자연어 처리 분야에서는 생성형 사전 학습 트랜스포머(Generative Pre-trained Transformer, GPT)가 다양한 텍스트 데이터셋을 통합하여 하나의 일반 목적 모델을 학습함으로써 놀라운 성능을 보여주었다. 이러한 성과를 바탕으로, GPT 유사 아키텍처가 시계열 데이터에 효과적으로 적용될 수 있는지, 즉 시계열의 내재적 동적 특성을 효과적으로 포착하여 정확도를 크게 향상시킬 수 있는지 탐구하는 것은 매우 흥미로운 과제이다. 본 논문에서는 시계열 표현을 효과적으로 학습할 수 있는 새로운 프레임워크 TEMPO를 제안한다. 본 연구는 사전 학습 모델을 위한 시계열 작업의 두 가지 핵심 인덕티브 바이어스(유도 편향)를 활용하는 데 초점을 맞춘다. 첫째, 추세(trend), 계절성(seasonal), 잔차(residual) 구성 요소 간의 복잡한 상호작용을 분해하는 방식이며, 둘째, 다양한 종류의 시계열 데이터에 대한 분포 적응을 촉진하기 위해 프롬프트(prompt) 설계를 도입하는 것이다. TEMPO는 다양한 도메인의 데이터 내에서 실제 세계의 시간적 현상을 동적으로 모델링할 수 있는 능력을 확장한다. 실험 결과, 여러 시계열 기준 데이터셋에서 제로샷(zero-shot) 설정에서 기존 최첨단 방법들에 비해 TEMPO가 우수한 성능을 보였다. 이러한 성능 향상은 이전에 본 적 없는 데이터셋이 포함된 시나리오뿐 아니라 다중 모달 입력이 존재하는 상황에서도 관찰되었다. 이 놀라운 결과는 TEMPO가 기초 모델 구축 프레임워크로서의 잠재력을 지니고 있음을 강력히 시사한다.