일관된 훈련을 통한 보편적 시계열 예측 트랜스포머

시계열 예측을 위한 딥러닝은 전통적으로 데이터셋당 하나의 모델을 사용하는 프레임워크 내에서 운영되어 왔으며, 이는 대규모 사전 훈련 모델이 가져올 수 있는 혁신적인 영향력을 최대한 활용하지 못하게 했다. 다양한 시계열 데이터셋에 대해 사전 훈련된 기반으로 등장한 '일반화 예측(ubiquitous forecasting)' 개념은 하나의 대규모 시계열 모델이 다양한 하류 예측 과제를 수행할 수 있도록 하는 것을 목표로 한다. 그러나 이러한 모델을 구축하는 것은 시계열 데이터 고유의 특수한 도전 과제를 수반한다. 첫째, 다양한 주파수 간의 학습(cross-frequency learning), 둘째, 다변량 시계열에서 임의의 수의 변수(variates)를 처리할 수 있는 능력, 셋째, 대규모 데이터에 내재된 다양한 분포적 특성(distributional properties)을 다루는 것이다. 이러한 과제를 해결하기 위해, 우리는 기존의 시계열 트랜스포머 아키텍처에 새로운 개선점을 도입하여, 마스킹 인코더 기반의 일반화 시계열 예측 트랜스포머(Moirai)를 제안한다. Moirai는 9개의 분야에서 270억 개 이상의 관측치를 포함하는 새로운 대규모 오픈 시계열 아카이브(Large-scale Open Time Series Archive, LOTSA)를 기반으로 훈련되었으며, 전체 샘플( full-shot ) 모델과 비교해도 제로샷(zero-shot) 예측 성능에서 경쟁력 있거나 우수한 성과를 달성한다. 코드, 데이터, 모델 가중치는 https://github.com/SalesforceAIResearch/uni2ts 에서 확인할 수 있다.