17일 전
오직 곡선 형태만이 중요하다: 다음 곡선 형태 예측을 통한 제로샷 다변량 시계열 예측을 위한 기반 모델 훈련
Cheng Feng, Long Huang, Denis Krompass

초록
우리는 제로샷 다변량 시계열 예측을 위한 인코더 전용 기반 모델인 일반 시계열 트랜스포머(General Time Transformer, GTT)를 제안한다. GTT는 다양한 분야를 아우르는 2억 개의 고품질 시계열 샘플로 구성된 대규모 데이터셋에서 사전 학습되었다. 본 연구에서 제안하는 프레임워크에서는 다변량 시계열 예측 문제를 각 채널별로 다음 곡선 형태 예측 문제로 재정의한다. 이 과정에서 각 시계열 샘플은 동일한 수치 크기를 가진 겹치지 않는 곡선 형태의 시퀀스로 표현된다. GTT는 각 채널별로 과거의 곡선 형태 시퀀스 윈도우를 기반으로 다음 곡선 형태를 예측하도록 학습된다. 실험 결과, GTT는 미리 보지 않은 시계열 데이터셋에서 우수한 제로샷 다변량 예측 성능을 보이며, 최신의 지도 학습 기반 베이스라인을 초월하는 결과를 나타냈다. 또한, GTT 모델의 파라미터 변화와 학습 데이터셋 규모의 영향을 탐색한 결과, 제로샷 다변량 시계열 예측 환경에서도 스케일링 법칙이 성립함을 관찰하였다.