17일 전

오직 곡선 형태만이 중요하다: 다음 곡선 형태 예측을 통한 제로샷 다변량 시계열 예측을 위한 기반 모델 훈련

Cheng Feng, Long Huang, Denis Krompass
오직 곡선 형태만이 중요하다: 다음 곡선 형태 예측을 통한 제로샷 다변량 시계열 예측을 위한 기반 모델 훈련
초록

우리는 제로샷 다변량 시계열 예측을 위한 인코더 전용 기반 모델인 일반 시계열 트랜스포머(General Time Transformer, GTT)를 제안한다. GTT는 다양한 분야를 아우르는 2억 개의 고품질 시계열 샘플로 구성된 대규모 데이터셋에서 사전 학습되었다. 본 연구에서 제안하는 프레임워크에서는 다변량 시계열 예측 문제를 각 채널별로 다음 곡선 형태 예측 문제로 재정의한다. 이 과정에서 각 시계열 샘플은 동일한 수치 크기를 가진 겹치지 않는 곡선 형태의 시퀀스로 표현된다. GTT는 각 채널별로 과거의 곡선 형태 시퀀스 윈도우를 기반으로 다음 곡선 형태를 예측하도록 학습된다. 실험 결과, GTT는 미리 보지 않은 시계열 데이터셋에서 우수한 제로샷 다변량 예측 성능을 보이며, 최신의 지도 학습 기반 베이스라인을 초월하는 결과를 나타냈다. 또한, GTT 모델의 파라미터 변화와 학습 데이터셋 규모의 영향을 탐색한 결과, 제로샷 다변량 시계열 예측 환경에서도 스케일링 법칙이 성립함을 관찰하였다.

오직 곡선 형태만이 중요하다: 다음 곡선 형태 예측을 통한 제로샷 다변량 시계열 예측을 위한 기반 모델 훈련 | 최신 연구 논문 | HyperAI초신경