시계열 하나는 64단어에 가치 있다: Transformer를 활용한 장기 예측

다변량 시계열 예측 및 자기지도 학습 기반 표현 학습을 위한 효율적인 Transformer 기반 모델 설계를 제안한다. 본 연구는 두 가지 핵심 구성 요소에 기반한다: (i) 시계열을 하위 시계열 패치로 분할하여 Transformer의 입력 토큰으로 활용하는 방식; (ii) 각 채널이 단일 단변량 시계열을 포함하며, 모든 시계열 간에 동일한 임베딩 및 Transformer 가중치를 공유하는 채널 독립성 구조. 패치 설계는 자연스럽게 세 가지 이점을 제공한다. 첫째, 임베딩 과정에서 국소적 의미 정보가 유지된다. 둘째, 동일한 역방향 윈도우를 기준으로 어텐션 맵의 계산 및 메모리 사용량이 제곱적으로 감소한다. 셋째, 모델이 더 긴 과거 시계열에 주목할 수 있다. 제안하는 채널 독립형 패치 시계열 Transformer(PatchTST)는 최첨단 Transformer 기반 모델과 비교해 장기 예측 정확도를 크게 향상시킨다. 또한 본 모델을 자기지도 사전 학습 작업에 적용했을 때, 대규모 데이터셋에서의 지도 학습보다 우수한 미세조정 성능을 달성하였다. 한 데이터셋에서 사전 학습한 마스킹된 표현을 다른 데이터셋으로 전이할 경우에도 최첨단 수준의 예측 정확도를 기록하였다. 코드는 다음 링크에서 제공된다: https://github.com/yuqinie98/PatchTST.