단순 Transformer를 이용한 장기 시간 시계열 예측을 위한 2차원 정보 활용

시계열 예측은 금융 및 경제에서 기후와 의료에 이르기까지 다양한 분야에서 복잡한 동역학을 이해하고 예측하는 데 핵심적인 역할을 한다. Transformer 아키텍처를 기반으로 한 접근법 중 하나는 동일한 시점에서의 다수의 변수를 하나의 시계열 토큰으로 인코딩하여 전역적 의존성을 모델링하는 방식이다. 반면 다른 접근법은 각 시계열의 시간 점을 별도의 변수 토큰으로 임베딩한다. 전자의 경우 변수 중심의 표현을 학습하는 데 어려움이 있으며, 후자의 경우 정확한 예측에 필수적인 시간 정보를 놓치는 위험이 있다. 본 연구에서는 기존 Transformer 아키텍처를 기반으로 한 혁신적인 다중 방향 주의 메커니즘을 활용하여 두 접근법의 장점을 결합한 GridTST 모델을 제안한다. 입력 시계열 데이터를 격자(grid)로 간주하며, x축은 시간 단계를, y축은 변수(variates)를 나타낸다. 이 격자의 수직 자르기는 각 시간 단계에서의 변수들을 하나의 시간 토큰(time token) 으로 결합하고, 수평 자르기는 모든 시간 단계에 걸쳐 개별 시계열을 하나의 변수 토큰(variate token) 으로 임베딩한다. 이에 따라, 수평 주의 메커니즘(horizontal attention mechanism) 은 시간 토큰에 초점을 맞춰 다양한 시간 단계 간의 상관관계를 이해하고, 수직 주의(vertical attention) 는 변수에 대한 인식을 갖춘 방식으로 다변량 간의 상관관계를 파악한다. 이러한 조합은 시간 및 변수 차원을 넘나드는 정보 처리를 효율적으로 가능하게 하여 모델의 분석 능력을 강화한다. 또한 패치 기법(patch technique)을 도입하여 시간 토큰을 하위 시계열 수준의 패치로 분할함으로써 임베딩 과정에서 국소적 의미 정보를 유지한다. GridTST 모델은 다양한 실세계 데이터셋에서 일관되게 최첨단 성능을 보이며, 시계열 예측 분야에서 뛰어난 성능을 입증하였다.