시계열 예측을 위한 생성형 사전 훈련 계층형 Transformer

최근 연구들은 고급 네트워크 아키텍처와 자기지도 학습 사전 훈련 전략을 도입함으로써 시계열 예측 정확도를 향상시키기 위한 노력을 기울여왔다. 그러나 기존의 접근 방식은 여전히 두 가지 핵심적인 한계를 지니고 있다. 첫째, 이러한 방법들은 흔히 단일 데이터셋에 의존하여 훈련을 수행함으로써, 훈련 데이터의 규모가 제한됨에 따라 모델의 일반화 능력이 제한된다. 둘째, 대부분의 기법들은 단일 스텝 생성 방식을 따르며, 이는 맞춤형 예측 헤드를 필요로 하고 출력 시계열 내의 시계적 의존성을 간과하게 되는 동시에, 다양한 예측 기간 설정에서 훈련 비용이 증가하는 문제를 야기한다.이러한 문제를 해결하기 위해, 본 연구에서는 예측을 위한 새로운 생성형 사전 훈련 계층형 트랜스포머 아키텍처인 \textbf{GPHT}를 제안한다. GPHT의 핵심 설계는 두 가지 측면에서 이루어진다. 한편으로는, 채널 독립성 가정 하에 다양한 데이터 시나리오에서 수집된 여러 데이터셋을 혼합한 데이터셋을 구성하여 모델의 사전 훈련을 수행하는 방식을 제안한다. 이는 훈련 데이터의 규모를 크게 확장함으로써 시계열 데이터 간의 공통 특성을 탐색하고, 특정 데이터셋으로의 전이 성능을 향상시키는 데 기여한다. 다른 한편으로는 GPHT는 자기회귀적 예측 방식을 채택함으로써 출력 시계열 내의 시계적 의존성을 효과적으로 모델링한다. 특히 맞춤형 예측 헤드가 필요 없으며, 이로 인해 \textit{하나의 모델로 임의의 예측 기간 설정에서 예측이 가능하다}는 장점이 있다. 우리는 주류 자기지도 학습 사전 훈련 모델과 지도 학습 모델을 기반으로 총 여덟 개의 데이터셋에서 충분한 실험을 수행하였다. 결과적으로 GPHT는 기존의 기준 모델들보다 전통적인 장기 예측 작업에서 다양한 미세조정 및 제로/소수 샘플 학습 설정에서 우수한 성능을 보였다. 본 연구의 코드는 공개되어 있으며\footnote{https://github.com/icantnamemyself/GPHT} 누구나 접근할 수 있다.