Pathformer: 시간 시계열 예측을 위한 다중 스케일 변형기와 적응형 경로

시계열 예측을 위한 트랜스포머는 주로 제한되거나 고정된 스케일에서 시계열을 모델링하기 때문에 다양한 스케일에 걸친 특성을 포착하는 데 어려움이 있다. 본 연구에서는 적응형 경로를 갖춘 다중 스케일 트랜스포머인 Pathformer를 제안한다. 이 모델은 시간 해상도와 시간 거리 양쪽을 통합하여 다중 스케일 모델링을 수행한다. 다중 스케일 분할 기법을 통해 다양한 크기의 패치를 사용하여 시계열을 서로 다른 시간 해상도로 분할하고, 각 스케일에서 분할된 패치들에 대해 이중 주의(attention)를 적용하여 시간적 종속성으로서 전역적인 상관관계와 국소적인 세부 정보를 동시에 포착한다. 또한, 입력의 시간 동역학이 변화함에 따라 다중 스케일 모델링 과정을 적응적으로 조정할 수 있는 적응형 경로를 도입함으로써, Pathformer의 정확도와 일반화 능력을 더욱 향상시켰다. 11개의 실제 데이터셋을 대상으로 수행한 광범위한 실험 결과, Pathformer는 기존 모든 모델을 능가하는 최신 기술 수준의 성능을 달성할 뿐만 아니라, 다양한 전이 학습 시나리오에서도 강력한 일반화 능력을 보여주었다. 코드는 https://github.com/decisionintelligence/pathformer 에 공개되어 있다.