Autoformer: 장기 시계열 예측을 위한 자동상관 분해 Transformer

장기 예측 시간을 연장하는 것은 극한 기상 조기 경보 및 장기 에너지 소비 계획과 같은 실제 응용 분야에서 핵심적인 요구사항이다. 본 논문은 시계열의 장기 예측 문제를 다룬다. 기존의 Transformer 기반 모델들은 다양한 자기 주의(Multi-head Self-Attention) 메커니즘을 도입하여 장거리 의존성을 탐지하려 했으나, 장기적인 미래 시계열의 복잡한 시계적 패턴은 모델이 신뢰할 수 있는 의존성을 발견하는 것을 어렵게 한다. 또한, Transformer는 긴 시계열 처리 효율성을 위해 점별 자기 주의의 희소화된 형태를 채택해야 하며, 이로 인해 정보 활용의 병목 현상이 발생한다. Transformer를 넘어서, 우리는 새로운 분해 아키텍처인 Autoformer를 제안하며, 자동 상관(Auto-Correlation) 메커니즘을 도입한다. 우리는 기존의 시계열 분해 전처리 방식을 탈피하여 이를 깊은 모델의 기본 내부 블록으로 재구성한다. 이 설계는 복잡한 시계열에 대해 점진적인 분해 능력을 갖춘 Autoformer를 가능하게 한다. 더 나아가 확률적 과정 이론을 영감으로 삼아, 시계열의 주기성에 기반한 자동 상관 메커니즘을 설계하였으며, 이는 하위 시계열 단위에서 의존성 탐지 및 표현 집약을 수행한다. 자동 상관은 효율성과 정확도 면에서 기존 자기 주의 메커니즘을 모두 능가한다. 장기 예측에서 Autoformer는 최신 기술 수준의 정확도를 달성하였으며, 에너지, 교통, 경제, 기상 및 질병 분야를 포함한 다섯 가지 실용적 응용 분야를 아우르는 여섯 개의 벤치마크에서 평균 38%의 상대적 성능 향상을 기록했다. 코드는 다음 저장소에서 공개되어 있다: \url{https://github.com/thuml/Autoformer}.