
최근, 장기 시계열 예측(Long-Term Time Series Forecasting, LTSF) 작업을 위한 Transformer 기반 솔루션의 개발이 급증하고 있습니다. 그러나 지난 몇 년 동안 성능 향상에도 불구하고, 본 연구에서는 이러한 연구 방향의 타당성을 의심합니다. 특히, Transformer는 긴 시퀀스 내 요소들 사이의 의미적 상관관계를 추출하는 데 가장 성공적인 솔루션이라고 할 수 있습니다. 그러나 시계열 모델링에서는 순서가 정해진 연속된 점들의 집합에서 시간적 관계를 추출해야 합니다. positional encoding을 사용하고 sub-series를 token으로 임베딩하여 Transformer에서 일부 순서 정보를 보존할 수 있지만, \emph{순서 불변(permutation-invariant)} 자기 주의(self-attention) 메커니즘의 특성상 시간 정보 손실이 불가피하게 발생합니다.우리의 주장이 타당함을 입증하기 위해, 비교를 위한 매우 간단한 단일 계층 선형 모델인 LTSF-Linear을 소개합니다. 9개의 실제 데이터셋에 대한 실험 결과는 LTSF-Linear이 모든 경우에서 기존 복잡한 Transformer 기반 LTSF 모델보다 놀랍게도 우수한 성능을 보였으며, 종종 큰 차이로 앞섰습니다. 또한, 다양한 LTSF 모델 설계 요소들이 시간적 관계 추출 능력에 미치는 영향을 탐구하기 위해 포괄적인 실증 연구를 수행했습니다. 이 놀라운 발견이 LTSF 작업에 대한 새로운 연구 방향을 제시하기를 바랍니다. 또한 향후 다른 시계열 분석 작업(예: 이상치 검출)에 대한 Transformer 기반 솔루션의 타당성을 재검토할 것을 제안합니다. 코드는 다음 링크에서 확인 가능합니다: \url{https://github.com/cure-lab/LTSF-Linear}.