iTransformer: 역전된 Transformer는 시계열 예측에 효과적이다

최근 선형 예측 모델의 부상은 트랜스포머 기반 예측 모델에 대한 지속적인 아키텍처 개선에 대한 열정을 의심하게 하고 있다. 이러한 예측 모델들은 시계열 데이터의 시간 토큰들 간의 전역적 의존 관계를 모델링하기 위해 트랜스포머를 활용하며, 각 토큰은 동일한 시점에 대한 다수의 변수(variate)로 구성된다. 그러나 트랜스포머는 더 큰 룩백 창(window)을 가진 시계열 예측에서는 성능 저하와 계산량 폭발 문제에 직면한다. 게다가, 각 시간 토큰에 대한 임베딩은 지연된 사건과 서로 다른 물리적 측정값을 나타내는 다수의 변수를 통합하므로, 변수 중심의 표현 학습이 어려워지고 의미 없는 어텐션 맵을 생성할 수 있다.이 논문에서는 트랜스포머 구성 요소의 본래 기능을 재고하고, 기본 구성 요소에 어떠한 수정도 가하지 않은 채 트랜스포머 아키텍처를 재사용한다. 우리는 단순히 차원을 역전시켜 어텐션과 피드포워드 네트워크를 적용하는 iTransformer를 제안한다. 구체적으로, 개별 시계열의 시점은 변수 토큰으로 임베딩되며, 이 토큰들은 어텐션 메커니즘을 통해 다변량 상관관계를 포착하는 데 사용된다. 동시에 피드포워드 네트워크는 각 변수 토큰에 대해 독립적으로 적용되어 비선형 표현을 학습한다. iTransformer는 실제 세계의 도전적인 데이터셋에서 최신 기준(SOTA) 성능을 달성하며, 트랜스포머 계열 모델의 성능 향상, 다양한 변수 간의 일반화 능력 향상, 그리고 임의의 룩백 창에 대한 더 효과적인 활용을 가능하게 한다. 이는 시계열 예측의 기본 백본으로서 매력적인 대안을 제시한다. 코드는 다음 리포지토리에서 확인할 수 있다: https://github.com/thuml/iTransformer.