PRformer: 다변량 시계열 예측을 위한 피라미달 재귀 트랜스포머

트랜스포머 아키텍처의 자기 주의 메커니즘은 시퀀스 순서에 불변이므로, 시간 시리즈 예측에서 시간적 순서를 인코딩하기 위해 위치 임베딩(positional embeddings)이 필요합니다. 우리는 이 위치 임베딩에 대한 의존성이 특히 더 긴 룩백 윈도우(lookback windows)를 사용할 때 트랜스포머의 시간적 시퀀스 표현 능력을 제한한다고 주장합니다. 이를 해결하기 위해, 단일 변수 시간 시리즈를 위한 피라미드 RNN 임베딩(Pyramid RNN Embeddings, PRE)과 트랜스포머의 다변량 종속성 모델링 능력을 결합하는 혁신적인 접근 방식을 제안합니다. PRE는 피라미드 구조의 1차원 컨볼루션 계층을 활용하여 시간적 순서를 유지하는 다중 스케일 컨볼루션 특성을 구성합니다. 또한 이러한 특성 위에 쌓인 RNNs는 시퀀스 순서에 민감한 다중 스케일 시간 시리즈 표현을 학습합니다. 이 방법을 주의 메커니즘을 갖춘 트랜스포머 모델에 통합하면 성능 향상이 크게 이루어집니다. 우리는 PRE와 표준 트랜스포머 인코더를 통합한 PRformer 모델을 소개하며, 다양한 실제 데이터셋에서 최고 수준의 성능을 보여줍니다. 이 성능은 우리의 접근 방식이 더 긴 룩백 윈도우를 활용하는 데 효과적이며, 트랜스포머가 예측 작업에서 최대 효율을 발휘하기 위해서는 견고한 시간적 표현이 필수적임을 강조합니다. 코드는 다음 저장소에서 제공됩니다: \url{https://github.com/usualheart/PRformer}.