17일 전
특성의 이점: Transformer를 활용한 다변량 시계열 예측을 위한 병렬 시리즈 임베딩
{Zonglin Lyu, Xuande Feng}
초록
시계열 예측은 매력적이고 중요한 수학적 주제이다. 관련 분야의 이론과 응용은 수십 년에 걸쳐 연구되어 왔으며, 최근에는 딥러닝이 신뢰할 수 있는 도구를 제공하고 있다. 긴 시퀀스 의존성을 포착할 수 있는 능력을 지닌 트랜스포머(Transformer)는 시계열 예측 분야에서 강력한 아키텍처로 활용되고 있다. 기존 연구는 주로 트랜스포머의 메모리 병목 현상을 해결하는 데 주력해 왔으나, 다변량 시계열을 효과적으로 활용하는 방안에 대해서는 거의 다뤄지지 않았다. 본 연구에서는 주요 트랜스포머를 활용하여 다변량 시계열 예측을 수행하는 새로운 아키텍처를 제안한다. 제안하는 아키텍처는 두 가지 주요 장점을 갖는다. 첫째, 짧은 또는 긴 시퀀스 길이와 예측 단계에서도 정확한 다변량 시계열 예측이 가능하다. 실제 데이터셋을 기반으로 다양한 기준 모델들과 비교 실험을 수행한 결과, 제안 모델은 기존 모델들의 성능을 크게 향상시켰다. 둘째, 이 아키텍처는 트랜스포머 기반의 변형 모델들에 쉽게 통합될 수 있다.