Mamba는 시계열 예측에 효과적인가?

시계열 예측(Time Series Forecasting, TSF) 분야에서는 모델이 과거 시계열 데이터 내에 숨겨진 패턴을 정확히 인식하고 추출하여 미래 상태를 예측할 수 있어야 한다. 트랜스포머 기반 모델은 이러한 패턴을 효과적으로 파악할 수 있는 장점 덕분에 TSF에서 뛰어난 성능을 보여주고 있다. 그러나 트랜스포머의 이차 복잡도(Quadratic Complexity)는 계산 효율성이 낮고 비용이 높아 실제 응용 환경에서의 모델 배포를 제한하는 요인이 되고 있다. 최근 선택적 상태공간 모델(Selective State Space Model)인 Mamba는 시퀀스 내 의존성을 처리하면서도 근사 선형 복잡도를 유지할 수 있다는 점에서 주목받고 있다. TSF 과제에서 Mamba는 트랜스포머와 동등한 숨겨진 패턴 이해 능력을 갖추면서도 계산 부담을 크게 줄일 수 있다. 따라서 본 연구에서는 TSF를 위한 Mamba 기반 모델인 Simple-Mamba(S-Mamba)를 제안한다. 구체적으로, 각 변수(variate)의 시점(time point)를 선형 레이어를 통해 독립적으로 토큰화하고, 양방향 Mamba 레이어를 활용해 변수 간 상관관계를 추출하며, 흐름 전달 네트워크(Feed-Forward Network)를 통해 시계열적 의존성을 학습한다. 마지막으로 선형 매핑 레이어를 통해 예측 결과를 생성한다. 13개의 공개 데이터셋을 대상으로 수행한 실험 결과, S-Mamba는 낮은 계산 부담을 유지하면서도 최상위 성능을 달성함을 입증하였다. 더불어 Mamba가 TSF 과제에서 가질 수 있는 잠재력을 탐색하기 위해 광범위한 실험을 수행하였다. 본 연구의 코드는 https://github.com/wzhwzhwzh0921/S-D-Mamba 에 공개되어 있다.