장기 시계열 예측을 위한 선형 전문가 혼합(Mixture-of-Linear-Experts)

장기 시계열 예측(Long-term time series forecasting, LTSF)은 과거의 시계열 값을 바탕으로 미래의 값을 예측하는 것을 목표로 한다. 현재 이 문제에서 최고 성능(SOTA)을 달성하는 경우가 일부 선형 중심 모델(linear-centric models)에 의해 이루어지고 있으며, 이러한 모델은 주로 선형 매핑 레이어를 특징으로 한다. 그러나 이러한 모델들은 본질적으로 단순한 구조를 지니고 있어 시계열 패턴의 주기적 변화에 대한 예측 규칙을 적응적으로 조정할 수 없다는 한계가 있다. 이 문제를 해결하기 위해, 우리는 선형 중심 모델에 Mixture-of-Experts(MoE) 구조를 도입하는 방식의 보완 기법을 제안하며, 이를 '선형 전문가의 혼합(Mixture-of-Linear-Experts, MoLE)'이라 명명한다. 단일 모델을 훈련하는 대신, MoLE는 여러 개의 선형 중심 모델(즉, 전문가)과 이들의 출력을 가중 및 혼합하는 라우터 모델을 동시에 훈련한다. 전체 프레임워크는 엔드투엔드(end-to-end)로 훈련되지만, 각 전문가는 특정한 시계열 패턴에 특화되며, 라우터 모델은 전문가들을 적응적으로 조합하는 능력을 학습한다. 실험 결과, MoLE는 DLinear, RLinear, RMLP 등 다양한 선형 중심 모델의 예측 오차를 평가한 데이터셋 및 설정의 78% 이상에서 감소시켰다. MoLE를 적용함으로써, 기존의 선형 중심 모델들은 PatchTST가 보고한 실험과 비교한 68%의 경우에서 SOTA 수준의 LTSF 성능을 달성할 수 있었으며, 반면 기존의 단일 헤드(single-head) 선형 중심 모델은 단지 25%의 경우에서만 SOTA 성능을 기록했다.