FiLM: 장기 시계열 예측을 위한 주파수 개선형 레전드 메모리 모델

최근 연구들은 RNN 및 Transformer와 같은 딥러닝 모델이 시계열 데이터의 장기 예측에서 과거 정보를 효과적으로 활용함으로써 상당한 성능 향상을 가져왔음을 보여주었다. 그러나 우리는 신경망 내에서 과거 정보를 보존하는 방식과 과거 데이터에 존재하는 노이즈에 대한 과적합을 방지하는 방법 측면에서 여전히 개선의 여지가 크다는 점을 발견하였다. 이러한 문제를 해결함으로써 딥러닝 모델의 잠재력을 더욱 효과적으로 활용할 수 있다. 이를 위해 우리는 Frequency improved Legendre Memory 모델, 즉 FiLM(FiLM)을 제안한다. FiLM은 과거 정보를 근사하기 위해 레전드 다항식( Legendre Polynomials) 투영을 적용하고, 노이즈 제거를 위해 푸리에 투영을 사용하며, 계산 속도를 높이기 위해 낮은 랭크 근사(low-rank approximation)를 도입한다. 실증적 연구 결과, 제안된 FiLM은 다변량 및 단변량 장기 예측 상황에서 최신 기술 모델의 정확도를 각각 20.3%, 22.6% 향상시킴을 입증하였다. 또한 본 연구에서 개발한 표현 모듈이 다른 딥러닝 모듈의 장기 예측 성능을 향상시키기 위한 일반적인 플러그인으로 활용될 수 있음을 보였다. 코드는 다음 주소에서 확인 가능하다: https://github.com/tianzhou2011/FiLM/