Informer: 장기 시퀀스 시간序列 예측을 위한 효율적인 트랜스포머의 확장

많은 실제 응용 프로그램에서 전력 소비 계획과 같은 장기 시계열 예측이 필요합니다. 장기 시계열 예측(Long Sequence Time-series Forecasting, LSTF)은 모델의 높은 예측 능력을 요구하며, 이는 출력과 입력 간의 정확한 장거리 의존성 결합을 효율적으로 포착하는 능력을 의미합니다. 최근 연구에서는 Transformer가 예측 능력을 향상시키는 잠재력을 보여주었습니다. 그러나 Transformer에는 LSTF에 직접 적용하기 어려운 몇 가지 심각한 문제가 있습니다. 이 문제들은 시간 복잡도가 이차적(O($L^2$))인 점, 메모리 사용량이 높은 점, 그리고 인코더-디코더 구조의 본질적인 제약 등이 포함됩니다.이러한 문제를 해결하기 위해, 우리는 세 가지 독특한 특성을 가진 효율적인 Transformer 기반 모델인 Informer를 설계하였습니다:(i) $ProbSparse$ 자기 주의 메커니즘으로 시간 복잡도와 메모리 사용량을 O($L \log L$)로 줄였으며, 시퀀스 의존성 정렬 성능은 유사합니다.(ii) 자기 주의 증류(self-attention distilling)는 캐스케이딩 레이어 입력을 절반으로 줄임으로써 지배적인 주의를 강조하고, 극단적으로 긴 입력 시퀀스를 효율적으로 처리합니다.(iii) 생성 스타일 디코더는 개념적으로 단순하지만, 단계별 방식 대신 한 번의 순방향 연산으로 장기 시계열 시퀀스를 예측하여 장기 시퀀스 예측의 추론 속도를 크게 향상시킵니다.네 개의 대규모 데이터셋에 대한 광범위한 실험 결과, Informer가 기존 방법보다 현저히 우수한 성능을 보였으며, LSTF 문제에 대한 새로운 해결책을 제공함을 입증하였습니다.