시공간 예측을 위한 자체 주의력 ConvLSTM

시공간 예측은 복잡한 동적 운동과 외형 변화로 인해 도전적인 과제이다. 기존 연구들은 예측 과정에서 공간적 외형을 기억하기 위해 표준 ConvLSTM에 추가 셀을 통합하는 데 집중해 왔다. 그러나 이러한 모델들은 공간적 종속성을 포착하기 위해 항상 컨볼루션 계층에 의존하며, 이는 국소적이고 효율성이 낮은 특징을 가진다. 반면, 장거리 공간적 종속성은 공간 응용에 있어 매우 중요한 요소이다. 장거리 및 국소적 종속성을 모두 갖춘 공간 특징을 추출하기 위해, 본 연구에서는 ConvLSTM에 자기주의(self-attention) 메커니즘을 도입한다. 구체적으로, 공간적 및 시간적 영역에서 장거리 종속성을 갖는 특징을 기억하기 위한 새로운 자기주의 메모리(SAM, Self-Attention Memory)를 제안한다. SAM은 입력 자체와 메모리 특징의 모든 위치에 걸쳐 쌍별 유사도 점수를 기반으로 특징을 집계함으로써 특징을 생성할 수 있다. 또한, 추가 메모리는 집계된 특징 위에서 게이팅 메커니즘을 통해 업데이트되며, 이전 시간 단계의 메모리와 연결된 하이웨이(highway) 구조를 활용한다. 따라서 SAM을 통해 장거리 시공간 종속성을 갖는 특징을 효과적으로 추출할 수 있다. 더불어, SAM을 표준 ConvLSTM에 통합하여 시공간 예측을 위한 자기주의 ConvLSTM(SA-ConvLSTM)을 구성한다. 실험을 통해 SA-ConvLSTM을 MovingMNIST 및 KTH 데이터셋에서 프레임 예측에, TexiBJ 데이터셋에서는 교통 흐름 예측에 적용하였다. 그 결과, 기존 최고 성능 모델보다 더 적은 파라미터 수와 높은 시간 효율성을 기반으로 두 데이터셋 모두에서 최고 성능을 달성하였다.