PredRNN: 시공간 LSTM을 활용한 예측 학습을 위한 순환 신경망

시공간 시퀀스의 예측 학습은 과거 프레임에서 학습하여 미래 이미지를 생성하는 것을 목표로 하며, 여기서 공간적 외형과 시간적 변화는 두 가지 핵심 구조이다. 본 논문은 예측 순환 신경망(PredRNN)을 제안함으로써 이러한 구조를 모델링한다. 이 아키텍처는 시공간 예측 학습이 공간적 외형과 시간적 변화를 통합된 메모리 풀 내에 기억해야 한다는 아이디어에서 영감을 얻었다. 구체적으로, 메모리 상태는 더 이상 각 LSTM 단위 내에 제한되지 않는다. 대신, 메모리 상태는 수직 방향으로 쌓인 RNN 레이어를 따라, 그리고 수평 방향으로 모든 RNN 상태를 통해 교차하는 방식으로 이동할 수 있다. 이 네트워크의 핵심은 공간적 표현과 시간적 표현을 동시에 추출하고 기억하는 새로운 시공간 LSTM(ST-LSTM) 단위이다. PredRNN은 세 가지 비디오 예측 데이터셋에서 최신 기술 수준의 예측 성능을 달성하였으며, 다른 아키텍처와 통합함으로써 다른 예측 학습 작업으로 쉽게 확장 가능한 보다 일반적인 프레임워크이다.