PredRNN: 시공간 예측 학습을 위한 순환 신경망

시공간 시퀀스의 예측 학습은 과거의 맥락을 기반으로 미래 이미지를 생성하는 것을 목표로 하며, 이 과정에서 시각적 동역학은 복합적인 하위 시스템을 통해 학습 가능한 모듈러 구조를 가진다고 여겨진다. 본 논문에서는 PredRNN이라는 새로운 순환 신경망을 제안하여 이러한 구조를 모델링한다. 이 네트워크는 두 개의 메모리 셀이 명시적으로 분리되어 거의 독립적인 전이 방식으로 작동하며, 최종적으로 복잡한 환경에 대한 통합적인 표현을 형성한다. 구체적으로, LSTM의 기존 메모리 셀 외에도, 모든 계층을 통해 하향과 상향 방향으로 동시에 전파되는 진동형(지그재그) 메모리 흐름을 도입함으로써, RNN의 다양한 계층에서 학습된 시각적 동역학 간의 소통을 가능하게 한다. 또한, 메모리 셀이 중복된 특징을 학습하는 것을 방지하기 위해 메모리 분리 손실( memory decoupling loss)을 활용한다. 더불어, PredRNN이 맥락 프레임에서 장기적 동역학을 학습하도록 유도하는 새로운 커리큘럼 학습 전략을 제안하였으며, 이는 대부분의 시퀀스-투-시퀀스 모델에 일반화 가능하다. 각 구성 요소의 효과를 검증하기 위해 철저한 아블레이션 연구를 수행하였다. 실험 결과, 본 연구 방법은 행동 없음과 행동 조건화라는 두 가지 예측 학습 시나리오 모두에서 다섯 개의 데이터셋에서 매우 경쟁력 있는 성능을 보였다.