PredRNN++: Spatiotemporal Predictive Learning의 시간적 깊이 딜레마 해결을 향하여

우리는 비디오 예측 학습을 위한 개선된 순환 신경망인 PredRNN++를 제시합니다. 더 우수한 시공간 모델링 능력을 추구하기 위해, 우리 접근 방식은 새로운 순환 유닛인 Causal LSTM을 활용하여 인접 상태 간의 전이 깊이를 증가시키며, 이는 공간적 및 시간적 메모리를 계단식 메커니즘으로 재구성하는 역할을 합니다. 그러나 비디오 예측 학습에는 여전히 딜레마가 존재합니다: 시간적으로 점점 깊어지는 모델들은 복잡한 변동성을 포착하기 위해 설계되었지만, 기울기 역전파 과정에서 더 많은 어려움을 초래하였습니다. 이러한 부작용을 완화하기 위해, 우리는 기울기가 출력에서 장거리 입력으로 흐르는 대체적인 짧은 경로를 제공하는 Gradient Highway 아키텍처를 제안합니다. 이 아키텍처는 인과관계 LSTM과 원활하게 작동하여, PredRNN++가 단기와 장기 의존성을 적응적으로 포착할 수 있도록 합니다. 우리는 합성 및 실제 비디오 데이터셋에서 우리의 모델을 평가하였으며, 이는 기울기 소실 문제를 완화하고 어렵게 가려진 객체 상황에서도 최고 수준의 예측 결과를 도출할 수 있는 능력을 보여주었습니다.