Predcnn: 계단식 합성곱을 이용한 예측 학습

비디오의 미래 프레임을 예측하는 것은 여전히 해결되지 않은 도전 과제이지만, 중요한 연구 주제로 남아 있다. 주류의 순환 모델은 막대한 메모리 사용량과 계산 비용을 가지는 반면, 컨볼루션 모델은 연속된 비디오 프레임 간의 시간적 종속성을 효과적으로 포착하지 못한다. 이 문제를 해결하기 위해, 다음 프레임과 순차적 비디오 입력 간의 종속성을 모델링하는 완전히 CNN 기반의 아키텍처인 PredCNN을 제안한다. 순환 모델의 핵심 아이디어인 과거 상태가 미래 상태보다 더 많은 전이 연산을 수행한다는 점을 영감으로 삼아, 과거 비디오 프레임에 대해 상대적으로 더 많은 연산을 제공하는 캐스케이드 곱셈 유닛(CMU)을 설계하였다. 이 새로운 유닛은 PredCNN이 순환 체인 구조 없이도 미래의 공간-시간 데이터를 예측할 수 있게 하며, 기울기 전파를 완화하고 완전한 병렬 최적화를 가능하게 한다. 실험을 통해 PredCNN이 표준 Moving MNIST 데이터셋과 두 가지 도전적인 커뮤니티 흐름 예측 데이터셋에서 최신 순환 모델들을 모두 능가함을 보였으며, 더 빠른 학습 속도와 낮은 메모리 사용량을 달성하였다.