초록
움직임은 영상 예측에서 중요한 단서이며, 일반적으로 영상 콘텐츠를 정적 요소와 동적 요소로 분리하여 활용한다. 기존의 대부분의 연구는 움직임을 결정론적 방식으로 활용하지만, 미래의 본질적 불확실성을 모델링할 수 있는 확률적 방법도 존재한다. 기존의 확률적 모델들은 either 움직임을 명시적으로 고려하지 않거나, 정적 부분에 대해 제한적인 가정을 내포하고 있다. 본 논문에서는 움직임 이력(motion history)을 기반으로 영상의 외형과 움직임을 확률적으로 추론함으로써 미래를 예측한다. 단순히 움직임에 대해 명시적인 추론만을 수행하더라도, 현재의 최첨단 확률적 모델들과 동등한 성능을 달성할 수 있다. 더욱이 움직임 이력을 활용함으로써, 몇 프레임에 걸쳐 일관된 동적 패턴을 예측할 수 있어 성능이 추가로 향상된다. 제안하는 모델은 일반적인 영상 예측 데이터셋에서는 최첨단 모델들과 유사한 성능을 보이며, 복잡한 움직임과 동적 배경을 가진 두 가지 도전적인 실세계 자율주행 데이터셋에서는 현저히 우수한 성능을 나타낸다.