확률적 잠재 잔차 비디오 예측

미래에 내재된 불확실성을 고려하는 비디오 예측 모델을 설계하는 것은 도전적인 과제이다. 기존 문헌에서 대부분의 연구는 확률적 이미지-자기회귀 순환 네트워크에 기반하고 있으나, 이는 성능 및 적용성 측면에서 여러 문제를 야기한다. 대안으로, 프레임 합성과 시간적 동역학을 분리하는 완전히 잠재적 시간 모델을 사용할 수 있다. 그러나 시간적 동역학을 모델링하는 확률적 비디오 예측을 위한 이러한 모델은 설계 및 학습의 어려움으로 인해 기존 문헌에서 아직 제안되지 않았다. 본 논문에서는 미분 방정식의 이산화 방법론에 착안한 잔차 업데이트 규칙에 의해 잠재 공간에서 동역학이 조절되는 새로운 확률적 시간 모델을 제안함으로써 이러한 어려움을 극복한다. 이 일계 스킴은 비디오 동역학을 자연스럽게 모델링할 수 있게 하며, 더 단순하고 해석이 용이한 잠재 모델이 도전적인 데이터셋에서 기존 최고 수준의 방법들을 능가할 수 있도록 한다.