확률적 변분 비디오 예측

실세계 환경에서 미래를 예측하는 것은 특히 이미지와 같은 원시 감각 정보로부터 예측할 때 매우 어려운 과제입니다. 실세계 이벤트는 확률적이고 예측 불가능하며, 자연 이미지의 높은 차원성과 복잡성은 예측 모델이 자연 세계에 대한 정교한 이해를 구축해야 함을 의미합니다. 기존의 많은 방법들은 이 문제를 해결하기 위해 환경에 대한 단순화된 가정을 합니다. 일반적인 가정 중 하나는 결과가 결정적이며 유일한 가능한 미래가 있다는 것입니다. 이러한 가정은 확률적 동역학을 가진 실세계 환경에서 저품질의 예측을 초래할 수 있습니다. 본 논문에서는 각 잠재 변수 샘플마다 다른 가능한 미래를 예측하는 확률적 변분 비디오 예측 (Stochastic Variational Video Prediction, SV2P) 방법을 개발하였습니다. 최선의 지식으로 판단할 때, 우리의 모델은 실세계 비디오에 대한 효과적인 확률적 다중 프레임 예측을 제공하는 첫 번째 모델입니다. 우리는 제안된 방법이 여러 실세계 데이터셋에서 행동이 포함되지 않은 비디오와 행동 조건이 부여된 비디오 모두에 대해 상세한 미래 프레임을 예측하는 능력을 보여주었습니다. 또한, 우리의 제안된 방법이 확률성을 갖지 않는 동일한 모델 및 다른 확률적 비디오 예측 방법과 비교하여 크게 향상된 비디오 예측 결과를 생성함을 확인하였습니다. SV2P 구현은 출판 시 오픈 소스로 공개될 것입니다.