VideoFlow: 조건부 플로우 기반 모델을 이용한 확률적 비디오 생성

미래 이벤트의 시퀀스를 모델링하고 예측할 수 있는 생성 모델은 원칙적으로 물리적 상호작용과 같은 복잡한 실제 현상을 포착하는 데 학습할 수 있습니다. 그러나 비디오 예측의 중추적인 도전 과제는 미래가 매우 불확실하다는 점입니다: 이벤트의 과거 관찰 시퀀스는 많은 가능한 미래를 암시할 수 있습니다. 최근 여러 연구에서는 불확실한 미래를 표현할 수 있는 확률 모델을 연구하였지만, 이러한 모델들은 픽셀 단위 자기회귀 모델처럼 계산적으로 극도로 비싸거나, 데이터의 우도를 직접 최적화하지 않습니다. 우리 연구는 정규화 흐름(normalizing flows)을 사용하여 다중 프레임 비디오 예측을 제안하는 첫 번째 작업으로 알려져 있으며, 이는 데이터 우도를 직접 최적화할 수 있게 하며 고품질의 확률적 예측을 생성합니다. 우리는 잠재 공간 역학을 모델링하기 위한 접근 방식을 설명하며, 흐름 기반 생성 모델이 비디오 생성 모델링에 있어 타당하고 경쟁력 있는 접근 방식임을 보여줍니다.