비디오 확산 모델

시간적으로 일관된 고화질 비디오 생성은 생성 모델링 연구에서 중요한 이정표입니다. 우리는 이 이정표에 대한 진전을 위해 비디오 생성을 위한 확산 모델을 제안하며, 이 모델은 매우 유망한 초기 결과를 보여주고 있습니다. 우리의 모델은 표준 이미지 확산 아키텍처의 자연스러운 확장이며, 이미지와 비디오 데이터로부터 공동 학습을 가능하게 하며, 이를 통해 미니배치 그래디언트의 분산을 줄이고 최적화를 가속화할 수 있음을 발견했습니다. 긴 시간과 높은 해상도의 비디오를 생성하기 위해 공간적 및 시간적 비디오 확장을 위한 새로운 조건부 샘플링 기술을 소개합니다. 이 기술은 기존에 제안된 방법보다 더 우수한 성능을 보입니다. 우리는 대규모 텍스트 조건부 비디오 생성 작업에서 첫 번째 결과를 제시하며, 비디오 예측 및 무조건적 비디오 생성의 기존 벤치마크에서도 최신 연구 결과를 보여줍니다. 부록 자료는 https://video-diffusion.github.io/ 에서 확인할 수 있습니다.