초록
비디오 인페인팅은 비디오에서 공간-시간 구멍을 타당한 내용으로 채우는 것을 목표로 합니다. 이미지 인페인팅을 위한 딥 뉴럴 네트워크의 엄청난 발전에도 불구하고, 추가적인 시간 차원 때문에 이러한 방법들을 비디오 영역으로 확장하는 것은 어려움이 따릅니다. 본 연구에서는 빠른 비디오 인페인팅을 위한 새로운 딥 네트워크 아키텍처를 제안합니다. 이미지 기반 인코더-디코더 모델을 기반으로 하여, 우리 프레임워크는 이웃 프레임에서 정보를 수집하고 정제하여 아직 알려지지 않은 영역을 합성하도록 설계되었습니다. 동시에, 순환 피드백과 시간 메모리 모듈을 통해 출력이 시간적으로 일관되도록 강제됩니다. 최신 이미지 인페인팅 알고리즘과 비교할 때, 우리의 방법은 훨씬 더 의미론적으로 정확하고 시간적으로 부드러운 비디오를 생성합니다. 이전의 시간 소모적인 최적화에 의존하는 비디오 완성 방법과 달리, 우리의 방법은 경쟁력 있는 비디오 결과를 생성하면서 거의 실시간으로 실행됩니다. 마지막으로, 우리 프레임워크를 비디오 리타게팅 작업에 적용하여 시각적으로 만족스러운 결과를 얻었습니다.