Tiefes Flussgeführtes Video-Inpainting

Das Video-Inpainting, das darauf abzielt, fehlende Bereiche eines Videos zu füllen, bleibt aufgrund der Schwierigkeit, die präzise räumliche und zeitliche Kohärenz des Videoinhalts zu bewahren, eine Herausforderung. In dieser Arbeit schlagen wir einen neuen, flussgeführten Ansatz für das Video-Inpainting vor. Anstatt die RGB-Pixel jedes Frames direkt zu füllen, betrachten wir das Video-Inpainting als ein Problem der Pixelverbreitung. Zunächst synthetisieren wir ein räumlich und zeitlich kohärentes optisches Flussfeld über die Videoframes hinweg unter Verwendung eines neu entwickelten Deep-Flow-Completion-Netzes. Anschließend wird das synthetisierte Flussfeld verwendet, um die Verbreitung der Pixel zu leiten und so die fehlenden Bereiche im Video auszufüllen. Insbesondere folgt das Deep-Flow-Completion-Netz einem Schritt-für-Schritt-Verfeinerungsprozess zur Vervollständigung der Flussfelder, während deren Qualität durch das Mining von schwierigen Flussbeispielen weiter verbessert wird. Unter der Führung des vervollständigten Flusses können die fehlenden Videobereiche präzise ausgefüllt werden. Unsere Methode wurde sowohl qualitativ als auch quantitativ an den Datensätzen DAVIS und YouTube-VOS evaluiert und erreicht dabei den Stand der Technik hinsichtlich Inpainting-Qualität und -Geschwindigkeit.