Erhöhung der flussgesteuerten Video-Inpainting durch Referenzgenerierung

Video-Inpainting (VI) ist eine anspruchsvolle Aufgabe, die die effektive Verbreitung von sichtbaren Inhalten über mehrere Frames sowie die gleichzeitige Generierung neuer Inhalte erfordert, die im Originalvideo nicht vorhanden sind. In dieser Studie schlagen wir ein robustes und praktisches VI-Framework vor, das ein großes generatives Modell für die Referenzgenerierung in Kombination mit einem fortgeschrittenen Pixelverbreitungsalgorithmus nutzt. Dank eines leistungsstarken generativen Modells verbessert unsere Methode nicht nur erheblich die Frame-basierte Qualität bei der Objektentfernung, sondern synthetisiert auch neue Inhalte in den fehlenden Bereichen auf Basis von vom Benutzer bereitgestellten Textanweisungen. Für die Pixelverbreitung führen wir eine One-Shot-Pixelpulling-Methode ein, die effektiv Fehlerakkumulation durch wiederholtes Sampling vermeidet und dabei subpixelare Präzision beibehält. Um verschiedene VI-Methoden in realistischen Szenarien zu evaluieren, schlagen wir zudem einen hochwertigen VI-Benchmark vor, den HQVI, der aus sorgfältig generierten Videos unter Verwendung von Alpha-Matte-Komposition besteht. Bei öffentlichen Benchmarks und dem HQVI-Datensatz zeigt unsere Methode signifikant höhere visuelle Qualität und Metrikwerte im Vergleich zu bestehenden Lösungen. Darüber hinaus kann sie Videos mit einer Auflösung von über 2K mühelos verarbeiten, was ihre Überlegenheit für Anwendungen in der Realwelt unterstreicht.