HyperAIHyperAI

Command Palette

Search for a command to run...

Erhöhung der flussgesteuerten Video-Inpainting durch Referenzgenerierung

Suhwan Cho Seoung Wug Oh Sangyoun Lee Joon-Young Lee

Zusammenfassung

Video-Inpainting (VI) ist eine anspruchsvolle Aufgabe, die die effektive Verbreitung von sichtbaren Inhalten über mehrere Frames sowie die gleichzeitige Generierung neuer Inhalte erfordert, die im Originalvideo nicht vorhanden sind. In dieser Studie schlagen wir ein robustes und praktisches VI-Framework vor, das ein großes generatives Modell für die Referenzgenerierung in Kombination mit einem fortgeschrittenen Pixelverbreitungsalgorithmus nutzt. Dank eines leistungsstarken generativen Modells verbessert unsere Methode nicht nur erheblich die Frame-basierte Qualität bei der Objektentfernung, sondern synthetisiert auch neue Inhalte in den fehlenden Bereichen auf Basis von vom Benutzer bereitgestellten Textanweisungen. Für die Pixelverbreitung führen wir eine One-Shot-Pixelpulling-Methode ein, die effektiv Fehlerakkumulation durch wiederholtes Sampling vermeidet und dabei subpixelare Präzision beibehält. Um verschiedene VI-Methoden in realistischen Szenarien zu evaluieren, schlagen wir zudem einen hochwertigen VI-Benchmark vor, den HQVI, der aus sorgfältig generierten Videos unter Verwendung von Alpha-Matte-Komposition besteht. Bei öffentlichen Benchmarks und dem HQVI-Datensatz zeigt unsere Methode signifikant höhere visuelle Qualität und Metrikwerte im Vergleich zu bestehenden Lösungen. Darüber hinaus kann sie Videos mit einer Auflösung von über 2K mühelos verarbeiten, was ihre Überlegenheit für Anwendungen in der Realwelt unterstreicht.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp