HyperAIHyperAI

Command Palette

Search for a command to run...

FLAVR: Flussagnostische Video-Darstellungen für schnelle Bildinterpolation

Kalluri Tarun ; Pathak Deepak ; Chandraker Manmohan ; Tran Du

Zusammenfassung

Die meisten Methoden zur Video-Bilderrahmeninterpolation berechnen die bidirektionale optische Flussdichte zwischen benachbarten Bildern eines Videos und wenden anschließend einen geeigneten Verformungsalgorithmus an, um die Ausgabebilder zu generieren. Allerdings scheitern Ansätze, die auf der optischen Flussdichte basieren, häufig daran, Okklusionen und komplexe nichtlineare Bewegungen direkt aus dem Video zu modellieren, und führen zu zusätzlichen Engpässen, die für eine breite Anwendung ungeeignet sind. Wir begegnen diesen Einschränkungen mit FLAVR (Flexible and Lightweight Architecture for Video Restoration), einer flexiblen und effizienten Architektur, die 3D Raum-Zeit-Faltungen verwendet, um das end-to-end Lernen und Inferenz für die Interpolation von Video-Bilderrahmen zu ermöglichen. Unsere Methode lernt effizient, nichtlineare Bewegungen, komplexe Okklusionen und zeitliche Abstraktionen zu verstehen, was sich in einer verbesserten Leistung bei der Video-Bilderrahmeninterpolation niederschlägt, ohne zusätzliche Eingaben in Form von optischer Flussdichte oder Tiefenkarten zu erfordern. Dank seiner Einfachheit kann FLAVR bis zu dreimal schnellere Inferenzgeschwindigkeit als die aktuell genaueste Methode bei der Mehrbilderrahmeninterpolation erreichen, ohne dabei an Interpolationsgenauigkeit einzubüßen. Darüber hinaus bewerten wir FLAVR in einer Vielzahl herausfordernder Szenarien und zeigen konsistent überlegene qualitative und quantitative Ergebnisse im Vergleich zu früheren Methoden auf verschiedenen gängigen Benchmarks wie Vimeo-90K, UCF101, DAVIS, Adobe und GoPro. Schließlich demonstrieren wir, dass FLAVR für die Video-Bilderrahmeninterpolation als nützliche selbstüberwachte Vorabgabe für Aktionserkennung, optische Flussdichteschätzung und Bewegungsverstärkung dienen kann.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp