HyperAIHyperAI

Command Palette

Search for a command to run...

Verbesserte bidirektionale Bewegungsschätzung für die Videoframe-Interpolation

Xin Jin Longhai Wu Guotao Shen Youxin Chen Jie Chen Jayoon Koo Cheul-hee Hahm

Zusammenfassung

Wir präsentieren einen neuartigen, einfachen jedoch effektiven Algorithmus zur Bewegungs-basierten Interpolation von Videobildern. Bestehende Bewegungs-basierte Interpolationsmethoden stützen sich typischerweise auf ein vorab trainiertes Optische-Fluss-Modell oder ein U-Net-basiertes Pyramiden-Netzwerk zur Bewegungsschätzung, wobei beide Ansätze entweder große Modellgrößen aufweisen oder begrenzte Kapazität bei der Behandlung komplexer und großer Bewegungen besitzen. In dieser Arbeit integrieren wir durch sorgfältige Kombination von mittelständigen, vorwärts-orientierten Warp-Operationen, einem leichtgewichtigen Merkmals-Encoder und einer Korrelationsvolumen-Struktur in einen pyramidenförmigen rekurrenten Rahmen ein kompaktes Modell, das gleichzeitig die bidirektionale Bewegung zwischen Eingabebildern schätzt. Das Modell ist 15-mal kleiner als PWC-Net, ermöglicht jedoch zuverlässigere und flexiblere Behandlung anspruchsvoller Bewegungsszenarien. Auf Basis der geschätzten bidirektionalen Bewegung werden die Eingabebilder sowie deren Kontextmerkmale auf das Zwischenbild vorwärts gewarpt, und ein Synthesenetzwerk nutzt die transformierten Darstellungen, um das Zwischenbild zu schätzen. Unser Ansatz erreicht hervorragende Ergebnisse auf einer breiten Palette von Benchmark-Daten für Videobild-Interpolation. Der Quellcode und die trainierten Modelle sind unter \url{https://github.com/srcn-ivl/EBME} verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp