Command Palette
Search for a command to run...
BiFormer: Lernen der bilateralen Bewegungsschätzung über einen bilateralen Transformer für die 4K-Videobildinterpolation
BiFormer: Lernen der bilateralen Bewegungsschätzung über einen bilateralen Transformer für die 4K-Videobildinterpolation
Junheum Park Jintae Kim Chang-Su Kim
Zusammenfassung
In diesem Paper wird ein neuartiger 4K-Videobildinterpolationsalgorithmus basierend auf einem bilateralen Transformer (BiFormer) vorgestellt, der drei Schritte umfasst: globale Bewegungsschätzung, lokale Bewegungsverfeinerung und Frame-Synthese. Zunächst schätzen wir bei der globalen Bewegungsschätzung symmetrische bilaterale Bewegungsfelder auf einer groben Skala. Hierzu präsentieren wir BiFormer, den ersten transformerbasierten bilateralen Bewegungsschätzer. Anschließend verfeinern wir die globalen Bewegungsfelder effizient mittels blockweiser bilateraler Kostenvolumina (BBCVs). Schließlich wenden wir die verfeinerten Bewegungsfelder an, um die Eingabebilder zu verzerren, und mischen diese zur Synthese eines Zwischenframes. Umfangreiche Experimente zeigen, dass der vorgeschlagene BiFormer-Algorithmus hervorragende Interpolationsleistungen auf 4K-Datensätzen erzielt. Der Quellcode ist unter https://github.com/JunHeum/BiFormer verfügbar.