BiFormer: Lernen der bilateralen Bewegungsschätzung über einen bilateralen Transformer für die 4K-Videobildinterpolation

In diesem Paper wird ein neuartiger 4K-Videobildinterpolationsalgorithmus basierend auf einem bilateralen Transformer (BiFormer) vorgestellt, der drei Schritte umfasst: globale Bewegungsschätzung, lokale Bewegungsverfeinerung und Frame-Synthese. Zunächst schätzen wir bei der globalen Bewegungsschätzung symmetrische bilaterale Bewegungsfelder auf einer groben Skala. Hierzu präsentieren wir BiFormer, den ersten transformerbasierten bilateralen Bewegungsschätzer. Anschließend verfeinern wir die globalen Bewegungsfelder effizient mittels blockweiser bilateraler Kostenvolumina (BBCVs). Schließlich wenden wir die verfeinerten Bewegungsfelder an, um die Eingabebilder zu verzerren, und mischen diese zur Synthese eines Zwischenframes. Umfangreiche Experimente zeigen, dass der vorgeschlagene BiFormer-Algorithmus hervorragende Interpolationsleistungen auf 4K-Datensätzen erzielt. Der Quellcode ist unter https://github.com/JunHeum/BiFormer verfügbar.