Many-to-many Splatting für effiziente Videoframe-Interpolation

Die bewegungsbasierende Interpolation von Videobildern beruht üblicherweise auf optischem Fluss, um Pixel aus den Eingabebildern auf den gewünschten Interpolationszeitpunkt zu transformieren. Aufgrund der inhärenten Schwierigkeiten der Bewegungsschätzung (z. B. Verdeckungen und Diskontinuitäten) erfordern jedoch die meisten modernsten Interpolationsansätze eine nachfolgende Nachbearbeitung des transformierten Ergebnisses, um zufriedenstellende Ausgaben zu erzeugen – was die Effizienz bei der Mehrfachbildinterpolation erheblich verringert. In dieser Arbeit präsentieren wir einen vollständig differenzierbaren Many-to-Many (M2M)-Splatting-Ansatz zur effizienten Bildinterpolation. Konkret schätzen wir für ein Bildpaar mehrere bidirektionale Flüsse, um die Pixel direkt auf den gewünschten Zeitpunkt vorwärts zu transformieren, und fügen anschließend überlappende Pixel zusammen. Auf diese Weise kann jeder Quellpixel mehrere Zielbilder erzeugen, und jeder Zielpixel kann aus einem größeren visuellen Kontext synthetisiert werden. Dadurch entsteht ein robustes Many-to-Many-Splatting-Verfahren, das gegenüber Artefakten wie Lücken resistent ist. Zudem führt M2M für jedes Eingabebildpaar nur eine einzige Bewegungsschätzung durch und weist bei der Interpolation einer beliebigen Anzahl von Zwischenbildern nur einen minimalen zusätzlichen Rechenaufwand auf, wodurch eine schnelle Mehrfachbildinterpolation ermöglicht wird. Wir haben umfangreiche Experimente durchgeführt, um M2M zu analysieren, und fanden heraus, dass es die Effizienz erheblich verbessert, während gleichzeitig eine hohe Effektivität erhalten bleibt.