Video Frame Interpolation mit dicht abgefragter bilateraler Korrelation

Video Frame Interpolation (VFI) zielt darauf ab, fehlende Zwischenbilder zwischen vorhandenen Bildern zu synthetisieren. Flow-basierte VFI-Algorithmen schätzen dabei intermediäre Bewegungsfelder, um die vorhandenen Bilder zu deformieren. Die Komplexität realer Bewegungen und das Fehlen einer Referenzbildquelle machen die Bewegungsschätzung jedoch herausfordernd. Viele aktuelle Ansätze modellieren explizit die Korrelationen zwischen zwei benachbarten Bildern, um eine präzisere Bewegungsschätzung zu erreichen. In gängigen Verfahren hängt der Rezeptionsfeldumfang der Korrelationsmodellierung auf höherer Auflösung von zuvor geschätzten Bewegungsfeldern ab. Diese Abhängigkeit vom Rezeptionsfeld beeinträchtigt die Leistung herkömmlicher Bewegungsschätzungsmethoden bei der Behandlung kleiner und schnell bewegter Objekte. Um Korrelationen besser zu modellieren und genauere Bewegungsfelder zu erzeugen, schlagen wir die Densely Queried Bilateral Correlation (DQBC) vor, die das Problem der Rezeptionsfeldabhängigkeit überwindet und somit besonders gut für kleine und schnell bewegte Objekte geeignet ist. Die mit Hilfe von DQBC generierten Bewegungsfelder werden anschließend mit Hilfe von Kontextmerkmalen verfeinert und hochskaliert. Sobald die Bewegungsfelder feststehen, synthetisiert ein CNN-basierter SynthNet das endgültige interpolierte Bild. Experimente zeigen, dass unser Ansatz sowohl eine höhere Genauigkeit als auch eine geringere Inferenzzeit im Vergleich zu aktuellen State-of-the-Art-Verfahren erreicht. Der Quellcode ist unter https://github.com/kinoud/DQBC verfügbar.