AdaCoF: Anpassungsfähige Zusammenarbeit von Flüssen für die Video-Bildinterpolation

Die Video-Bilderrahmen-Interpolation ist eine der anspruchsvollsten Aufgaben im Bereich der Videobearbeitungsforschung. In jüngerer Zeit wurden zahlreiche Studien basierend auf tiefem Lernen vorgeschlagen. Die meisten dieser Methoden konzentrieren sich darauf, Orte mit nützlichen Informationen zu finden, um jeden Ausgabepixel durch eigene Bilderrahmen-Verformungsoperationen zu schätzen. Viele von ihnen haben jedoch Einschränkungen in Bezug auf Freiheitsgrade (DoF) und scheitern bei der Bewältigung komplexer Bewegungen, die in realen Videos auftreten. Um dieses Problem zu lösen, schlagen wir ein neues Verformungsmodul vor, das als Adaptive Zusammenarbeit von Flüssen (AdaCoF) bezeichnet wird. Unsere Methode schätzt sowohl Kernelsgewichte als auch Verschiebungsvektoren für jedes Zielpixel, um den Ausgabe-Bilderrahmen zu synthetisieren. AdaCoF ist eines der allgemeinsten Verformungsmodule im Vergleich zu anderen Ansätzen und umfasst die meisten von ihnen als Spezialfälle. Daher kann es einen erheblich breiteren Bereich komplexer Bewegungen abdecken. Um unser Framework weiter zu verbessern und realistischere Ausgaben zu synthetisieren, führen wir eine dualrahmige adversarische Verlustfunktion ein, die nur für Video-Bilderrahmen-Interpolationsaufgaben anwendbar ist. Die experimentellen Ergebnisse zeigen, dass unsere Methode sowohl in festgelegten Trainingsdatensatz-Umgebungen als auch im Middlebury-Benchmark den aktuellen Stand der Technik übertrifft.