Unüberwachte Video-Interpolation unter Verwendung von Zyklus-Konsistenz

Das Lernen der Synthese von Videos mit hoher Bildwiederholrate durch Interpolation erfordert große Mengen an Trainingsvideos mit hoher Bildwiederholrate, die jedoch selten sind, insbesondere in hohen Auflösungen. In diesem Beitrag schlagen wir unüberwachte Techniken vor, um Videos mit hoher Bildwiederholrate direkt aus Videos mit niedriger Bildwiederholrate unter Verwendung von Zyklus-Konsistenz zu synthetisieren. Für ein Tripel aufeinanderfolgender Frames optimieren wir Modelle, um die Diskrepanz zwischen dem Mittelframe und seiner zyklischen Rekonstruktion zu minimieren, die durch Rückinterpolation von interpolierten Zwischenframes erhalten wird. Diese einfache unüberwachte Nebenbedingung allein erreicht Ergebnisse, die vergleichbar sind mit denen bei Überwachung mithilfe der echten Zwischenframes (ground truth intermediate frames). Wir führen außerdem einen pseudounterwachten Verlustterm ein, der die Konsistenz der interpolierten Frames mit den Vorhersagen eines vortrainierten Interpolationsmodells erzwingt. Der pseudounterwachte Verlustterm, in Kombination mit der Zyklus-Konsistenz, kann ein vortrainiertes Modell effektiv an ein neues Zielgebiet anpassen. Ohne zusätzliche Daten und vollständig unüberwacht verbessern unsere Techniken vortrainierte Modelle in neuen Zielgebieten erheblich und erhöhen die PSNR-Werte von 32,84 dB auf 33,05 dB im Slowflow-Datensatz und von 31,82 dB auf 32,53 dB im Sintel-Evaluationsdatensatz.