HyperAIHyperAI

Command Palette

Search for a command to run...

Unüberwachte Video-Interpolation unter Verwendung von Zyklus-Konsistenz

Fitsum A. Reda Deqing Sun* Aysegul Dundar Mohammad Shoeybi Guilin Liu Kevin J. Shih Andrew Tao Jan Kautz Bryan Catanzaro

Zusammenfassung

Das Lernen der Synthese von Videos mit hoher Bildwiederholrate durch Interpolation erfordert große Mengen an Trainingsvideos mit hoher Bildwiederholrate, die jedoch selten sind, insbesondere in hohen Auflösungen. In diesem Beitrag schlagen wir unüberwachte Techniken vor, um Videos mit hoher Bildwiederholrate direkt aus Videos mit niedriger Bildwiederholrate unter Verwendung von Zyklus-Konsistenz zu synthetisieren. Für ein Tripel aufeinanderfolgender Frames optimieren wir Modelle, um die Diskrepanz zwischen dem Mittelframe und seiner zyklischen Rekonstruktion zu minimieren, die durch Rückinterpolation von interpolierten Zwischenframes erhalten wird. Diese einfache unüberwachte Nebenbedingung allein erreicht Ergebnisse, die vergleichbar sind mit denen bei Überwachung mithilfe der echten Zwischenframes (ground truth intermediate frames). Wir führen außerdem einen pseudounterwachten Verlustterm ein, der die Konsistenz der interpolierten Frames mit den Vorhersagen eines vortrainierten Interpolationsmodells erzwingt. Der pseudounterwachte Verlustterm, in Kombination mit der Zyklus-Konsistenz, kann ein vortrainiertes Modell effektiv an ein neues Zielgebiet anpassen. Ohne zusätzliche Daten und vollständig unüberwacht verbessern unsere Techniken vortrainierte Modelle in neuen Zielgebieten erheblich und erhöhen die PSNR-Werte von 32,84 dB auf 33,05 dB im Slowflow-Datensatz und von 31,82 dB auf 32,53 dB im Sintel-Evaluationsdatensatz.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp