HyperAIHyperAI

Command Palette

Search for a command to run...

Alte Filme zum Leben erwecken

Ziyu Wan Bo Zhang Dongdong Chen Jing Liao

Zusammenfassung

Wir präsentieren ein lernbasiertes Framework, das Netzwerk der rekurrenten Transformer (Recurrent Transformer Network, RTN), zur Restauration stark verschlechterter alter Filme. Anstatt die Restauration frameweise durchzuführen, basiert unsere Methode auf dem verborgenen Wissen, das aus benachbarten Frames gelernt wird und reichhaltige Informationen über die Verdeckung enthält. Dies ist hilfreich, um herausfordernde Artefakte jedes Frames wiederherzustellen und gleichzeitig die zeitliche Kohärenz zu gewährleisten. Darüber hinaus ermöglicht der Kontrast zwischen der Repräsentation des aktuellen Frames und dem verborgenen Wissen die unsupervisierte Inferenz der Kratzspurenpositionen, wobei diese Defektlokalisation sich gut auf realweltmäßige Verschlechterungen verallgemeinert. Um gemischte Verschlechterungen besser zu lösen und den Flussabschätzungfehler während der Frameausrichtung zu kompensieren, schlagen wir vor, für die räumliche Restauration expressivere Transformer-Blöcke einzusetzen. Experimente sowohl mit synthetischen Datensätzen als auch mit realweltmäßigen alten Filmen zeigen die erhebliche Überlegenheit des vorgeschlagenen RTNs im Vergleich zu bestehenden Lösungen. Zudem kann dasselbe Framework effektiv die Farbinformation von Schlüsselbildern auf das gesamte Video übertragen, was letztendlich beeindruckende restaurierte Filme ergibt. Die Implementierung und das Modell werden unter folgender URL veröffentlicht: https://github.com/raywzy/Bringing-Old-Films-Back-to-Life.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp