Alte Filme zum Leben erwecken

Wir präsentieren ein lernbasiertes Framework, das Netzwerk der rekurrenten Transformer (Recurrent Transformer Network, RTN), zur Restauration stark verschlechterter alter Filme. Anstatt die Restauration frameweise durchzuführen, basiert unsere Methode auf dem verborgenen Wissen, das aus benachbarten Frames gelernt wird und reichhaltige Informationen über die Verdeckung enthält. Dies ist hilfreich, um herausfordernde Artefakte jedes Frames wiederherzustellen und gleichzeitig die zeitliche Kohärenz zu gewährleisten. Darüber hinaus ermöglicht der Kontrast zwischen der Repräsentation des aktuellen Frames und dem verborgenen Wissen die unsupervisierte Inferenz der Kratzspurenpositionen, wobei diese Defektlokalisation sich gut auf realweltmäßige Verschlechterungen verallgemeinert. Um gemischte Verschlechterungen besser zu lösen und den Flussabschätzungfehler während der Frameausrichtung zu kompensieren, schlagen wir vor, für die räumliche Restauration expressivere Transformer-Blöcke einzusetzen. Experimente sowohl mit synthetischen Datensätzen als auch mit realweltmäßigen alten Filmen zeigen die erhebliche Überlegenheit des vorgeschlagenen RTNs im Vergleich zu bestehenden Lösungen. Zudem kann dasselbe Framework effektiv die Farbinformation von Schlüsselbildern auf das gesamte Video übertragen, was letztendlich beeindruckende restaurierte Filme ergibt. Die Implementierung und das Modell werden unter folgender URL veröffentlicht: https://github.com/raywzy/Bringing-Old-Films-Back-to-Life.