Rendre vie aux vieux films

Nous présentons un cadre basé sur l'apprentissage, le réseau transformateur récurrent (RTN), pour restaurer des films anciens fortement dégradés. Au lieu d'effectuer une restauration par image, notre méthode s'appuie sur les connaissances cachées apprises à partir des images adjacentes qui contiennent une abondante information sur l'occlusion. Cette approche est bénéfique pour restaurer les artefacts difficiles de chaque image tout en assurant la cohérence temporelle. De plus, la comparaison de la représentation de l'image actuelle et des connaissances cachées permet d'inférer la position des rayures de manière non supervisée, et cette localisation des défauts se généralise bien aux dégradations du monde réel. Pour résoudre de manière plus efficace les dégradations mixtes et compenser l'erreur d'estimation du flot lors de l'alignement des images, nous proposons d'utiliser des blocs transformateurs plus expressifs pour la restauration spatiale. Les expériences menées sur un ensemble de données synthétiques et sur des films anciens du monde réel démontrent la supériorité significative du RTN proposé par rapport aux solutions existantes. En outre, le même cadre peut propager efficacement la couleur des images clés vers l'ensemble de la vidéo, produisant finalement des films restaurés convaincants. L'implémentation et le modèle seront rendus disponibles à l'adresse suivante : https://github.com/raywzy/Bringing-Old-Films-Back-to-Life.