Restauration basée sur des références de bandes vidéo analogiques numérisées

Les bandes magnétiques analogiques ont été le principal support de stockage des données vidéo pendant plusieurs décennies. Les vidéos stockées sur ces bandes présentent des motifs de dégradation uniques dus au vieillissement des bandes et aux dysfonctionnements des lecteurs, qui diffèrent de ceux observés dans les tâches de restauration du film et de la vidéo numérique. Dans cette étude, nous présentons une approche basée sur une référence pour la restauration des bandes vidéo analogiques numérisées (TAPE). Nous utilisons CLIP pour la détection d'artefacts en zero-shot afin d'identifier les images les plus propres de chaque vidéo grâce à des invites textuelles décrivant différents artefacts. Ensuite, nous sélectionnons les images propres les plus similaires aux images d'entrée et les utilisons comme références. Nous concevons un réseau Swin-UNet basé sur les transformateurs qui exploite à la fois les images voisines et les images de référence via nos blocs de Fusion Spatiale Multi-Référence (MRSFF). Les blocs MRSFF s'appuient sur l'attention croisée et le regroupement par attention pour tirer parti des parties les plus utiles de chaque image de référence. Pour remédier à l'absence de vérité terrain dans les vidéos du monde réel, nous créons un ensemble de données synthétique comprenant des vidéos présentant des artefacts très similaires à ceux couramment trouvés sur les bandes vidéo analogiques. Des expériences quantitatives et qualitatives montrent l'efficacité de notre approche par rapport à d'autres méthodes d'avant-garde. Le code, le modèle et l'ensemble de données synthétique sont librement accessibles sur https://github.com/miccunifi/TAPE.