Referenzbasierte Restauration digitalisierter analoger Videobänder

Analoge Magnetbänder waren jahrzehntelang das wichtigste Speichermedium für Videodaten. Videos, die auf analogen Videobändern gespeichert sind, zeigen einzigartige Degradationsmuster, die durch Bandalterung und Fehlfunktionen der Wiedergabegeräte verursacht werden und sich von denen unterscheiden, die bei der Restauration von Filmen und digitalen Videos beobachtet werden. In dieser Arbeit präsentieren wir einen referenzbasierten Ansatz zur Restauration digitalisierter analoger Videobänder (TAPE). Wir nutzen CLIP für die zero-shot Artefaktendetektion, um durch textuelle Anweisungen verschiedene Artefakte zu beschreiben und so die saubersten Frames jedes Videos zu identifizieren. Anschließend wählen wir die sauberen Frames aus, die den Eingabe-Frames am ähnlichsten sind, und verwenden diese als Referenzen. Wir entwerfen ein transformerbasiertes Swin-UNet-Netzwerk, das sowohl benachbarte als auch Referenzframes durch unsere Multi-Referenz-Spatial-Feature-Fusion (MRSFF)-Blöcke nutzt. Die MRSFF-Blöcke basieren auf Cross-Attention und Attention Pooling, um die nützlichsten Teile jeder Referenzframe zu nutzen. Um das Fehlen von Ground Truth in realen Videos zu kompensieren, erstellen wir einen synthetischen Datensatz mit Videos, die Artefakte aufweisen, die denen entsprechen, die in analogen Videobändern häufig vorkommen. Sowohl quantitative als auch qualitative Experimente zeigen die Effektivität unseres Ansatzes im Vergleich zu anderen Stand-of-the-Art-Methoden. Der Code, das Modell und der synthetische Datensatz sind öffentlich verfügbar unter https://github.com/miccunifi/TAPE.