HyperAIHyperAI

Command Palette

Search for a command to run...

Restauration basée sur des références de bandes vidéo analogiques numérisées

Lorenzo Agnolucci Leonardo Galteri Marco Bertini Alberto Del Bimbo

Résumé

Les bandes magnétiques analogiques ont été le principal support de stockage des données vidéo pendant plusieurs décennies. Les vidéos stockées sur ces bandes présentent des motifs de dégradation uniques dus au vieillissement des bandes et aux dysfonctionnements des lecteurs, qui diffèrent de ceux observés dans les tâches de restauration du film et de la vidéo numérique. Dans cette étude, nous présentons une approche basée sur une référence pour la restauration des bandes vidéo analogiques numérisées (TAPE). Nous utilisons CLIP pour la détection d'artefacts en zero-shot afin d'identifier les images les plus propres de chaque vidéo grâce à des invites textuelles décrivant différents artefacts. Ensuite, nous sélectionnons les images propres les plus similaires aux images d'entrée et les utilisons comme références. Nous concevons un réseau Swin-UNet basé sur les transformateurs qui exploite à la fois les images voisines et les images de référence via nos blocs de Fusion Spatiale Multi-Référence (MRSFF). Les blocs MRSFF s'appuient sur l'attention croisée et le regroupement par attention pour tirer parti des parties les plus utiles de chaque image de référence. Pour remédier à l'absence de vérité terrain dans les vidéos du monde réel, nous créons un ensemble de données synthétique comprenant des vidéos présentant des artefacts très similaires à ceux couramment trouvés sur les bandes vidéo analogiques. Des expériences quantitatives et qualitatives montrent l'efficacité de notre approche par rapport à d'autres méthodes d'avant-garde. Le code, le modèle et l'ensemble de données synthétique sont librement accessibles sur https://github.com/miccunifi/TAPE.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp