Apprentissage d'un modèle d'histoire causale tronquée pour la restauration vidéo

Un défi majeur dans la restauration vidéo est de modéliser les dynamiques de transition des images vidéo gouvernées par le mouvement. Dans ce travail, nous proposons TURTLE pour apprendre un modèle d'histoire causale tronquée, visant à une restauration vidéo efficace et performante. Contrairement aux méthodes traditionnelles qui traitent un ensemble d'images contextuelles en parallèle, TURTLE améliore l'efficacité en stockant et résumant une histoire tronquée de la représentation latente des images d'entrée dans un état historique évolutif. Ceci est réalisé grâce à un mécanisme sophistiqué de récupération basé sur la similarité, qui prend implicitement en compte le mouvement et l'alignement inter-images. La conception causale de TURTLE permet une récurrence lors de l'inférence grâce aux caractéristiques historiques mémorisées tout en autorisant une formation parallèle en échantillonnant des extraits vidéo tronqués. Nous rapportons de nouveaux résultats d'état de l'art sur diverses tâches de référence en restauration vidéo, y compris la désneigement des vidéos, la dépluie nocturne des vidéos, l'élimination des gouttes et des traînées de pluie dans les vidéos, la super-résolution vidéo, le déflouage réel et synthétique des vidéos, ainsi que le débruitage aveugle des vidéos, tout en réduisant le coût computationnel par rapport aux meilleures méthodes contextuelles existantes pour toutes ces tâches.