HyperAIHyperAI
il y a 2 mois

Amélioration vidéo avec flux orienté tâche

Tianfan Xue; Baian Chen; Jiajun Wu; Donglai Wei; William T. Freeman
Amélioration vidéo avec flux orienté tâche
Résumé

De nombreux algorithmes d'amélioration vidéo s'appuient sur le flux optique pour enregistrer les images dans une séquence vidéo. Cependant, l'estimation précise du flux est un problème insoluble ; et le flux optique lui-même est souvent une représentation sous-optimale pour certaines tâches de traitement vidéo. Dans cet article, nous proposons le flux orienté tâche (TOFlow), une représentation de mouvement apprise de manière auto-supervisée et spécifique à la tâche. Nous concevons un réseau neuronal doté d'un composant d'estimation de mouvement entraînable et d'un composant de traitement vidéo, et nous les entraînons conjointement pour apprendre le flux orienté tâche. Pour l'évaluation, nous avons créé Vimeo-90K, un ensemble de données vidéo à grande échelle et de haute qualité destiné au traitement bas niveau des vidéos. TOFlow surpasse le flux optique traditionnel sur les benchmarks standards ainsi que sur notre ensemble de données Vimeo-90K dans trois tâches de traitement vidéo : interpolation d'images, débruitage/déblocage vidéo et super-résolution vidéo.