AdaCoF : Collaboration adaptative des flux pour l'interpolation de frames vidéo

L'interpolation de trames vidéo est l'une des tâches les plus complexes dans la recherche sur le traitement vidéo. Récemment, de nombreuses études basées sur l'apprentissage profond ont été proposées. La plupart de ces méthodes se concentrent sur la recherche d'emplacements contenant des informations utiles pour estimer chaque pixel de sortie en utilisant leurs propres opérations de déformation de trame. Cependant, beaucoup d'entre elles présentent des limitations en termes de Degrés de Liberté (DoF) et échouent à traiter les mouvements complexes présents dans les vidéos du monde réel. Pour résoudre ce problème, nous proposons un nouveau module de déformation appelé Collaboration Adaptative des Flots (AdaCoF). Notre méthode estime à la fois les poids du noyau et les vecteurs d'offset pour chaque pixel cible afin de synthétiser la trame de sortie. AdaCoF est l'un des modules de déformation les plus généralisés par rapport aux autres approches, et couvre la plupart d'entre eux comme des cas particuliers. Par conséquent, il peut gérer un domaine considérablement large de mouvements complexes. Pour améliorer davantage notre cadre et synthétiser des sorties plus réalistes, nous introduisons une perte adversariale à double trame qui ne s'applique qu'aux tâches d'interpolation de trames vidéo. Les résultats expérimentaux montrent que notre méthode surpassent les méthodes les plus avancées actuellement disponibles, tant dans des environnements avec des ensembles d'apprentissage fixes que dans le benchmark Middlebury.