FLAVR : Représentations Vidéo Indépendantes du Flot pour une Interpolation Rapide des Images Fixes

La plupart des méthodes d'interpolation de trames vidéo calculent le flot optique bidirectionnel entre les trames adjacentes d'une vidéo, suivi d'un algorithme de déformation approprié pour générer les trames de sortie. Cependant, les approches basées sur le flot optique échouent souvent à modéliser directement les occultations et les mouvements complexes non linéaires à partir de la vidéo et introduisent des goulets d'étranglement supplémentaires incompatibles avec un déploiement généralisé. Nous abordons ces limitations avec FLAVR (Flexible and Accurate Video frame Reconstruction), une architecture flexible et efficace qui utilise des convolutions spatio-temporelles 3D pour permettre l'apprentissage et l'inférence bout-à-bout pour l'interpolation de trames vidéo. Notre méthode apprend efficacement à raisonner sur les mouvements non linéaires, les occultations complexes et les abstractions temporelles, ce qui se traduit par une meilleure performance en interpolation vidéo tout en n'exigeant aucun autre input sous forme de flot optique ou de cartes de profondeur. Grâce à sa simplicité, FLAVR peut offrir une vitesse d'inférence 3 fois plus rapide que la méthode actuellement la plus précise pour l'interpolation multi-trame sans compromettre la précision de l'interpolation. De plus, nous évaluons FLAVR dans une gamme étendue de configurations difficiles et montrons constamment des résultats qualitatifs et quantitatifs supérieurs par rapport aux méthodes antérieures sur divers benchmarks populaires tels que Vimeo-90K, UCF101, DAVIS, Adobe et GoPro. Enfin, nous démontrons que FLAVR pour l'interpolation de trames vidéo peut servir de tâche prétexte auto-supervisée utile pour la reconnaissance d'actions, l'estimation du flot optique et l'amplification du mouvement.