MEMC-Net : Réseau neuronal piloté par l'estimation du mouvement et la compensation du mouvement pour l'interpolation et l'amélioration des trames vidéo

L’estimation du mouvement (ME) et la compensation du mouvement (MC) ont dominé pendant plusieurs décennies les systèmes classiques d’interpolation de trames vidéo. Récemment, les réseaux de neurones convolutifs ont établi un nouveau paradigme piloté par les données pour l’interpolation de trames. Toutefois, les méthodes basées sur l’apprentissage existantes se limitent généralement à l’estimation d’un seul des deux composants fondamentaux, ME ou MC, ce qui entraîne des performances limitées tant en efficacité computationnelle qu’en précision d’interpolation. Dans ce travail, nous proposons un réseau neuronal piloté par l’estimation du mouvement et la compensation du mouvement pour l’interpolation de trames vidéo. Nous introduisons une nouvelle couche d’application adaptative, conçue pour intégrer à la fois le flux optique et les noyaux d’interpolation afin de synthétiser les pixels de la trame cible. Cette couche est entièrement différentiable, permettant ainsi une optimisation conjointe des réseaux d’estimation du flux et des noyaux. Notre méthode tire parti de l’architecture modélisée par ME et MC tout en évitant la conception conventionnelle manuelle, grâce à l’apprentissage sur d’importants volumes de données vidéo. Par rapport aux méthodes existantes, notre approche est plus efficace sur le plan computationnel et capable de produire des résultats visuellement plus attrayants. En outre, notre architecture MEMC constitue un cadre généralisable, pouvant être intégrée sans difficulté à diverses tâches d’amélioration vidéo, telles que la super-résolution, le débruitage et la suppression des blocs. Des évaluations quantitatives et qualitatives étendues démontrent que la méthode proposée se distingue favorablement des algorithmes de pointe en interpolation et amélioration vidéo sur une large gamme de jeux de données.