Command Palette
Search for a command to run...
MEMC-Net : Réseau neuronal piloté par l'estimation du mouvement et la compensation du mouvement pour l'interpolation et l'amélioration des images vidéo
MEMC-Net : Réseau neuronal piloté par l'estimation du mouvement et la compensation du mouvement pour l'interpolation et l'amélioration des images vidéo
Ming-Hsuan Yang Wei-Sheng Lai Zhiyong Gao Wenbo Bao Xiaoyun Zhang
Résumé
L’estimation du mouvement (ME) et la compensation du mouvement (MC) ont dominé pendant plusieurs décennies les systèmes classiques d’interpolation de trames vidéo. Récemment, les réseaux de neurones convolutifs ont établi un nouveau paradigme piloté par les données pour l’interpolation de trames. Toutefois, les méthodes actuelles basées sur l’apprentissage se limitent généralement à l’estimation d’un seul composant parmi ME ou MC, ce qui entraîne des performances limitées tant en efficacité computationnelle qu’en précision d’interpolation. Dans ce travail, nous proposons un réseau neuronal piloté par l’estimation du mouvement et la compensation du mouvement pour l’interpolation de trames vidéo. Nous introduisons une nouvelle couche d’application adaptative, capable d’intégrer à la fois le flux optique et les noyaux d’interpolation afin de synthétiser les pixels de la trame cible. Cette couche est entièrement différentiable, permettant ainsi une optimisation conjointe des réseaux d’estimation du flux et des noyaux. Notre méthode tire parti de l’architecture modélisée par ME et MC tout en évitant les conceptions manuelles classiques, grâce à l’entraînement sur de grandes quantités de données vidéo. Par rapport aux méthodes existantes, notre approche est plus efficace sur le plan computationnel et capable de produire des résultats visuellement plus attrayants. En outre, notre architecture MEMC constitue un cadre généralisable pouvant être facilement adapté à diverses tâches d’amélioration vidéo, telles que la super-résolution, le débruitage et la suppression des blocs. Des évaluations quantitatives et qualitatives étendues démontrent que la méthode proposée se distingue favorablement des algorithmes de pointe en interpolation et amélioration vidéo sur une large gamme de jeux de données.