MEMC-Net : Réseau neuronal piloté par l'estimation et la compensation de mouvement pour l'interpolation et l'amélioration vidéo

L'estimation de mouvement (EM) et la compensation de mouvement (CM) ont été largement utilisées dans les systèmes classiques d'interpolation de trames vidéo au cours des dernières décennies. Récemment, plusieurs méthodes d'interpolation de trames basées sur des réseaux neuronaux convolutifs et guidées par les données ont été proposées. Cependant, les méthodes existantes basées sur l'apprentissage estiment généralement soit le flot optique, soit les noyaux de compensation, ce qui limite leurs performances en termes d'efficacité computationnelle et de précision d'interpolation. Dans cette étude, nous proposons un réseau neuronal piloté par l'estimation et la compensation de mouvement pour l'interpolation de trames vidéo. Une nouvelle couche d'adaptation du décalage a été développée pour intégrer à la fois le flot optique et les noyaux d'interpolation afin de synthétiser les pixels des trames cibles. Cette couche est entièrement différentiable, permettant ainsi une optimisation conjointe des réseaux d'estimation du flot et des noyaux. Le modèle proposé bénéficie des avantages des méthodes d'estimation et de compensation de mouvement sans utiliser des caractéristiques conçues manuellement. Comparativement aux méthodes existantes, notre approche est plus efficace sur le plan computationnel et capable de générer des résultats visuellement plus agréables. De plus, le MEMC-Net proposé peut être adapté sans heurt à plusieurs tâches d'amélioration vidéo, telles que la super-résolution, le débruitage et le déblocage. Des évaluations quantitatives et qualitatives approfondies montrent que la méthode proposée offre des performances favorables face aux algorithmes d'interpolation et d'amélioration de trames vidéo les plus avancés sur une large gamme de jeux de données.