Débrouillage vidéo profond pour caméras tenues à la main

Le flou de mouvement dû au tremblement de main constitue un problème majeur dans les vidéos capturées par des appareils portables. Contrairement au déflouage d’image unique, les approches basées sur la vidéo peuvent exploiter l’abondance d’informations présente entre cadres voisins. En conséquence, les méthodes les plus performantes reposent sur l’alignement des cadres proches. Toutefois, l’alignement d’images est une opération coûteuse en calcul et fragile, et les méthodes qui aggregent des informations doivent donc être capables d’identifier les régions correctement alignées et celles qui ne le sont pas — une tâche qui nécessite une compréhension sémantique de haut niveau de la scène. Dans ce travail, nous proposons une solution fondée sur l’apprentissage profond pour le déflouage vidéo, dans laquelle un réseau de neurones convolutifs (CNN) est entraîné de manière end-to-end afin d’apprendre à accumuler efficacement les informations à travers les cadres. Pour entraîner ce réseau, nous avons collecté un jeu de données constitué de vidéos réelles enregistrées à haute fréquence d’images, que nous utilisons pour générer du flou de mouvement synthétique afin de superviser l’apprentissage. Nous montrons que les caractéristiques apprises à partir de ce jeu de données s’étendent au déflouage du flou de mouvement causé par le tremblement de main dans une large variété de vidéos, et comparons la qualité des résultats obtenus à celle de plusieurs méthodes de référence.