Dénouage vidéo brute en plusieurs étapes avec perte adversaire et masque de gradient

Dans cet article, nous proposons une approche fondée sur l’apprentissage pour le débruitage de vidéos brutes capturées dans des conditions de faible éclairage. Notre méthode repose d’abord sur une alignement explicite des trames voisines par rapport à la trame courante, réalisé à l’aide d’un réseau de neurones convolutif (CNN). Nous fusionnons ensuite les trames enregistrées à l’aide d’un autre CNN afin d’obtenir la trame débruitée finale. Pour éviter d’aligner directement des trames éloignées dans le temps, nous réalisons les deux étapes d’alignement et de fusion de manière itérative en plusieurs étapes. Plus précisément, à chaque étape, nous appliquons le processus de débruitage à trois trames consécutives en entrée afin de générer des trames intermédiaires débruitées, qui servent ensuite d’entrée à l’étape suivante. En procédant par étapes successives, nous parvenons à exploiter efficacement les informations des trames voisines sans avoir à aligner directement des trames temporellement éloignées. Notre système multi-étapes est entraîné à l’aide d’une perte adversarielle, avec un discriminateur conditionnel. Plus précisément, nous conditionnons le discriminateur à l’aide d’un masque de gradient doux afin d’éviter l’introduction d’artefacts de haute fréquence dans les régions lisses. Nous démontrons que notre système est capable de produire des vidéos cohérentes dans le temps, avec des détails réalistes. En outre, à travers des expériences étendues, nous montrons que notre approche surpasse les méthodes les plus avancées de débruitage d’images et de vidéos, tant sur le plan numérique que visuel.