Voir le mouvement dans l’obscurité

L’apprentissage profond a récemment été appliqué avec des résultats remarquables à l’imagerie en très faible luminosité. Malgré les succès obtenus dans le traitement d’images isolées, le traitement vidéo en conditions extrêmement sombres reste un défi majeur en raison de la difficulté à collecter des données vidéo brutes accompagnées d’une vérité terrain correspondante. La collecte de vérités terrain par exposition longue, comme cela a été réalisé pour le traitement d’images individuelles, n’est pas envisageable pour des scènes dynamiques. Dans cet article, nous présentons un traitement profond de vidéos brutes extrêmement sombres, avec des niveaux d’éclairage de l’ordre d’un lux. Pour soutenir cette recherche, nous avons constitué un nouveau jeu de données de vidéos brutes en faible luminosité, dans lequel des données brutes haute résolution sont capturées à la fréquence vidéo. À ce niveau de pénombre, le rapport signal sur bruit est extrêmement faible (négatif s’il est exprimé en décibels), et le pipeline traditionnel de traitement d’images se dégrade généralement. Nous proposons une nouvelle méthode pour relever ce défi. En concevant soigneusement une chaîne de traitement fondée sur l’apprentissage et en introduisant une nouvelle fonction de perte visant à favoriser la stabilité temporelle, nous entraînons un réseau siamois sur des vidéos brutes statiques, pour lesquelles une vérité terrain est disponible, de manière à ce que le modèle puisse généraliser à des scènes dynamiques lors de l’évaluation. Les résultats expérimentaux montrent que l’approche proposée surpasser les modèles les plus avancés dans les tâches de traitement par rafales, de traitement par cadre individuel, ainsi que de cohérence temporelle aveugle.