Modélisation du bruit basée sur la physique pour la photographie à très faible luminosité

Améliorer la visibilité dans des environnements à très faible luminosité constitue une tâche particulièrement difficile. Dans des conditions presque sans lumière, les méthodes existantes de débruitage d’images s’effondrent facilement en raison d’un rapport signal sur bruit (SNR) extrêmement faible. Dans ce travail, nous étudions de manière systématique les statistiques du bruit dans la chaîne d’acquisition des capteurs CMOS, et proposons un modèle de bruit complet capable de caractériser précisément les structures réelles de bruit. Notre modèle novateur prend en compte les sources de bruit provenant des électroniques numériques des appareils photo, souvent ignorées par les méthodes existantes malgré leur influence significative sur les mesures brutes dans l’obscurité. Il permet de décomposer la structure complexe du bruit en différentes distributions statistiques dotées d’une interprétation physique. En outre, ce modèle de bruit peut être utilisé pour générer des données d’entraînement réalistes destinées aux algorithmes d’entraînement basés sur l’apprentissage profond pour le débruitage en faible luminosité. À cet égard, bien que des résultats prometteurs aient été obtenus récemment grâce aux réseaux de neurones convolutifs profonds, leur succès dépend fortement de paires abondantes d’images bruitées et nettoyées, difficiles à obtenir en pratique. La généralisation de ces modèles entraînés à des images provenant de nouveaux appareils reste également problématique. Des expérimentations étendues sur plusieurs jeux de données de débruitage en faible luminosité — dont un nouveau jeu de données recueilli dans ce travail et couvrant divers appareils — montrent qu’un réseau neuronal profond entraîné à l’aide de notre modèle de formation du bruit atteint une précision étonnamment élevée. Les résultats sont comparables, voire parfois supérieurs, à ceux obtenus avec des paires réelles d’images bruitées et nettoyées, ouvrant ainsi une nouvelle voie vers la photographie en conditions extrêmes de faible luminosité.