Modélisation de bruit de capteur guidée par la physique et dépendante de l'ISO pour la photographie à très faible luminosité

Bien que les réseaux neuronaux profonds aient atteint des performances remarquables dans de nombreuses tâches de vision, les méthodes basées sur l’apprentissage actuelles restent nettement inférieures aux approches fondées sur les modèles physiques pour la modélisation du bruit des capteurs dans des conditions extrêmement faibles d’éclairage. Afin d’exploiter pleinement le potentiel des méthodes d’apprentissage pour la modélisation du bruit des capteurs, nous étudions la formation du bruit dans un processus d’imagerie typique et proposons une nouvelle approche de modélisation du bruit des capteurs guidée par la physique et dépendante de l’ISO. Plus précisément, nous développons un cadre basé sur les flows de normalisation pour représenter les caractéristiques complexes du bruit des capteurs CMOS. Chaque composant du modèle de bruit est spécifiquement dédié à un type particulier de bruit, sous la direction des modèles physiques. En outre, nous prenons explicitement en compte la dépendance en ISO dans le modèle de bruit, un aspect qui n’est pas entièrement pris en compte par les méthodes d’apprentissage existantes. Pour entraîner le modèle proposé, nous avons collecté un nouveau jeu de données comprenant des paires d’images bruitées et nettes, ainsi que des images de champ plat et des images de biais couvrant une large gamme de réglages ISO. Par rapport aux méthodes existantes, le modèle proposé bénéficie d’une structure flexible et d’une capacité de modélisation précise, permettant d’obtenir de meilleures performances de débruitage dans des scènes extrêmement faiblement éclairées. Le code source et le jeu de données collectés seront rendus disponibles publiquement.