Un modèle de formation du bruit fondé sur la physique pour le débruitage brut extrêmement faible en lumière

En l’absence de données riches et réalistes, les algorithmes d’élimination de bruit à partir d’une seule image appris se généralisent mal aux images brutes réelles ne ressemblant pas aux données utilisées pour l’entraînement. Bien que ce problème puisse être atténué par un modèle gaussien hétéroscédastique pour la synthèse du bruit, les sources de bruit dues à l’électronique des appareils photo numériques restent largement ignorées, malgré leur impact significatif sur les mesures brutes, en particulier dans des conditions de faible éclairage extrême. Pour remédier à ce défaut, nous proposons un modèle de formation du bruit hautement précis fondé sur les caractéristiques des capteurs photosensibles CMOS, permettant ainsi de générer des échantillons réalistes mieux conformes à la physique du processus de formation d’image. Étant donné ce modèle de bruit proposé, nous introduisons également une méthode simple et reproductible pour calibrer les paramètres du bruit sur les appareils photo numériques modernes disponibles, applicable à tout nouveau dispositif. Nous étudions systématiquement la généralisation d’un réseau neuronal entraîné selon les approches existantes, en introduisant un nouveau jeu de données dédié à l’élimination de bruit en faible éclairage, couvrant de nombreux appareils photo numériques modernes provenant de marques diverses. Les résultats expérimentaux étendus démontrent de manière collective que, grâce à notre modèle de formation du bruit, un réseau peut atteindre une performance équivalente à celle obtenue par un entraînement sur de riches données réelles, ce qui confirme l’efficacité de notre modèle.