Vers une synthèse et modélisation générale du bruit brut en faible éclairage

La modélisation et la synthèse du bruit brut en faible éclairage constituent un problème fondamental en photographie computationnelle et en traitement d’image. Bien que la plupart des travaux récents aient recours à des modèles physiques pour synthétiser le bruit, le bruit indépendant du signal dans les conditions de faible luminosité est bien plus complexe et varie de manière significative entre différents capteurs, ce qui dépasse largement la capacité de description de ces modèles. Pour répondre à ce défi, nous proposons une nouvelle approche basée sur un modèle génératif afin de synthétiser le bruit indépendant du signal. Plus précisément, nous synthétisons le bruit dépendant du signal de manière physique, et le bruit indépendant du signal de manière apprise. Ainsi, notre méthode peut être considérée comme un modèle généralisable : elle est capable d’apprendre simultanément les différentes caractéristiques du bruit pour divers niveaux d’ISO, tout en se généralisant à différents capteurs. Par la suite, nous introduisons un discriminateur multi-échelle efficace, nommé Fourier Transformer Discriminator (FTD), pour distinguer avec précision les distributions de bruit. En outre, nous avons collecté un nouveau jeu de données pour le débruitage de données brutes en faible éclairage (LRD), destiné à l’entraînement et au benchmarking. Des évaluations qualitatives montrent que le bruit généré par notre modèle est très proche du bruit réel en termes de distribution. Enfin, des expériences de débruitage étendues démontrent que notre méthode obtient des performances supérieures par rapport aux méthodes de pointe sur divers capteurs.