Désimages pour un débruitage brut appris

Les techniques d'apprentissage automatique fonctionnent le mieux lorsque les données utilisées pour l'entraînement ressemblent aux données utilisées pour l'évaluation. Cela s'applique également aux algorithmes de débruitage d'images uniques appris, qui sont appliqués à des lectures réelles de capteurs d'appareils photo, mais qui, en raison de contraintes pratiques, sont souvent entraînés sur des données d'images synthétiques. Bien qu'il soit reconnu que la généralisation des données synthétiques aux données réelles nécessite une attention particulière aux propriétés du bruit des capteurs d'images, les autres aspects du pipeline de traitement d'images d'un appareil photo (amplification, correction de couleur, mappage tonal, etc.) sont souvent négligés, malgré leur effet significatif sur la transformation des mesures brutes en images finales. Pour remédier à cela, nous présentons une technique permettant de « détraiter » les images en inversant chaque étape du pipeline de traitement d'images, ce qui nous permet de synthétiser des mesures brutes réalistes de capteurs à partir de photos couramment disponibles sur Internet. Nous modélisons également les composants pertinents du pipeline de traitement d'images lors de l'évaluation de notre fonction de perte, ce qui permet à l'entraînement de prendre en compte tous les traitements photométriques pertinents qui interviendront après le débruitage. En traitant et détraitant ainsi les sorties du modèle et les données d'entraînement, nous sommes en mesure d'entraîner un réseau neuronal convolutif simple dont les taux d'erreur sont 14 % à 38 % plus bas et qui est 9 à 18 fois plus rapide que l'état de l'art précédent sur le jeu de données Darmstadt Noise Dataset, tout en se généralisant également à des capteurs hors de ce jeu de données.