CycleISP : Restauration d’images réelles par synthèse de données améliorée

La disponibilité de grands ensembles de données à grande échelle a permis de libérer tout le potentiel des réseaux de neurones convolutifs profonds (CNN). Toutefois, pour le problème de suppression de bruit à partir d’une seule image, la collecte d’un ensemble de données réel constitue une procédure excessivement coûteuse et complexe. En conséquence, les algorithmes de suppression de bruit d’image sont principalement développés et évalués sur des données synthétiques, généralement générées sous l’hypothèse courante de bruit blanc gaussien additif (AWGN). Bien que les CNN atteignent des résultats impressionnants sur ces ensembles de données synthétiques, leurs performances se dégradent considérablement lorsqu’ils sont appliqués à des images réelles prises par un appareil photo, comme le montrent les dernières évaluations sur des benchmarks réels. Cela s’explique principalement par le fait que le modèle AWGN est insuffisant pour représenter le bruit réel des capteurs photo, qui est dépendant du signal et fortement transformé par la chaîne de traitement d’image de l’appareil photo. Dans cet article, nous proposons un cadre qui modélise la chaîne de traitement d’image de l’appareil photo dans les deux sens, direct et inverse. Ce cadre permet de générer un nombre illimité de paires d’images réalistes pour la suppression de bruit, tant dans l’espace RAW que dans l’espace sRGB. En entraînant un nouveau réseau de suppression de bruit sur des données synthétiques réalistes, nous atteignons une performance de pointe sur des benchmarks réels d’images prises par appareil photo. Les paramètres de notre modèle sont environ cinq fois moins nombreux que ceux de la méthode précédente la plus performante pour la suppression de bruit en RAW. En outre, nous démontrons que le cadre proposé se généralise au-delà du problème de suppression de bruit, par exemple pour la correspondance des couleurs dans le cinéma stéréoscopique. Le code source et les modèles pré-entraînés sont disponibles à l’adresse suivante : https://github.com/swz30/CycleISP.