Apprentissage de la génération d’images bruitées réalistes par entraînement adversaire sensible au bruit au niveau des pixels

Les méthodes existantes de débruitage profond réel nécessitent une grande quantité de paires d’images bruitées et nettes pour l’apprentissage supervisé. Toutefois, la collecte d’un jeu de données réel comprenant des paires bruitées/nettes constitue une procédure coûteuse et fastidieuse, difficilement acceptable. Pour atténuer ce problème, ce travail explore la génération d’images bruitées réalistes. Premièrement, nous formulons un modèle de bruit simple mais raisonnable, qui traite chaque pixel bruité réel comme une variable aléatoire. Ce modèle décompose le problème de génération d’images bruitées en deux sous-problèmes : l’alignement dans l’espace d’image et l’alignement dans l’espace de bruit. Ensuite, nous proposons un cadre novateur, nommé Réseau Génératif Adversarial Sensible au Niveau de Pixel (PNGAN). PNGAN utilise un débruiteur réel pré-entraîné pour projeter les images bruitées fictives et réelles dans un espace solution presque dépourvu de bruit, afin d’assurer l’alignement dans l’espace d’image. Parallèlement, PNGAN met en œuvre une formation adversaire au niveau du pixel pour réaliser l’alignement dans l’espace de bruit. En outre, pour une meilleure adaptation du bruit, nous introduisons une architecture efficace, appelée Réseau Multi-échelle Simple (SMNet), utilisée comme générateur. Des évaluations qualitatives montrent que le bruit généré par PNGAN est très similaire au bruit réel en termes d’intensité et de distribution. Des expériences quantitatives démontrent que plusieurs débruiteurs entraînés sur des images bruitées générées atteignent des résultats de pointe (SOTA) sur quatre benchmarks réels de débruitage. Une partie du code, des modèles pré-entraînés et des résultats sont disponibles à l’adresse suivante : https://github.com/caiyuanhao1998/PNGAN pour des comparaisons.