Lernen der Generierung realistischer verrauschter Bilder mittels pixelgenauer rauschbewusster adversarialer Training

Bekannte tiefes Lernen-basierte Verfahren zur Echtrauschenentfernung erfordern eine große Anzahl von Paaren aus rauschigen und sauberen Bildern zur Überwachung. Dennoch ist die Erhebung eines echten Rausch-sauberen Datensatzes eine unakzeptabel kostspielige und aufwendige Prozedur. Um dieses Problem zu mildern, untersucht diese Arbeit, wie realistische rauschige Bilder generiert werden können. Zunächst formulieren wir ein einfaches, jedoch sinnvolles Rauschmodell, das jeden echten rauschigen Pixel als Zufallsvariable betrachtet. Dieses Modell zerlegt das Problem der Rauschgenerierung in zwei Teilprobleme: die Ausrichtung im Bildraum und die Ausrichtung im Rauschraum. Anschließend stellen wir einen neuen Ansatz vor, den sogenannten Pixel-level Noise-aware Generative Adversarial Network (PNGAN). PNGAN nutzt einen vortrainierten Echt-Rauschentferner, um künstliche und echte rauschige Bilder in einen nahezu rauschfreien Lösungsraum abzubilden, um die Ausrichtung im Bildraum zu erreichen. Gleichzeitig etabliert PNGAN ein pixelbasiertes adversariales Trainingsverfahren zur Rauschraum-Ausrichtung. Zusätzlich präsentieren wir zur verbesserten Rauschpassung eine effiziente Architektur namens Simple Multi-scale Network (SMNet) als Generator. Qualitative Bewertungen zeigen, dass das von PNGAN generierte Rauschen hinsichtlich Intensität und Verteilung stark mit echtem Rauschen übereinstimmt. Quantitative Experimente belegen, dass eine Reihe von Rauschentfernungsverfahren, die mit den generierten rauschigen Bildern trainiert wurden, auf vier realen Rauschentfernungsbenchmark-Datensätzen Ergebnisse auf State-of-the-Art (SOTA)-Niveau erzielen. Ein Teil der Codes, vortrainierten Modelle und Ergebnisse ist unter https://github.com/caiyuanhao1998/PNGAN für Vergleiche verfügbar.