Dualer adversarialer Netzwerk: Hin zu einer Realwelt-Rauschunterdrückung und Rauschgenerierung

Die Beseitigung von Bildrauschen in realen Aufnahmen ist eine lang bestehende, jedoch äußerst herausfordernde Aufgabe im Bereich des Computer Vision. Der Erfolg tiefer neuronaler Netze bei der Rauschunterdrückung hat die Forschung zu Rauschgenerierung angeregt, mit dem Ziel, realistischere Paare aus sauberen und verrauschten Bildern zu synthetisieren, um das Training tiefer Rauschunterdrückungsalgorithmen zu verbessern. In dieser Arbeit präsentieren wir einen neuartigen, einheitlichen Rahmen, der gleichzeitig die Aufgaben der Rauschbeseitigung und Rauschgenerierung bewältigt. Im Gegensatz zum traditionellen MAP- (Maximum-A-Posteriori-) Ansatz, der lediglich die a-posteriori-Verteilung des latenten sauberen Bildes unter Bedingung des beobachteten verrauschten Bildes schätzt, lernt unsere Methode die gemeinsame Verteilung von sauberen und verrauschten Bilddatenpaaren. Konkret approximieren wir diese gemeinsame Verteilung mittels zweier unterschiedlicher faktorisierter Formen, die sich als eine Rauschunterdrückungsfunktion (Denoiser) interpretieren lassen, die das verrauschte Bild in ein sauberes abbildet, und als eine Generatormodell, das das saubere Bild in ein verrauschtes transformiert. Die gelernte gemeinsame Verteilung enthält implizit alle relevanten Beziehungen zwischen sauberen und verrauschten Bildern und verzichtet damit auf die Notwendigkeit, manuell definierte Bildprioritäten oder Rauschannahmen zu spezifizieren, wie dies traditionell üblich ist. Darüber hinaus kann die Leistung des Denoisers durch die Erweiterung des ursprünglichen Trainingsdatensatzes mit Hilfe des gelernten Generators weiter verbessert werden. Zudem schlagen wir zwei neue Metriken zur Bewertung der Qualität der generierten verrauschten Bilder vor, wobei wir, soweit uns bekannt ist, mit diesen Metriken erstmals einen neuen Forschungsansatz in dieser Richtung eröffnen. Umfangreiche Experimente belegen die Überlegenheit unseres Verfahrens gegenüber aktuellen State-of-the-Art-Methoden sowohl bei der Rauschbeseitigung als auch bei der Rauschgenerierung. Der Trainings- und Testcode ist unter https://github.com/zsyOAOA/DANet verfügbar.