EnlightenGAN: Tiefes Lichtverbesserung ohne paarweise Überwachung

Methoden auf der Basis des Deep Learnings haben bei der Bildrestauration und -verbesserung bemerkenswerten Erfolg erzielt, aber sind sie noch wettbewerbsfähig, wenn es an gepaarten Trainingsdaten mangelt? Als ein solches Beispiel untersucht dieser Artikel das Problem der Bildverbesserung bei schwachen Beleuchtungsbedingungen, wo es in der Praxis äußerst schwierig ist, gleichzeitig ein Bild bei schwacher und normale Beleuchtung derselben visuellen Szene aufzunehmen. Wir schlagen ein hoch effektives unsupervisiertes generatives adversariales Netzwerk vor, das als EnlightenGAN bezeichnet wird und ohne gepaarte Bilder von schwach/normale Beleuchtung trainiert werden kann, jedoch eine sehr gute Generalisierung auf verschiedene realweltliche Testbilder zeigt. Anstatt das Lernen mit Hilfe von Ground-Truth-Daten zu überwachen, schlagen wir vor, die unangepaarte Trainingsphase durch Informationen zu regularisieren, die aus der Eingabe selbst extrahiert werden. Wir evaluieren eine Reihe von Innovationen für das Problem der Bildverbesserung bei schwachen Beleuchtungsbedingungen, darunter eine globale-lokale Diskriminatorstruktur, eine selbstregularisierte Fusion des Perzeptionsverlusts und einen Aufmerksamkechanismus (attention mechanism). Durch umfangreiche Experimente konnte unser vorgeschlagener Ansatz in verschiedenen Metriken hinsichtlich visueller Qualität und subjektiver Benutzerstudien jüngste Methoden übertreffen. Dank der großen Flexibilität, die die unangepaarte Trainingsmethode bietet, wurde gezeigt, dass EnlightenGAN sich leicht an realweltliche Bilder aus verschiedenen Bereichen anpassen lässt. Der Code ist unter \url{https://github.com/yueruchen/EnlightenGAN} verfügbar.