GLARE: Verbesserung von Niedriglichtbildern durch generatives latentes Merkmalsbasiertes Codexabrufverfahren
Die meisten existierenden Methoden zur Verbesserung von Bildern bei niedriger Beleuchtung (Low-Light Image Enhancement, LLIE) kartieren entweder direkt Niedrigbeleuchtungs- (Low-Light, LL) auf Normalbeleuchtungsbilder (Normal-Light, NL) oder verwenden semantische oder Beleuchtungskarten als Leitlinien. Allerdings begrenzen die schlecht gestellte Natur des LLIE und die Schwierigkeit der semantischen Extraktion aus beeinträchtigten Eingaben diese Methoden, insbesondere in extrem niedrigen Beleuchtungsbedingungen. Um dieses Problem zu lösen, stellen wir ein neues LLIE-Netzwerk vor, das auf der Generativen Latenten Merkmalsbasierten Codebook-Retrieval (Generative LAtent feature based codebook REtrieval, GLARE) basiert. Dabei wird das Codebook-Prior aus unbeeinflussten NL-Bildern unter Verwendung einer Vektorquantisierung (Vector Quantization, VQ)-Strategie abgeleitet. Von besonderer Bedeutung ist die Entwicklung eines generativen invertierbaren latente normalisierenden Flussmoduls (Invertible Latent Normalizing Flow, I-LNF), das die Merkmalsverteilung von LL mit den latenten Darstellungen von NL ausrichtet und so eine korrekte Codewort-Retrieval im Codebook gewährleistet. Zudem wurde ein neuartiges Modul für adaptive Merkmalstransformation (Adaptive Feature Transformation, AFT) entwickelt, das eine anpassbare Funktion für Benutzer bietet und sowohl einen adaptiven Mix-up-Block (Adaptive Mix-up Block, AMB) als auch eine Dual-Decoder-Architektur umfasst. Dieses Modul dient dazu, die Treue weiter zu verbessern, während es gleichzeitig die realistischen Details beibehält, die durch das Codebook-Prior bereitgestellt werden. Ausführliche Experimente bestätigen die überlegene Leistungsfähigkeit von GLARE auf verschiedenen Benchmark-Datensätzen und realen Daten. Die Effektivität von GLARE als Vorverarbeitungstool in Aufgaben zur Objekterkennung bei niedriger Beleuchtung validiert es zudem für Anwendungen im Bereich der hochstufigen Bildverarbeitung. Der Quellcode ist unter https://github.com/LowLevelAI/GLARE verfügbar.