Lernen semantikbewusster Wissensführung für die Bildverbesserung bei niedriger Beleuchtung

Die Verbesserung von Bildern bei schwachem Licht (Low-light Image Enhancement, LLIE) befasst sich mit der Steigerung der Beleuchtung und der Erzeugung von Bildern im normalen Licht. Die überwiegende Mehrheit der bestehenden Methoden verbessert Low-light-Bilder auf globale und einheitliche Weise, ohne die semantische Information verschiedener Bildregionen zu berücksichtigen. Ohne semantische Vorwissen kann ein Netzwerk leicht von der ursprünglichen Farbe einer Region abweichen. Um dieses Problem zu lösen, schlagen wir einen neuartigen, semantikbewussten, wissensgestützten Rahmen (Semantic-aware Knowledge-guided Framework, SKF) vor, der einem Low-light-Verbesserungsmodell hilft, reichhaltige und vielfältige Vorwissen zu erlernen, die in einem semantischen Segmentierungsmodell enthalten sind. Wir konzentrieren uns auf die Integration semantischer Kenntnisse aus drei zentralen Aspekten: einem semantikbewussten Embedding-Modul, das semantische Vorwissen geschickt im Merkmalsrepräsentationsraum integriert; einer semantikgestützten Farbhistogramm-Verlustfunktion, die die Farbkonsistenz verschiedener Objekte bewahrt; sowie einer semantikgestützten adversarialen Verlustfunktion, die durch semantische Vorwissen natürlichere Texturen erzeugt. Unser SKF ist besonders ansprechend, da er als allgemeiner Rahmen für die LLIE-Aufgabe geeignet ist. Umfangreiche Experimente zeigen, dass Modelle, die mit dem SKF ausgestattet sind, auf mehreren Datensätzen deutlich besser abschneiden als die Baseline-Methoden, und dass der SKF sich gut auf verschiedene Modelle und Szenarien generalisieren lässt. Der Quellcode ist unter Semantic-Aware-Low-Light-Image-Enhancement verfügbar.