Aufmerksamkeitsgesteuerte Verbesserung von Niedrlichtbildern mit einem großen Niedrlicht-Simulation-Datensatz

Die Verbesserung von Bildern bei niedriger Beleuchtung ist eine Herausforderung, da nicht nur die Helligkeitswiederherstellung berücksichtigt werden muss, sondern auch komplexe Probleme wie Farbverzerrungen und Rauschen, die in der Regel im Dunkeln verborgen sind. Eine einfache Anpassung der Helligkeit eines Bildes bei niedriger Beleuchtung wird unvermeidlich diese Artefakte verstärken. Um dieses schwierige Problem anzugehen, schlägt dieser Artikel eine neuartige end-to-end Methode vor, die auf einem mehrastigen Faltungsneuralnetz (Convolutional Neural Network) basiert und durch Aufmerksamkeitsmechanismen geleitet wird. Dazu konstruieren wir zunächst einen synthetischen Datensatz mit sorgfältig entwickelten Strategien zur Simulation von niedriger Beleuchtung. Dieser Datensatz ist viel größer und vielfältiger als bestehende Datensätze. Mit dem neuen Datensatz für das Training lernt unsere Methode zwei Aufmerksamkeitskarten, die jeweils die Helligkeitsverbesserung und die Rauschunterdrückung leiten. Die erste Aufmerksamkeitskarte unterscheidet unterbelichtete Bereiche von gut beleuchteten Bereichen, während die zweite Aufmerksamkeitskarte Rauschen von echten Texturen abgrenzt. Unter ihrer Leitung arbeitet das vorgeschlagene mehrastige Zerlegungs- und Fusionierungsverbesserungsnetz auf adaptierbare Weise anhand der Eingabe. Darüber hinaus verstärkt ein Verstärkungsnetz (reinforcement-net) Farbe und Kontrast des Ausgabebildes weiter. Umfangreiche Experimente mit mehreren Datensätzen zeigen, dass unsere Methode hochgenaue Verbesserungsergebnisse für Bilder bei niedriger Beleuchtung erzielen kann und sowohl quantitativ als auch visuell deutlich besser abschneidet als aktuelle state-of-the-art Methoden.