Retinexformer: Einstufiger retinexbasierter Transformer für die Verbesserung von Niedrlichtbildern

Bei der Verbesserung von Bildern mit geringem Licht werden viele tiefen Lernalgorithmen auf der Retinex-Theorie basiert. Allerdings berücksichtigt das Retinex-Modell die Verunreinigungen, die im Dunkeln verborgen sind oder durch den Aufhellungsprozess eingeführt werden, nicht. Darüber hinaus erfordern diese Methoden in der Regel einen mühsamen mehrstufigen Trainingspipeline und stützen sich auf Faltungsneuronale Netze (Convolutional Neural Networks), was ihre Begrenzungen bei der Erfassung von langreichweitigen Abhängigkeiten zeigt. In dieser Arbeit formulieren wir ein einfaches, aber fundiertes Einstufiges Retinex-basiertes Framework (One-stage Retinex-based Framework, ORF). Das ORF schätzt zunächst die Beleuchtungsinformationen, um das Bild mit geringem Licht aufzuhellen, und restauriert dann die Verunreinigungen, um das verbesserte Bild zu erzeugen. Wir entwerfen einen Beleuchtungsgeführten Transformer (Illumination-Guided Transformer, IGT), der Beleuchtungsrepräsentationen nutzt, um die Modellierung nicht-lokaler Interaktionen zwischen Regionen mit unterschiedlichen Beleuchtungsbedingungen zu leiten. Durch den Einsatz des IGT in das ORF erhalten wir unseren Algorithmus, den Retinexformer. Umfassende quantitative und qualitative Experimente zeigen, dass unser Retinexformer auf dreizehn Benchmarks signifikant besser abschneidet als die bislang besten Methoden. Die Nutzerstudie und die Anwendung bei der Objekterkennung unter geringem Licht belegen zudem die praktischen Vorteile unserer Methode. Der Quellcode, die Modelle und die Ergebnisse sind unter https://github.com/caiyuanhao1998/Retinexformer verfügbar.