Sie benötigen nur 90K Parameter, um das Licht anzupassen: Ein leichtgewichtiger Transformer für Bildverbesserung und Belichtungskorrektur

Herausfordernde Beleuchtungsbedingungen (Schwachbeleuchtung, Unterbelichtung und Überbelichtung) in der realen Welt verursachen nicht nur ein unangenehmes visuelles Erscheinungsbild, sondern beeinträchtigen auch die Aufgaben der Computer Vision. Nachdem die Kamera die rohen RGB-Daten aufgenommen hat, rendert sie mit einem Bildsignalprozessor (ISP) Standard-sRGB-Bilder. Durch die Zerlegung des ISP-Pipelines in lokale und globale Bildkomponenten schlagen wir einen leichten und schnellen Beleuchtungsanpassungs-Transformer (IAT) vor, um das normale Beleuchtungs-sRGB-Bild aus Schwachbeleuchtungs- oder Unter-/Überbelichtungsbedingungen wiederherzustellen. Insbesondere verwendet der IAT Aufmerksamkeitsabfragen, um ISP-bezogene Parameter wie Farbkorrektur und Gamma-Korrektur darzustellen und anzupassen. Mit nur etwa 90.000 Parametern und einer Verarbeitungsgeschwindigkeit von etwa 0,004 Sekunden erreicht unser IAT konsistent überlegen Leistungen im Vergleich zu den besten aktuellen Methoden (SOTA) auf den aktuellen Benchmark-Datensätzen für Schwachbeleuchtungsverbesserung und Belichtungskorrektur. Wettbewerbsfähige experimentelle Ergebnisse zeigen auch, dass unser IAT unter verschiedenen Lichtbedingungen die Objekterkennung und semantische Segmentierungsignale erheblich verbessert. Der Trainingscode und das vortrainierte Modell sind unter https://github.com/cuiziteng/Illumination-Adaptive-Transformer verfügbar.