Verbesserung von Bildern bei schwachem Licht mittels CLIP-Fourier-gesteuerter Wellenlettdiffusion

Verfahren zur Verbesserung von Bildern bei niedrigem Licht haben erhebliche Fortschritte gemacht, doch bleiben die instabile Wiederherstellung der Bildqualität und die unzufriedenstellende visuelle Wahrnehmung weiterhin bedeutende Herausforderungen. Um diese Probleme zu bewältigen, schlagen wir eine neuartige und robuste Methode zur Verbesserung von Bildern bei niedrigem Licht vor, die auf der CLIP-Fourier-gesteuerten Wellenlettdiffusion basiert und kurz CFWD (CLIP-Fourier Guided Wavelet Diffusion) genannt wird. Konkret nutzt CFWD multimodale visuelle-Sprach-Informationen im Frequenzraum, der durch mehrfache Wellenlettransformierungen erzeugt wird, um den Verbesserungsprozess zu leiten. Die mehrskalige Überwachung über verschiedene Modalitäten ermöglicht eine effektive Ausrichtung der Bilddatenmerkmale mit semantischen Merkmalen während des Wellenlettdiffusionsprozesses und schließt so gezielt die Kluft zwischen beeinträchtigten und normalen Bildbereichen. Darüber hinaus fördern wir die präzise Wiederherstellung feinster Detailstrukturen durch die Kombination der Fourier-Transformation mit der Wellenlettransformation und entwickeln ein Hybrid-Modul zur Wahrnehmung hoher Frequenzen (HFPM), das eine signifikante Sensibilität gegenüber fein strukturierten Merkmalen aufweist. Dieses Modul vermeidet die durch die Vielfalt der Wellenlettdiffusion verursachten Verwirrungen und leitet die feinabgestimmte Wiederherstellung der Struktur der verbesserten Bilder gezielt an, wodurch eine herausragende Leistung sowohl in metrischer als auch in perceptueller Hinsicht erzielt wird. Umfassende quantitative und qualitative Experimente an öffentlich verfügbaren, realen Benchmark-Daten zeigen, dass unser Ansatz bestehende State-of-the-Art-Methoden übertrifft und erhebliche Fortschritte in der Bildqualität sowie der Rauschunterdrückung erzielt. Der Quellcode des Projekts ist unter https://github.com/hejh8/CFWD verfügbar.