FF-Former: Swin Fourier Transformer für die Entfernung von Nachtaufnahmeflare

Beim Entfernen von Nachtschlieren ist ein großer Empfangsfeldbereich entscheidend, da Schlieren einen erheblichen Teil einer Bildregion einnehmen können, gegebenenfalls sogar das gesamte Bild. Traditionelle, fensterbasierte Transformer-Ansätze beschränken jedoch das Empfangsfeld innerhalb jedes Fensters, wodurch ihre Fähigkeit eingeschränkt wird, globale Merkmale zu erfassen. Zudem können Schlieren dunkle Bereiche aufhellen, was zu einem Verlust an Kontrast und einer Veränderung der Frequenzcharakteristika des Bildes führt. Um diesen Herausforderungen zu begegnen, stellen wir FF-Former vor, einen Ansatz, der auf der Fast Fourier Convolution (FFC) basiert und speziell darauf ausgelegt ist, globale Frequenzmerkmale zu extrahieren, um die Entfernung von Nachtschlieren zu verbessern. Dazu integrieren wir nach dem Swin-Transformer einen Spatial Frequency Block (SFB), der den Swin Fourier Transformer Block (SFTB) bildet. Diese Architektur ermöglicht die Aufnahme langreichweitiger Abhängigkeiten und die Extraktion globaler Merkmale. Im Gegensatz zum herkömmlichen Transformer, der auf globaler Selbst-Attention basiert, führt das SFB-Modul ausschließlich Faltungsberechnungen durch, wodurch es sowohl effektiv als auch effizient ist. Zudem optimieren wir während des Trainings die Verlustfunktion, um die Lichtquellenpunkte nach der Entfernung von Nachtschlieren zu erhalten. Experimentelle Ergebnisse auf realen und synthetischen Benchmarks zeigen, dass der vorgeschlagene FF-Former die Leistung der Entfernung von Nachtschlieren erheblich verbessert.