ShadowRefiner: Auf dem Weg zur maskenlosen Schattenentfernung durch den schnellen Fourier-Transformer

Bilder, die von Schatten beeinflusst sind, weisen häufig ausgeprägte räumliche Diskrepanzen in Farbe und Beleuchtung auf, was verschiedene visuelle Anwendungen, einschließlich Objekterkennungs- und Segmentierungssysteme, erheblich verschlechtert. Um Schatten in realen Bildern effektiv zu entfernen, während feine Details erhalten bleiben und visuell ansprechende Ergebnisse erzeugt werden, stellen wir ein maskefreies Netzwerk zur Schattenentfernung und -verfeinerung (ShadowRefiner) vor, das auf der schnellen Fourier-Transformation basiert. Insbesondere zielt das Modul zur Schattenentfernung unserer Methode darauf ab, effektive Abbildungen zwischen schattenbeeinflussten und schattenfreien Bildern durch räumliches und frequenzbasiertes Repräsentationslernen herzustellen. Um die Pixelverschiebung zu reduzieren und die Bildqualität weiter zu verbessern, schlagen wir eine neuartige Architektur des Fast-Fourier Attention based Transformers (FFAT) vor, bei der ein innovativer Aufmerksamheitsmechanismus für sorgfältige Verfeinerung entwickelt wurde. Unsere Methode gewann den ersten Platz im Perzeptuellen Wettbewerb und erreichte die zweitbeste Leistung im Treue-Wettbewerb des NTIRE 2024 Image Shadow Removal Challenges. Darüber hinaus belegen umfassende Experimente auch die überzeugende Effektivität unseres vorgeschlagenen Ansatzes. Der Code ist öffentlich verfügbar: https://github.com/movingforward100/Shadow_R.