SwinIA: Selbstüberwachte Blind-Spot-Bildentrauschung ohne Faltungen

Selbstüberwachtes Bildrauschenreduzierung bedeutet die Wiederherstellung des Signals aus einem verrauschten Bild ohne Zugang zur Referenz. Die derzeit besten Lösungen für diese Aufgabe basieren auf der Vorhersage maskierter Pixel mit einem vollkonvolutiven neuronalen Netzwerk. Dies erfordert in der Regel mehrere Vorwärtsdurchläufe, Informationen über das Rauschmodell oder komplexe Regularisierungsfunktionen. In dieser Arbeit schlagen wir einen Swin-Transformer-basierten Bild-Autoencoder (SwinIA) vor, die erste vollständig transformerbasierte Architektur für selbstüberwachte Rauschenreduzierung. Die Flexibilität des Aufmerksamheitsmechanismus hilft dabei, die Eigenschaft des blinden Flecks zu erfüllen, die konvolutionale Gegenstücke normalerweise nur annähern können. SwinIA kann von Anfang bis Ende mit einem einfachen quadratischen Fehlerverlust trainiert werden, ohne Maskierung und benötigt keine vorherige Kenntnis über saubere Daten oder die Rauschverteilung. Einfach zu handhaben, setzt SwinIA neue Maßstäbe auf mehreren gängigen Benchmarks.