Swin2-MoSE: Ein neues Modell zur Super-Resolution von einzelnen Bildern für Fernerkundung

Aufgrund der Einschränkungen der aktuellen optischen und Sensortechnologien sowie der hohen Kosten für deren Aktualisierung erfüllen die spektrale und räumliche Auflösung von Satelliten nicht immer die gewünschten Anforderungen. Aus diesen Gründen haben sich Techniken des Remote-Sensing Single-Image Super-Resolution (RS-SISR) zunehmend im Fokus der Forschung befunden. In dieser Arbeit schlagen wir das Swin2-MoSE-Modell vor, eine verbesserte Version von Swin2SR. Unser Modell führt MoE-SM ein, eine erweiterte Mixture-of-Experts (MoE), um den Feed-Forward in allen Transformer-Blöcken zu ersetzen. MoE-SM ist mit einem Smart-Merger konzipiert, einer neuen Schicht zur Zusammenführung der Ausgaben einzelner Experten, und mit einer neuen Methode zur Verteilung der Arbeit zwischen den Experten, indem eine neue pro-Beispiel-Strategie anstelle der üblichen pro-Token-Strategie definiert wird. Darüber hinaus analysieren wir, wie positionale Codierungen miteinander interagieren und zeigen, dass pro-Kanal-Verschiebung und pro-Kopf-Verschiebung positiv zusammenarbeiten können. Abschließend schlagen wir vor, eine Kombination aus Normalized-Cross-Correlation (NCC) und Structural Similarity Index Measure (SSIM)-Verlustfunktionen zu verwenden, um typische Limitationen des Mean Squared Error (MSE)-Verlusts zu vermeiden. Experimentelle Ergebnisse beweisen, dass Swin2-MoSE bei der Aufgabe der Auflösungsvergrößerung um Faktoren 2x, 3x und 4x (Sen2Venus- und OLI2MSI-Datensätze) alle von Swin abgeleiteten Modelle um bis zu 0,377 - 0,958 dB (PSNR) übertrifft. Es übertrifft auch state-of-the-art Modelle deutlich und zeigt sich als wettbewerbsfähig mit großem Potenzial, insbesondere für komplexe Aufgaben. Zudem wird eine Analyse der Rechenkosten durchgeführt. Schließlich demonstrieren wir die Effizienz von Swin2-MoSE durch dessen Anwendung auf eine semantische Segmentierungsaufgabe (SeasoNet-Datensatz). Der Code und die vortrainierten Modelle sind unter https://github.com/IMPLabUniPr/swin2-mose/tree/official_code verfügbar.