RS-Mamba für dichte Vorhersage großer Fernerkundungsbilder

Die Modellierung des Kontextes ist für dichte Vorhersageaufgaben in Fernerkundungsbildern entscheidend. Heutzutage stellen die wachsenden Größen von sehr hochauflösenden (VHR) Fernerkundungsbildern Herausforderungen bei der effektiven Modellierung des Kontextes dar. Obwohl transformerbasierte Modelle globale Modellierungsfähigkeiten besitzen, stoßen sie auf große VHR-Bilder aufgrund ihrer quadratischen Komplexität auf rechnerische Herausforderungen. Die übliche Praxis, große Bilder in kleinere Patchs zu zerschneiden, führt zu einem erheblichen Verlust an kontextueller Information. Um diese Probleme anzugehen, schlagen wir das Remote Sensing Mamba (RSM) für dichte Vorhersageaufgaben in großen VHR-Fernerkundungsbildern vor. Das RSM ist speziell darauf ausgelegt, den globalen Kontext von Fernerkundungsbildern mit linearer Komplexität zu erfassen und ermöglicht so die effektive Verarbeitung großer VHR-Bilder. Angesichts der Tatsache, dass Bodendeckungen in Fernerkundungsbildern aufgrund der Eigenschaften der überkopfischen Fernerkundungsimaging in beliebigen räumlichen Richtungen verteilt sind, integriert das RSM ein omnidirektionales selektives Scan-Modul, um den Kontext der Bilder in mehreren Richtungen global zu modellieren und große räumliche Merkmale aus verschiedenen Richtungen zu erfassen. Ausführliche Experimente zur semantischen Segmentierung und Änderungserkennung über verschiedene Bodendeckungen zeigen die Effektivität des vorgeschlagenen RSM. Wir haben einfache aber effektive Modelle basierend auf RSM entwickelt, die ohne komplizierte Trainingsstrategien den Stand der Technik bei dichten Vorhersageaufgaben in VHR-Fernerkundungsbildern erreichen. Durch die Nutzung der linearen Komplexität und der globalen Modellierungsfähigkeiten erreicht das RSM eine bessere Effizienz und Genauigkeit als transformerbasierte Modelle bei großen Fernerkundungsbildern. Interessanterweise konnten wir auch zeigen, dass unser Modell im Allgemeinen mit einer größeren Bildgröße bei dichten Vorhersageaufgaben besser abschneidet. Unser Code ist unter https://github.com/walking-shadow/Official_Remote_Sensing_Mamba verfügbar.