ChangeMamba: Erkennung von Änderungen in Fernerkundungsdaten mit einem räumlich-zeitlichen Zustandsraummodell

Faltungsschichtneuronale Netze (CNN) und Transformer haben im Bereich der Fernerkundung zur Änderungserkennung (CD) beeindruckende Fortschritte gemacht. Dennoch haben beide Architekturen inhärente Nachteile: CNN sind durch ein begrenztes Rezeptivfeld eingeschränkt, das ihre Fähigkeit behindern kann, umfassendere räumliche Kontexte zu erfassen, während Transformer rechnerisch aufwendig sind und daher teuer in der Ausbildung und beim Einsatz auf großen Datensätzen sind. Kürzlich hat die Mamba-Architektur, die auf Zustandsraummodellen basiert, in einer Reihe von Natürlichsprachverarbeitungsaufgaben bemerkenswerte Leistungen gezeigt, die effektiv die Nachteile der beiden genannten Architekturen ausgleichen können. In dieser Arbeit untersuchen wir erstmals das Potenzial der Mamba-Architektur für Fernerkundungs-CD-Aufgaben. Wir passen die entsprechenden Frameworks an, die als MambaBCD, MambaSCD und MambaBDA bezeichnet werden, für binäre Änderungserkennung (BCD), semantische Änderungserkennung (SCD) und Schadensbewertung von Gebäuden (BDA). Alle drei Frameworks verwenden die neueste visuelle Mamba-Architektur als Encoder, was es ermöglicht, globale räumliche Kontextinformationen vollständig aus den Eingabebildern zu lernen. Für den Change Decoder, der in allen drei Architekturen vorhanden ist, schlagen wir drei Mechanismen zur Modellierung von räumlich-zeitlichen Beziehungen vor, die sich natürlich mit der Mamba-Architektur kombinieren lassen und deren Eigenschaften vollständig nutzen, um eine räumlich-zeitliche Interaktion von mehrzeitigen Merkmalen zu erreichen und damit präzise Änderungsinformationen zu gewinnen. Auf fünf Benchmark-Datensätzen übertreffen unsere vorgeschlagenen Frameworks aktuelle Ansätze auf Basis von CNN und Transformer ohne den Einsatz komplexer Trainingsstrategien oder Tricks, was das Potenzial der Mamba-Architektur in CD-Aufgaben vollständig unterstreicht. Weitere Experimente zeigen, dass unsere Architektur gegenüber degenerierten Daten sehr robust ist. Der Quellcode wird unter https://github.com/ChenHongruixuan/MambaCD verfügbar sein.