HyperAIHyperAI

Command Palette

Search for a command to run...

ChangeMamba: Erkennung von Änderungen in Fernerkundungsdaten mit einem räumlich-zeitlichen Zustandsraummodell

Hongruixuan Chen†, Graduate Student Member, IEEE, Jian Song†, Chengxi Han, Graduate Student Member, IEEE, Junshi Xia, Senior Member, IEEE, Naoto Yokoya, Member, IEEE

Zusammenfassung

Faltungsschichtneuronale Netze (CNN) und Transformer haben im Bereich der Fernerkundung zur Änderungserkennung (CD) beeindruckende Fortschritte gemacht. Dennoch haben beide Architekturen inhärente Nachteile: CNN sind durch ein begrenztes Rezeptivfeld eingeschränkt, das ihre Fähigkeit behindern kann, umfassendere räumliche Kontexte zu erfassen, während Transformer rechnerisch aufwendig sind und daher teuer in der Ausbildung und beim Einsatz auf großen Datensätzen sind. Kürzlich hat die Mamba-Architektur, die auf Zustandsraummodellen basiert, in einer Reihe von Natürlichsprachverarbeitungsaufgaben bemerkenswerte Leistungen gezeigt, die effektiv die Nachteile der beiden genannten Architekturen ausgleichen können. In dieser Arbeit untersuchen wir erstmals das Potenzial der Mamba-Architektur für Fernerkundungs-CD-Aufgaben. Wir passen die entsprechenden Frameworks an, die als MambaBCD, MambaSCD und MambaBDA bezeichnet werden, für binäre Änderungserkennung (BCD), semantische Änderungserkennung (SCD) und Schadensbewertung von Gebäuden (BDA). Alle drei Frameworks verwenden die neueste visuelle Mamba-Architektur als Encoder, was es ermöglicht, globale räumliche Kontextinformationen vollständig aus den Eingabebildern zu lernen. Für den Change Decoder, der in allen drei Architekturen vorhanden ist, schlagen wir drei Mechanismen zur Modellierung von räumlich-zeitlichen Beziehungen vor, die sich natürlich mit der Mamba-Architektur kombinieren lassen und deren Eigenschaften vollständig nutzen, um eine räumlich-zeitliche Interaktion von mehrzeitigen Merkmalen zu erreichen und damit präzise Änderungsinformationen zu gewinnen. Auf fünf Benchmark-Datensätzen übertreffen unsere vorgeschlagenen Frameworks aktuelle Ansätze auf Basis von CNN und Transformer ohne den Einsatz komplexer Trainingsstrategien oder Tricks, was das Potenzial der Mamba-Architektur in CD-Aufgaben vollständig unterstreicht. Weitere Experimente zeigen, dass unsere Architektur gegenüber degenerierten Daten sehr robust ist. Der Quellcode wird unter https://github.com/ChenHongruixuan/MambaCD verfügbar sein.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
ChangeMamba: Erkennung von Änderungen in Fernerkundungsdaten mit einem räumlich-zeitlichen Zustandsraummodell | Paper | HyperAI