SDSC-UNet: Dual Skip Connection ViT-basiertes U-förmiges Modell zur Gebäudeextraktion

Durch die effektive globale Informationsinteraktion werden Vision-Transformers (ViTs) weithin in der Gebäudeextraktion eingesetzt. Allerdings unterscheiden sich Gebäude in Fernerkundungsbildern (RS-Bildern) häufig stark in ihrer Größe. Die gängigen ViT-basierten Segmentierungsmodelle für RS-Bilder beruhen auf dem Swin-Transformer, der innerhalb des ViT-Blocks keine Mehrskaleninformationen berücksichtigt. Zudem werden nur die Ausgaben des gesamten ViT-Encoder-Blocks mit dem Decoder verbunden, wodurch die Ähnlichkeitsinformationen der Aufmerksamkeitskarten innerhalb des ViT-Encoder-Blocks ignoriert werden und der Decoder nicht über eine verbesserte globale Abhängigkeit verfügt. Um diese Probleme zu lösen, stellen wir einen neuen Shunted Transformer vor, der es dem Modell ermöglicht, interne Mehrskaleninformationen zu erfassen und gleichzeitig vollständige globale Abhängigkeiten aufzubauen, um ein rein ViT-basiertes U-förmiges Modell für die Gebäudeextraktion zu konstruieren. Darüber hinaus implementieren wir innerhalb des Modells eine neuartige Doppelskip-Verbindungstruktur, die im Gegensatz zur traditionellen Einzelskip-Verbindung bei U-förmigen Architekturen gleichzeitig die Aufmerksamkeitskarten innerhalb des ViT-Encoder-Blocks sowie dessen Gesamtausgabe an den Decoder weiterleitet. Dadurch wird das gesamte Informationspotenzial des ViT-Encoder-Blocks voll ausgeschöpft und dem Decoder eine verbesserte globale Informationsführung bereitgestellt. Daher nennen wir unser Modell Shunted Dual Skip Connection UNet (SDSC-UNet). Zudem entwerfen wir ein Feature-Fusionsmodul namens Dual Skip Upsample Fusion Module (DSUFM), um die Informationen effektiv zu aggregieren. Unser Modell erreicht eine state-of-the-art (SOTA)-Leistung (83,02 % IoU) auf dem Inria Aerial Image Labeling Dataset. Der Quellcode wird unter https://github.com/stdcoutzrh/BuildingExtraction veröffentlicht.