HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

SDSC-UNet: Dual Skip Connection ViT-basiertes U-förmiges Modell zur Gebäudeextraktion

{Guixu Zhang Qian Zhang Renhe Zhang}

Abstract

Durch die effektive globale Informationsinteraktion werden Vision-Transformers (ViTs) weithin in der Gebäudeextraktion eingesetzt. Allerdings unterscheiden sich Gebäude in Fernerkundungsbildern (RS-Bildern) häufig stark in ihrer Größe. Die gängigen ViT-basierten Segmentierungsmodelle für RS-Bilder beruhen auf dem Swin-Transformer, der innerhalb des ViT-Blocks keine Mehrskaleninformationen berücksichtigt. Zudem werden nur die Ausgaben des gesamten ViT-Encoder-Blocks mit dem Decoder verbunden, wodurch die Ähnlichkeitsinformationen der Aufmerksamkeitskarten innerhalb des ViT-Encoder-Blocks ignoriert werden und der Decoder nicht über eine verbesserte globale Abhängigkeit verfügt. Um diese Probleme zu lösen, stellen wir einen neuen Shunted Transformer vor, der es dem Modell ermöglicht, interne Mehrskaleninformationen zu erfassen und gleichzeitig vollständige globale Abhängigkeiten aufzubauen, um ein rein ViT-basiertes U-förmiges Modell für die Gebäudeextraktion zu konstruieren. Darüber hinaus implementieren wir innerhalb des Modells eine neuartige Doppelskip-Verbindungstruktur, die im Gegensatz zur traditionellen Einzelskip-Verbindung bei U-förmigen Architekturen gleichzeitig die Aufmerksamkeitskarten innerhalb des ViT-Encoder-Blocks sowie dessen Gesamtausgabe an den Decoder weiterleitet. Dadurch wird das gesamte Informationspotenzial des ViT-Encoder-Blocks voll ausgeschöpft und dem Decoder eine verbesserte globale Informationsführung bereitgestellt. Daher nennen wir unser Modell Shunted Dual Skip Connection UNet (SDSC-UNet). Zudem entwerfen wir ein Feature-Fusionsmodul namens Dual Skip Upsample Fusion Module (DSUFM), um die Informationen effektiv zu aggregieren. Unser Modell erreicht eine state-of-the-art (SOTA)-Leistung (83,02 % IoU) auf dem Inria Aerial Image Labeling Dataset. Der Quellcode wird unter https://github.com/stdcoutzrh/BuildingExtraction veröffentlicht.

Benchmarks

BenchmarkMethodikMetriken
extracting-buildings-in-remote-sensing-images-4SDSC-UNet
IoU: 76.71
semantic-segmentation-on-inria-aerial-imageSDSC-UNet
IoU: 83.01

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
SDSC-UNet: Dual Skip Connection ViT-basiertes U-förmiges Modell zur Gebäudeextraktion | Forschungsarbeiten | HyperAI