Semantische Labeling hochauflösender Bilder unter Verwendung von EfficientUNets und Transformers

Die semantische Segmentierung erfordert Ansätze, die hochwertige Merkmale erlernen können, während gleichzeitig mit einer riesigen Datenmenge umgegangen wird. Convolutional Neural Networks (CNNs) sind in der Lage, einzigartige und anpassungsfähige Merkmale zu lernen, um dieses Ziel zu erreichen. Aufgrund der großen Größe und der hohen räumlichen Auflösung von Fernerkundungsbildern können diese Netzwerke jedoch eine gesamte Szene nicht effizient analysieren. In jüngster Zeit haben tiefe Transformers ihre Fähigkeit bewiesen, globale Wechselwirkungen zwischen verschiedenen Objekten im Bild zu erfassen. In diesem Artikel stellen wir ein neues Segmentierungsmodell vor, das Convolutional Neural Networks mit Transformers kombiniert, und zeigen, dass diese Kombination lokaler und globaler Merkmalsextraktionsverfahren erhebliche Vorteile für die Segmentierung von Fernerkundungsdaten bietet. Zudem enthält das vorgeschlagene Modell zwei Fusionslayer, die darauf abzielen, multimodale Eingaben und Ausgaben des Netzwerks effizient darzustellen. Der Eingabefusionslayer extrahiert Merkmalskarten, die die Beziehungen zwischen Bildinhalt und Höhenkarten (DSM) zusammenfassen. Der Ausgabefusionslayer verwendet eine neuartige Multi-Task-Segmentierungsstrategie, bei der Klassenlabels mithilfe von klassenspezifischen Merkmalsextraktionslayer und spezifischen Verlustfunktionen identifiziert werden. Schließlich wird ein Fast-Marching-Verfahren eingesetzt, um alle nicht identifizierten Klassenlabels auf ihre nächstgelegenen bekannten Nachbarn zu übertragen. Unsere Ergebnisse zeigen, dass die vorgeschlagene Methodik die Segmentierungsgenauigkeit im Vergleich zu aktuellen State-of-the-Art-Techniken verbessert.