Residuelles Räumliches Fusionsnetzwerk für RGB-Thermische Semantische Segmentierung

Semantische Segmentierung spielt eine wichtige Rolle in weit verbreiteten Anwendungen wie autonomem Fahren und Robotersensoren. Traditionelle Methoden verwenden hauptsächlich RGB-Bilder, die stark von Beleuchtungsbedingungen, z.B. Dunkelheit, beeinflusst werden. Neuere Studien zeigen, dass thermografische Bilder in Nachtszenarien robust sind und als kompensierendes Modul für die Segmentierung dienen können. Bestehende Arbeiten fügen jedoch entweder einfach RGB-Thermografische (RGB-T) Bilder zusammen oder verwenden den gleichen Encoder-Struktur für beide Ströme, was die Modalitätsunterschiede bei variablen Beleuchtungsbedingungen bei der Segmentierung vernachlässigt. Daher schlägt diese Arbeit ein Residual Spatial Fusion Network (RSFNet) für RGB-T semantische Segmentierung vor. Insbesondere verwenden wir einen asymmetrischen Encoder, um die kompensierenden Merkmale von RGB- und thermografischen Bildern zu lernen. Um die dualen Modalitätsmerkmale effektiv zu fusionieren, generieren wir Pseudo-Labels durch Salienzdetektion, um das Merkmalslernen zu überwachen, und entwickeln ein Residual Spatial Fusion (RSF)-Modul mit struktureller Re-Parametrisierung, um durch räumliche Fusion der cross-modalen Merkmale vielversprechendere Merkmale zu lernen. Das RSF verwendet eine hierarchische Merkmalsfusion zur Aggregation von mehrstufigen Merkmalen und wendet räumliche Gewichte mit einem Residualverbindung an, um durch das Konfidenztor die multispektrale Merkmalsfusion anpassungsfähig zu steuern. Ausführliche Experimente wurden auf zwei Benchmarks durchgeführt, nämlich der MFNet-Datenbank und der PST900-Datenbank. Die Ergebnisse haben gezeigt, dass unsere Methode den Stand der Technik in der Segmentationsleistung erreicht und dabei eine gute Balance zwischen Genauigkeit und Geschwindigkeit erzielt.