Glassegmentierung mit RGB-Thermobildpaaren

Dieses Papier schlägt eine neue Glassegmentierungsmethode vor, die gepaarte RGB- und Thermobilder nutzt. Aufgrund des großen Unterschieds zwischen den Übertragungseigenschaften sichtbaren Lichts und thermischer Energie durch Glas, wobei das meiste Glas für sichtbares Licht transparent, aber für thermische Energie undurchsichtig ist, sind Glasbereiche in einer Szene mit einem Paar von RGB- und Thermobildern besser unterscheidbar als allein mit einem RGB-Bild. Um diese einzigartige Eigenschaft zu nutzen, schlagen wir eine neuronale Netzwerkarchitektur vor, die ein RGB-Thermobild-Paar effektiv mithilfe eines neuen multimodalen Fusionmoduls auf Basis von Aufmerksamkeit kombiniert. Zudem integrieren wir CNN (Convolutional Neural Networks) und Transformer, um lokalisierte Merkmale und nicht-lokale Abhängigkeiten jeweils zu extrahieren. Des Weiteren haben wir einen neuen Datensatz gesammelt, der 5551 gepaarte RGB- und Thermobilder mit Segmentierungsannotierungen enthält. Die qualitativen und quantitativen Auswertungen zeigen die Effektivität des vorgeschlagenen Ansatzes zur Fusion von RGB- und Thermodaten für die Glassegmentierung. Unser Code und unsere Daten sind unter https://github.com/Dong-Huo/RGB-T-Glass-Segmentation verfügbar.