SpiderMesh: Raumbewusstes, nachfragengeleitetes rekursives Vermaschung für RGB-T Semantische Segmentierung

Für die semantische Segmentierung bei der Verstehens von städtischen Szenen reichen RGB-Kameras allein oft nicht aus, um eine klare, ganzheitliche Topologie unter schwierigen Beleuchtungsbedingungen zu erfassen. Das thermische Signal ist ein informatives zusätzliches Kanal, das die Konturen und die feingranulare Textur von unscharfen Bereichen in niedriger Qualität von RGB-Bildern hervorheben kann. Im Hinblick auf praktische RGB-T (thermisch) Segmentierung schlagen wir systematisch einen Raumbewussten Nachfragegeleiteten Rekursiven Netzmuster (SpiderMesh)-Framework vor, das: 1) durch einen nachfragegeleiteten Zielmaskierungsalgorithmus aktiv den mangelnden kontextuellen Semantik in optisch beeinträchtigten Bereichen kompensiert; 2) multimodale semantische Merkmale durch rekursives Netzmuster verfeinert, um die Leistung der semantischen Analyse auf Pixel-Ebene zu verbessern. Wir führen außerdem eine asymmetrische Datenverstärkungstechnik M-CutOut ein und ermöglichen das semi-überwachte Lernen, um RGB-T-Labels vollständig zu nutzen, die in der Praxis nur spärlich verfügbar sind. Ausführliche Experimente mit den Datensätzen MFNet und PST900 zeigen, dass SpiderMesh auf standardisierten RGB-T-Segmentierungsbenchmarks Spitzenleistungen erzielt.