Deep Feature Selection- and Fusion für RGB-D-Semantische Segmentierung

Tiefeninformationen der Szene können visuelle Informationen zur genaueren semantischen Segmentierung beitragen. Allerdings bleibt die effektive Integration multimodaler Informationen in repräsentative Merkmale weiterhin eine offene Herausforderung. Die meisten bestehenden Ansätze nutzen tiefe konvolutionelle Neuronale Netze (DCNNs), um multimodale Informationen implizit zu fusionieren. Bei zunehmender Netzwerktiefe können jedoch kritische differenzierende Merkmale verloren gehen, was die Segmentierungsgenauigkeit beeinträchtigt. In dieser Arbeit wird ein einheitliches und effizientes Netzwerk zur Merkmalsauswahl und -fusion (FSFNet) vorgestellt, das ein symmetrisches, cross-modales Residual-Fusionsmodul zur expliziten Fusion multimodaler Informationen enthält. Zudem integriert das Netzwerk ein detailliertes Merkmalspropagationsmodul, das die Erhaltung von niedrigstufigen, detaillierten Informationen während des Vorwärtsdurchlaufs des Netzwerks gewährleistet. Experimentelle Evaluierungen zeigen, dass das vorgeschlagene Modell im Vergleich zu aktuellen State-of-the-Art-Methoden auf zwei öffentlichen Datensätzen konkurrenzfähige Ergebnisse erzielt.