DooDLeNet: Doppelte DeepLab-verstärkte Merkmalsfusion für thermische und farbige semantische Segmentierung

In dieser Arbeit stellen wir einen neuen Ansatz zur Merkmalsfusion zwischen RGB- und LWIR-Thermobildaten für die semantische Segmentierung im Kontext der Fahrzeugwahrnehmung vor. Wir schlagen DooDLeNet vor, eine doppelte DeepLab-Architektur mit spezialisierten Encoder-Decoder-Strukturen für thermale und farbige Modalitäten sowie einem gemeinsamen Decoder für die endgültige Segmentierung. Wir kombinieren zwei Strategien für die Merkmalsfusion: Konfidenzgewichtung und Korrelationsgewichtung. Auf dem MF-Datensatz berichten wir über Stand-des-Wissens-gemäße Ergebnisse des mittleren IoU (mean IoU).