IGFNet: Illumination-Guided Fusion Network für die semantische Szenenverstehens mit RGB-Thermal-Bildern

Semantische Szenenverstehens ist eine grundlegende Aufgabe für autonome Fahrzeuge und dient als Bausteine für zahlreiche nachgeschaltete Aufgaben. Unter herausfordernden Beleuchtungsbedingungen können thermische Bilder ergänzende Informationen zu RGB-Bildern liefern. Es wurden zahlreiche multimodale Fusionsnetzwerke vorgeschlagen, die RGB-Thermaldaten für das semantische Szenenverstehen nutzen. Allerdings verwenden aktuelle State-of-the-Art-Methoden die Fusionsnetzwerke lediglich, um Merkmale aus verschiedenen Modalitäten unerklärlich zu kombinieren, anstatt eine Fusionsmethode auf Basis der inhärenten Eigenschaften von RGB- und thermischen Bildern zu entwerfen. Um dieses Problem anzugehen, schlagen wir IGFNet vor – ein auf Beleuchtungsführung basierendes Fusionsnetzwerk für das semantische Szenenverstehen mit RGB-Thermaldaten. Dabei nutzt das Netzwerk eine Gewichtsmaske, die durch einen Beleuchtungsschätzungsmodule generiert wird, um die RGB- und thermischen Merkmalskarten in verschiedenen Stufen zu gewichten. Experimentelle Ergebnisse zeigen, dass unser Netzwerk die State-of-the-Art-Methoden auf dem MFNet-Datensatz übertrifft. Der Quellcode ist verfügbar unter: https://github.com/lab-sun/IGFNet.