HyperAIHyperAI

Command Palette

Search for a command to run...

IGFNet: Illumination-Guided Fusion Network für die semantische Szenenverstehens mit RGB-Thermal-Bildern

Yuxiang Sun Haotian Li

Zusammenfassung

Semantische Szenenverstehens ist eine grundlegende Aufgabe für autonome Fahrzeuge und dient als Bausteine für zahlreiche nachgeschaltete Aufgaben. Unter herausfordernden Beleuchtungsbedingungen können thermische Bilder ergänzende Informationen zu RGB-Bildern liefern. Es wurden zahlreiche multimodale Fusionsnetzwerke vorgeschlagen, die RGB-Thermaldaten für das semantische Szenenverstehen nutzen. Allerdings verwenden aktuelle State-of-the-Art-Methoden die Fusionsnetzwerke lediglich, um Merkmale aus verschiedenen Modalitäten unerklärlich zu kombinieren, anstatt eine Fusionsmethode auf Basis der inhärenten Eigenschaften von RGB- und thermischen Bildern zu entwerfen. Um dieses Problem anzugehen, schlagen wir IGFNet vor – ein auf Beleuchtungsführung basierendes Fusionsnetzwerk für das semantische Szenenverstehen mit RGB-Thermaldaten. Dabei nutzt das Netzwerk eine Gewichtsmaske, die durch einen Beleuchtungsschätzungsmodule generiert wird, um die RGB- und thermischen Merkmalskarten in verschiedenen Stufen zu gewichten. Experimentelle Ergebnisse zeigen, dass unser Netzwerk die State-of-the-Art-Methoden auf dem MFNet-Datensatz übertrifft. Der Quellcode ist verfügbar unter: https://github.com/lab-sun/IGFNet.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
IGFNet: Illumination-Guided Fusion Network für die semantische Szenenverstehens mit RGB-Thermal-Bildern | Paper | HyperAI