EGFNet: Edge-Aware Guidance Fusion Network für die RGB–Thermal-Szenenanalyse in städtischen Gebieten
Die Szenenanalyse in städtischen Umgebungen ist zentral für intelligente Verkehrssysteme, und die RGB–Thermal-Szenenanalyse städtischer Umgebungen hat in letzter Zeit zunehmendes Forschungsinteresse in der Computer Vision hervorgerufen. Allerdings erzielen die meisten bestehenden Ansätze nur eine unzureichende Extraktion von Randinformationen in den Vorhersagemappen und nutzen hochwertige Merkmale nicht optimal aus. Zudem führen diese Methoden lediglich eine einfache Fusionsstrategie der Merkmale aus RGB- und Wärmebildmodalitäten durch, wodurch jedoch keine umfassenden, integrierten Merkmale erzielt werden können. Um diese Probleme zu lösen, wurde im Rahmen dieser Studie ein kantenbewusstes Fusionsnetzwerk (Edge-aware Guidance Fusion Network, EGFNet) für die RGB–Thermal-Szenenanalyse städtischer Umgebungen entwickelt. Zunächst wird eine vorherige Kantenkarte, die auf Basis der RGB- und Wärmebilder generiert wird, eingesetzt, um detaillierte Informationen in der Vorhersagemap zu erfassen und die vorherigen Kanteninformationen in die Merkmalskarten einzubetten. Um die RGB- und Wärmebildinformationen effektiv zu fusionieren, wurde ein multimodales Fusionsmodul entworfen, das eine ausreichende Kreuzmodalfusion gewährleistet. Angesichts der Bedeutung hochwertiger semantischer Informationen wurden zudem Module zur globalen und semantischen Informationsextraktion vorgeschlagen, um reichhaltige semantische Informationen aus den hochwertigen Merkmalen zu gewinnen. Für die Dekodierung wird eine einfache elementweise Addition zur kaskadierten Merkmalsfusion verwendet. Schließlich wird zur Verbesserung der Genauigkeit der Szenenanalyse eine mehrfache tiefgreifende Überwachung auf den semantischen und den Randkarten angewendet. Um die Wirksamkeit des vorgeschlagenen EGFNet zu demonstrieren, wurden umfangreiche Experimente auf Standard-Datensätzen durchgeführt, die dessen herausragende Leistung im Vergleich zu aktuellen State-of-the-Art-Methoden belegen.