HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

EGFNet: Edge-Aware Guidance Fusion Network für die RGB–Thermal-Szenenanalyse in städtischen Gebieten

{Weiqing Yan Caie Xu WuJie Zhou Shaohua Dong}

Abstract

Die Szenenanalyse in städtischen Umgebungen ist zentral für intelligente Verkehrssysteme, und die RGB–Thermal-Szenenanalyse städtischer Umgebungen hat in letzter Zeit zunehmendes Forschungsinteresse in der Computer Vision hervorgerufen. Allerdings erzielen die meisten bestehenden Ansätze nur eine unzureichende Extraktion von Randinformationen in den Vorhersagemappen und nutzen hochwertige Merkmale nicht optimal aus. Zudem führen diese Methoden lediglich eine einfache Fusionsstrategie der Merkmale aus RGB- und Wärmebildmodalitäten durch, wodurch jedoch keine umfassenden, integrierten Merkmale erzielt werden können. Um diese Probleme zu lösen, wurde im Rahmen dieser Studie ein kantenbewusstes Fusionsnetzwerk (Edge-aware Guidance Fusion Network, EGFNet) für die RGB–Thermal-Szenenanalyse städtischer Umgebungen entwickelt. Zunächst wird eine vorherige Kantenkarte, die auf Basis der RGB- und Wärmebilder generiert wird, eingesetzt, um detaillierte Informationen in der Vorhersagemap zu erfassen und die vorherigen Kanteninformationen in die Merkmalskarten einzubetten. Um die RGB- und Wärmebildinformationen effektiv zu fusionieren, wurde ein multimodales Fusionsmodul entworfen, das eine ausreichende Kreuzmodalfusion gewährleistet. Angesichts der Bedeutung hochwertiger semantischer Informationen wurden zudem Module zur globalen und semantischen Informationsextraktion vorgeschlagen, um reichhaltige semantische Informationen aus den hochwertigen Merkmalen zu gewinnen. Für die Dekodierung wird eine einfache elementweise Addition zur kaskadierten Merkmalsfusion verwendet. Schließlich wird zur Verbesserung der Genauigkeit der Szenenanalyse eine mehrfache tiefgreifende Überwachung auf den semantischen und den Randkarten angewendet. Um die Wirksamkeit des vorgeschlagenen EGFNet zu demonstrieren, wurden umfangreiche Experimente auf Standard-Datensätzen durchgeführt, die dessen herausragende Leistung im Vergleich zu aktuellen State-of-the-Art-Methoden belegen.

Benchmarks

BenchmarkMethodikMetriken
semantic-segmentation-on-fmb-datasetEGFNet (RGB-Infrared)
mIoU: 47.30
thermal-image-segmentation-on-mfn-datasetEGFNet(ConvNeXt)
mIOU: 57.5
thermal-image-segmentation-on-pst900EGFNet (ConvNeXt)
mIoU: 85.42

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
EGFNet: Edge-Aware Guidance Fusion Network für die RGB–Thermal-Szenenanalyse in städtischen Gebieten | Forschungsarbeiten | HyperAI