HyperAIHyperAI

Command Palette

Search for a command to run...

il y a 4 mois

EGFNet : Réseau de fusion de guidage sensible aux arêtes pour l'analyse de scènes urbaines RGB–thermiques

{Weiqing Yan Caie Xu WuJie Zhou Shaohua Dong}

Résumé

L'interprétation des scènes urbaines constitue un pilier fondamental des systèmes de transport intelligents, et l'interprétation des scènes urbaines à partir de données RGB–thermiques a récemment suscité un intérêt croissant dans le domaine de la vision par ordinateur. Toutefois, la plupart des approches existantes peinent à extraire efficacement les contours des cartes de prédiction et ne parviennent pas à exploiter pleinement les caractéristiques de haut niveau. En outre, ces méthodes fusionnent simplement les caractéristiques issues des modalités RGB et thermique sans parvenir à obtenir des caractéristiques fusionnées complètes et riches. Pour remédier à ces limitations, cette étude propose un réseau de fusion guidée par les contours (EGFNet) dédié à l'interprétation des scènes urbaines RGB–thermiques. Premièrement, une carte de contours a priori, générée à partir des images RGB et thermiques, est introduite afin de capturer des informations détaillées dans la carte de prédiction, puis intégrée aux cartes de caractéristiques via des indices de contours préalables. Pour assurer une fusion efficace des informations RGB et thermiques, un module de fusion multimodale a été conçu afin de garantir une fusion transmodale adéquate. Étant donné l'importance des informations sémantiques de haut niveau, des modules globaux et sémantiques ont été proposés pour extraire des informations sémantiques riches à partir des caractéristiques de haut niveau. Pour la décodification, une addition élément par élément simple est utilisée pour la fusion hiérarchique des caractéristiques. Enfin, pour améliorer la précision de l'interprétation, une supervision profonde multitâche est appliquée aux cartes sémantiques et aux cartes de contours. Des expériences étendues ont été menées sur des jeux de données de référence afin de démontrer l'efficacité du réseau EGFNet proposé et son avantage par rapport aux méthodes de pointe actuelles.

Benchmarks

BenchmarkMéthodologieMétriques
semantic-segmentation-on-fmb-datasetEGFNet (RGB-Infrared)
mIoU: 47.30
thermal-image-segmentation-on-mfn-datasetEGFNet(ConvNeXt)
mIOU: 57.5
thermal-image-segmentation-on-pst900EGFNet (ConvNeXt)
mIoU: 85.42

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
EGFNet : Réseau de fusion de guidage sensible aux arêtes pour l'analyse de scènes urbaines RGB–thermiques | Articles de recherche | HyperAI