EGFNet : Réseau de fusion de guidage sensible aux arêtes pour l'analyse de scènes urbaines RGB–thermiques

L'interprétation des scènes urbaines constitue un pilier fondamental des systèmes de transport intelligents, et l'interprétation des scènes urbaines à partir de données RGB–thermiques a récemment suscité un intérêt croissant dans le domaine de la vision par ordinateur. Toutefois, la plupart des approches existantes peinent à extraire efficacement les contours des cartes de prédiction et ne parviennent pas à exploiter pleinement les caractéristiques de haut niveau. En outre, ces méthodes fusionnent simplement les caractéristiques issues des modalités RGB et thermique sans parvenir à obtenir des caractéristiques fusionnées complètes et riches. Pour remédier à ces limitations, cette étude propose un réseau de fusion guidée par les contours (EGFNet) dédié à l'interprétation des scènes urbaines RGB–thermiques. Premièrement, une carte de contours a priori, générée à partir des images RGB et thermiques, est introduite afin de capturer des informations détaillées dans la carte de prédiction, puis intégrée aux cartes de caractéristiques via des indices de contours préalables. Pour assurer une fusion efficace des informations RGB et thermiques, un module de fusion multimodale a été conçu afin de garantir une fusion transmodale adéquate. Étant donné l'importance des informations sémantiques de haut niveau, des modules globaux et sémantiques ont été proposés pour extraire des informations sémantiques riches à partir des caractéristiques de haut niveau. Pour la décodification, une addition élément par élément simple est utilisée pour la fusion hiérarchique des caractéristiques. Enfin, pour améliorer la précision de l'interprétation, une supervision profonde multitâche est appliquée aux cartes sémantiques et aux cartes de contours. Des expériences étendues ont été menées sur des jeux de données de référence afin de démontrer l'efficacité du réseau EGFNet proposé et son avantage par rapport aux méthodes de pointe actuelles.