Réseau de propagation des relations canal et spatiales pour la segmentation sémantique RGB-thermique

La segmentation sémantique RGB-Thermique (RGB-T) a montré un grand potentiel pour traiter les conditions de faible luminosité où la qualité d'imagerie RGB limite les performances de la segmentation basée sur l'RGB. La clé de la segmentation sémantique RGB-T réside dans l'utilisation efficace de la complémentarité inhérente aux images RGB et thermiques. La plupart des algorithmes existants fusionnent les informations RGB et thermiques dans l'espace des caractéristiques par concaténation, sommation élément par élément ou opérations d'attention, selon une approche d'amélioration unidirectionnelle ou d'agrégation bidirectionnelle. Cependant, ils négligent généralement le fossé modal entre les images RGB et thermiques lors de la fusion des caractéristiques, ce qui entraîne une contamination des informations spécifiques à chaque modalité.Dans cet article, nous proposons un réseau de propagation des relations canal-spatial (Channel and Spatial Relation-Propagation Network, CSRPNet) pour la segmentation sémantique RGB-T. Ce réseau propage uniquement les informations partagées entre les modalités et atténue le problème de contamination des informations spécifiques à chaque modalité. Notre CSRPNet commence par effectuer une propagation des relations dans les dimensions canal et spatiale afin de capturer les caractéristiques partagées entre les images RGB et thermiques. Ensuite, CSRPNet agrège les caractéristiques partagées capturées d'une modalité avec la caractéristique d'entrée de l'autre modalité pour améliorer cette dernière sans risque de contamination. Lorsqu'elles sont fusionnées ensemble, les caractéristiques RGB et thermiques améliorées sont également transmises aux couches suivantes d'extraction des caractéristiques RGB ou thermiques respectives pour une fusion interactive des caractéristiques.Nous introduisons également un module de raffinement progressif des caractéristiques à double voie qui agrège les caractéristiques multicouches pour produire deux caractéristiques raffinées destinées à la prédiction sémantique et frontalière. De nombreux résultats expérimentaux montrent que CSRPNet se compare favorablement aux algorithmes de pointe actuels.