Réseau de Fusion Spatiale Résiduelle pour la Segmentation Sémantique RGB-Thermique
La segmentation sémantique joue un rôle crucial dans de nombreuses applications telles que la conduite autonome et la perception robotique. Les méthodes traditionnelles utilisent principalement des images RGB, qui sont fortement influencées par les conditions d'éclairage, par exemple l'obscurité. Des études récentes montrent que les images thermiques sont robustes dans le scénario nocturne et peuvent servir de modalité complémentaire pour la segmentation. Cependant, les travaux existants fusionnent soit simplement des images RGB-Thermiques (RGB-T), soit utilisent un encodeur avec une structure identique pour les flux RGB et thermiques, ce qui néglige les différences modales lors de la segmentation sous différentes conditions d'éclairage. Par conséquent, cette étude propose un réseau de fusion spatiale résiduelle (Residual Spatial Fusion Network, RSFNet) pour la segmentation sémantique RGB-T. Plus précisément, nous utilisons un encodeur asymétrique pour apprendre les caractéristiques compensatrices des images RGB et thermiques. Pour fusionner efficacement les caractéristiques bimodales, nous générons des pseudo-étiquettes par détection de saillance afin de superviser l'apprentissage des caractéristiques, et développons un module de fusion spatiale résiduelle (Residual Spatial Fusion, RSF) avec une ré-paramétrisation structurale pour apprendre des caractéristiques plus prometteuses en fusionnant spatialement les caractéristiques intermodales. Le RSF utilise une fusion hiérarchique des caractéristiques pour agrégater des caractéristiques multivariées à différents niveaux, et applique des poids spatiaux avec une connexion résiduelle pour contrôler adaptivement la fusion multispécifique des caractéristiques par une porte de confiance. De nombreux expériences ont été menées sur deux bases de données de référence, à savoir la base MFNet et la base PST900. Les résultats ont montré les performances de segmentation d'avant-garde de notre méthode, qui atteint un bon équilibre entre précision et rapidité.