Réseau d'Interaction Contextuel pour la Segmentation Sémantique RGB-T

La segmentation sémantique RGB-T est une technique clé pour la compréhension des scènes dans le domaine de la conduite autonome. Cependant, les méthodes actuelles de segmentation sémantique RGB-T ne mettent pas en œuvre efficacement l'exploration de la relation complémentaire entre différentes modalités lors de l'interaction d'informations à plusieurs niveaux. Pour résoudre ce problème, le réseau d'interaction contextuelle (CAINet) est proposé pour la segmentation sémantique RGB-T, qui construit un espace d'interaction pour exploiter des tâches auxiliaires et le contexte global afin d'orienter explicitement l'apprentissage. Plus précisément, nous proposons un module de raisonnement complémentaire contextuel (CACR) visant à établir la relation complémentaire entre les caractéristiques multimodales avec le contexte à long terme dans les dimensions spatiales et canalaires. De plus, en tenant compte de l'importance du contexte global et des informations détaillées, nous proposons le module de modélisation du contexte global (GCM) et le module d'agrégation des détails (DA), et nous introduisons une supervision auxiliaire spécifique pour guider explicitement l'interaction contextuelle et affiner la carte de segmentation. Des expériences approfondies sur deux jeux de données de référence, MFNet et PST900, montrent que le CAINet proposé atteint des performances de pointe. Le code est disponible sur https://github.com/YingLv1106/CAINet.