Réseau de Fusion Probabiliste Variationnel pour la Segmentation Sémantique RGB-T

La segmentation sémantique RGB-T est largement utilisée pour traiter des scènes difficiles avec de mauvaises conditions d'éclairage en fusionnant les caractéristiques de différentes modalités des images RGB et thermiques. Les méthodes existantes tentent de trouver une caractéristique de fusion optimale pour la segmentation, ce qui entraîne une sensibilité au bruit modale, à l'imbalance des classes et au biais modale. Pour surmonter ces problèmes, cet article propose un nouveau réseau de fusion probabiliste variationnel (VPFNet), qui considère les caractéristiques de fusion comme des variables aléatoires et obtient une segmentation robuste en moyennant les résultats de segmentation sous plusieurs échantillons de caractéristiques de fusion. La génération d'échantillons aléatoires des caractéristiques de fusion dans le VPFNet est réalisée par un nouveau module de fusion variationnelle des caractéristiques (VFFM) conçu sur la base de l'attention variationnelle. Pour éviter davantage l'imbalance des classes et le biais modale, nous utilisons la perte d'entropie croisée pondérée et introduisons des informations a priori sur l'éclairage et la catégorie pour contrôler le VFFM proposé. Les résultats expérimentaux sur les jeux de données MFNet et PST900 démontrent que le VPFNet proposé peut atteindre des performances de segmentation à l'état de l'art.